按场景进门

抓取放置 · 代表数据集

抓起来、放下去，所有操作策略的第一课。经典基准与大规模真机都有。

108

DROID 是目前公开规模最大的野外机器人操作数据集之一，含 7.6 万条示教轨迹、约 350 小时交互，采自 52 栋真实建筑的 564 个场景、86 类任务，全部用同一套 Franka 平台采集，是跨机构联合采集范…

平台: Franka Panda + Robotiq 夹爪
任务: 桌面操作、开门开抽屉、抓取放置
协议: MIT

GraspNet-1Billion

GraspNet-1Billion 含 97,280 张真实 RGB-D 图像与超过 10 亿个标注抓取位姿，覆盖 88 个物体在杂乱堆叠场景中的抓取，是通用物体抓取检测领域最主流的评测基准与训练数据来源。

平台: 平行夹爪
任务: 通用物体抓取、杂乱堆叠抓取、位姿检测
协议: 以官方页面为准（学术用途）

Fourier ActionNet

Fourier ActionNet 是傅利叶正式开源的全尺寸人形机器人数据集。官网文章称首批上线超 3 万条高质量真机训练数据，包含多种自由度灵巧手训练数据和手部任务模仿学习数据，并配套采集、训练、部署工具链。

平台: Fourier GRx 系列、多自由度灵巧手
任务: 抓取、开柜门、倾倒
协议: 以项目页面为准

RoboSet 是 RoboAgent 项目开源的真机数据集，含 98,500 条轨迹、12 类技能与 38 项任务，主打「用有限数据量学会多技能泛化」，配套完整的采集与训练代码。

平台: Franka Emika
任务: 厨房场景多技能、擦拭、盖盖子
协议: 以官方页面为准

LeRobot 社区数据集集合

LeRobot 是 Hugging Face 主导的开源机器人学习栈，其组织页下聚合了数千个社区上传的标准化数据集，统一采用 LeRobotDataset 格式，是低成本机械臂复现与快速上手具身模仿学习的事实入口。

平台: SO-100/SO-101、Koch、ALOHA 复刻
任务: 桌面操作、抓取、低成本臂示教
协议: 多为 Apache-2.0 / CC 系（逐仓库不同）

RoboNet 汇集 7 种不同机械臂平台、约 1500 万视频帧的自主交互数据，是最早系统性验证「跨本体视频预测与策略迁移」的公开数据集，也是后来 Open X-Embodiment 思路的前身。

平台: 7 种异构机械臂平台
任务: 自主随机交互、推物、抓取
协议: 以官方页面为准

北大 DexGraspNet 2.0

2024年发布的大规模灵巧手抓取仿真数据集，含1319个物体、8270个场景、约4.27亿条抓取姿态，基于LEAP手生成，CC BY-NC 4.0。

平台: LEAP手
任务: 抓取
协议: CC BY-NC 4.0

北大 UniDexGrasp

2023 CVPR发布的灵巧手抓取大规模数据集，含112万抓取、5519物体、133类，基于ShadowHand与Isaac Gym仿真验证。

平台: ShadowHand
任务: 抓取
协议: CC BY-NC 4.0

北大 UniDexGrasp++

2023 ICCV发布的灵巧手抓取扩展数据集，覆盖3000+真实物体实例，支持从视觉到抓取的端到端泛化研究。

平台: ShadowHand
任务: 抓取
协议: CC BY-NC 4.0

北大/松灵 RoboTwin

2025 CVPR Highlight发布的双臂机器人生成式数字孪生基准，含大规模合成轨迹与真实遥操作数据，覆盖多类桌面操作任务。

平台: Franka、双臂机器人
任务: 抓取、放置、双臂协作
协议: 以官方公开许可为准

北京通用人工智能研究院 RoboVerse

2025 RSS/ICML发布的统一仿真平台与合成数据集，含51万轨迹、5000万+状态转移、276任务、5500资产，基于METASIM。

平台: Franka、机械臂、移动机器人
任务: 抓取、放置、导航
协议: 以官方公开许可为准

戴盟机器人 Daimon-Infinity

Daimon-Infinity 由戴盟机器人联合多家机构于 2026年4月15日发布，定位为大规模含触觉的全模态物理世界具身数据集，依托二指夹爪与五指手套采集设备提供高密度视触觉与动作信息。

任务: 精细操作、视触觉协同、物理交互
协议: 以官方公开许可为准

复旦 VLABench

2025 ICCV发布的语言条件机器人操作基准，含100类任务、2000+物体，支持长程推理与常识迁移，提供自动化训练数据。

平台: 单臂/双臂机械臂、人形
任务: 抓取、放置、排序
协议: MIT

跨维智能 Aligned DexWorld

Aligned DexWorld 是跨维智能公开的仿真合成机器人数据集，主张「对齐真机分布的合成数据可规模化扩展」，用仿真批量生成抓取与操作数据并对齐真实传感器特性，服务 Sim2Real 落地。

平台: 跨维机械臂与灵巧手
任务: 合成灵巧抓取、Sim2Real 对齐
协议: 以官方页面为准

灵巧智能 DexCanvas

DexCanvas 由灵巧智能开源，把动作捕捉的人手操作与物理仿真结合，除视觉与手指关节外还提供接触力标注（关联论文 arXiv:2510.15786），采用 ODbL 开放数据库许可，适合做力感知灵巧操作。

平台: DexHand 灵巧手
任务: 灵巧手操作、手物交互、接触力建模
协议: ODbL

清华 ManiSkill2

2023 ICLR发布的统一操作技能基准，含20个任务族、2000+物体、400万+演示帧，基于SAPIEN仿真器，Apache-2.0。

平台: Franka、台式机械臂、移动操作臂
任务: 抓取、放置、操作
协议: Apache-2.0

上海交大 RFUniverse

2022年发布的基于Unity的多物理场机器人仿真平台，支持87种原子动作与刚体/流体/热耦合，提供多类家庭任务基准。

平台: Franka、UR5、各类机械臂
任务: 抓取、折叠、切割
协议: CC BY 4.0

银河通用 DexonomySim

2025年8月开源的灵巧手多样抓取仿真数据集，含950万+抓取姿态、1万+物体、31种抓握类型，覆盖约94%人类抓握分类。

平台: 多指灵巧手
任务: 抓取、功能性抓握
协议: 以官方公开许可为准

银河通用/北大 GraspVLA·SynGrasp-1B

2025年发布的十亿帧合成抓取数据集，含1万+物体、240类，基于光线追踪渲染与物理仿真，支撑VLA抓取基础模型。

平台: 单臂机械臂
任务: 抓取、放置
协议: CC BY-NC-SA 4.0

ACRONYM 是英伟达发布的大规模仿真抓取数据集，含 8,872 个物体上的 1,770 万次抓取尝试，每条都带物理仿真验证结果，常用于抓取网络预训练与 Sim2Real 抓取研究。

平台: Franka 平行夹爪
任务: 抓取合成、物理仿真抓取评估
协议: 以官方页面为准

AgileX Cobot Magic Towel (AgileX)

在 AgileX Cobot Magic 双臂上采集 1176 段毛巾收纳演示，含抓取、折叠、放置等原子动作，LeRobot 格式（2026）。

平台: AgileX Cobot Magic
任务: 抓取、折叠、放置
协议: Apache 2.0

ALOHA 2: 低成本双臂遥操作硬件与演示数据

开源低成本双臂Leader-Follower遥操作硬件与演示数据,单日约千条(2024)

平台: ALOHA 2 (ViperX+WidowX)
任务: 双臂抓取放置、双臂协调、模仿学习
协议: Apache-2.0

ALOHA Unleashed: 双臂灵巧操作示范集

ALOHA2平台双臂灵巧操作5任务26241条,Diffusion Policy(2024)

平台: ALOHA 2
任务: 系鞋带、挂衬衫、齿轮插入
协议: 研究用途

AnySkin Slip Detection Dataset

Reachy 2 夹爪搭载 5 个磁触觉传感器，覆盖 40 种物体的滑移检测数据，用于触觉滑移分类，Apache-2.0，2024。

平台: Reachy 2
任务: slip detection、tactile classification
协议: Apache-2.0

Austin BUDS (UR5)

UT Austin 在 UR5 上采集 365 段无分段长程厨房演示，用于无监督技能发现与层级模仿学习（2023）。

平台: Universal Robots UR5
任务: 长程操作、技能发现、拾锅推具
协议: MIT

Austin Sailor (UR5)

UT Austin 在 UR5 上采集 5000 段玩具厨房家务演示，含食物、锅具拾取与放置，用于层级模仿学习（2023）。

平台: Universal Robots UR5
任务: 抓取、放置、家务
协议: 以官方公开许可为准

Austin Sirius (Franka)

UT Austin 在 Franka 上采集 570 段含人类干预的家务演示，含 kcup 插入与齿轮装配等精密插接任务（2023）。

平台: Franka Emika Panda
任务: 插入、装配、插接
协议: MIT

BC-Z: 零样本任务泛化机器人模仿学习

Google桌面拾放操作大规模VR遥操作演示,25877条覆盖100任务(2022)

平台: Google robot (单臂)
任务: 拾取放置、桌面操作、语言条件泛化
协议: Kaggle/Google

BDRBench-20 字节机器人操作基准

BDRBench-20 字节机器人操作基准：字节单臂VLA操作基准，8000条真机轨迹，Apache-2.0，2025

平台: Franka、UR5、遥操作手臂
任务: 抓取、放置、折叠
协议: Apache-2.0

BeingBeyond UniHand

UniHand 是 BeingBeyond 面向通用灵巧手操作发布的大规模数据集，HF 预览版即含约 285 万条样本、采用 webdataset 与 LeRobot 标签体系，关联论文 arXiv:2507.1559…

平台: 多款灵巧手
任务: 通用灵巧手操作、VLA 训练
协议: 以官方页面为准

Berkeley Autolab UR5

UC Berkeley 自动化实验室在 UR5 上采集 4 类操作任务（毛绒动物抓取、扫布、叠杯、精确定位放置）（2022）。

平台: Universal Robots UR5
任务: 抓取、清扫、叠杯
协议: 以官方公开许可为准

Berkeley RPT

UC伯克利的感知运动预训练数据集，908条真实轨迹、4类堆叠/拆堆任务，Franka，MIT许可，2023年。

平台: Franka Emika Panda
任务: sensorimotor pretraining、stacking、destacking
协议: MIT

BIGAI/清华 MultiDex

2023 ICRA发布的跨五只灵巧手的大规模抓取数据集，含58个家庭物体、43.6万抓取姿态，是已知最大多手抓取数据集。

平台: ShadowHand、Allegro等5种灵巧手
任务: 抓取、跨手泛化
协议: 以官方公开许可为准

BridgeData V2

BridgeData V2 收录 60,096 条 WidowX 机械臂示教与自主轨迹，覆盖 24 个真实环境、13 类技能，带自然语言指令标注，是低成本机械臂模仿学习与语言条件策略最常用的公开基线数据之一。

平台: WidowX 250 6-DOF
任务: 厨房桌面操作、抓取放置、推拉
协议: 以官方页面为准

5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。

平台: UR5、仿真
任务: 合成到真实感知、透明物体、Sim2Real深度
协议: 以官方公开许可为准

2021语言条件操作基准,融合CLIP语义与Transporter空间推理,基于Ravens在仿真生成桌面上千演示。

平台: UR5、吸盘夹爪(仿真/真实)
任务: 语言条件抓取、堆叠、重排
协议: 以官方公开许可为准

CLVR Jaco Play

2023年Kinova Jaco2语言标注遥操作数据集，1085条桌面拾放轨迹，含多视角RGB与状态。

平台: Kinova Jaco2
任务: 抓取、放置、语言指令
协议: CC BY 4.0

ContactPose

ContactPose 是首个把「手物接触区域」直接测出来的公开数据集，用热成像捕捉 50 名被试对 25 个物体的 2,306 次抓取所留下的接触印记，同步给出手姿态与多视角 RGB-D。

平台: 人手（用于机器人学习）
任务: 抓取接触测量、手物姿态估计
协议: 以官方页面为准

Dex-Net 4.0

500万+合成平行夹/吸盘抓取深度图，域随机化训练，真实ABB YuMi分拣成功率>95%，2019。

平台: 仿真、YuMi
任务: 合成到真实抓取、域随机化、bin picking
协议: 以官方公开许可为准

DexGraspNet

DexGraspNet 由北大 EPIC 实验室发布，含 132 万个 ShadowHand 灵巧抓取姿态、覆盖 5,355 个物体，规模比同期数据集高出两个量级，是多指灵巧抓取生成任务的标准训练集。

平台: ShadowHand 五指灵巧手
任务: 灵巧手抓取合成、多指抓取生成
协议: 以官方页面为准

2023年基于Isaac Gym的灵巧操作基准，用群体化训练学习重抓取、抛投与物体重定向等任务。

平台: 灵巧手、机械臂
任务: 灵巧操作、重抓取、抛投
协议: 以官方公开许可为准

DexYCB 用 8 台 RGB-D 相机记录 10 名被试抓取 20 个 YCB 物体的 1,000 段序列、约 58.2 万帧，同步标注人手关键点与物体 6D 位姿，是手物位姿估计与人机物品交接研究的经典基准。

平台: 人手（用于机器人学习）
任务: 人手抓取捕捉、手物位姿估计、人机交接
协议: 以官方页面为准

Dobot X-Trainer Tactile (Dobot)

在 Dobot X-Trainer 双臂平台上采集 152 段含触觉的插拔演示，分 USB 插入、齿轮装配与 peg-in-hole 三类（2025）。

平台: Dobot X-Trainer (Dobot)
任务: 插入、装配、peg-in-hole
协议: 以官方公开许可为准

2020进化算法生成2282个可3D打印几何多样物体+49评估件，1:1 Sim2Real转移，含百万预计算抓取，Dex-Net格式。

平台: Franka、仿真
任务: 合成物体生成、Sim2Real抓取、几何多样
协议: BSD-3

EgoMimic: 自我中心视频扩展模仿学习

Project Aria眼镜+低成本双臂,人机共训扩展模仿学习(2024) EgoMimic: 自我中心视频扩展模仿学习开源数据集，含公开可下载样本与官方评测。

平台: ViperX 300 S 双臂、Project Aria
任务: 杂货抓取、洗衣折叠、碗具放置
协议: MIT

Flat'n'Fold: 衣物感知与操作多模态数据集

双臂衣物展开与折叠2100序列,多视角RGB-D与3D位姿(2024) Flat'n'Fold: 衣物感知与操作多模态数据集开源数据集，含公开可下载样本与官方评测。

平台: Baxter 双臂、人类演示
任务: 衣物展开、折叠、可变形体操作
协议: CC (研究)

FMB (Functional Manipulation Benchmark)

UC伯克利真实功能操作长程基准，2.25万条轨迹、多阶段抓取-重定向-装配，Franka，CC-BY-4.0，2024年。

平台: Franka Emika Panda
任务: functional manipulation、multi-stage assembly、long-horizon
协议: CC-BY-4.0

FMB: Functional Manipulation Benchmark (Franka)

UC Berkeley 在 Franka 上采集 22550 段功能性装配轨迹，需抓取-重定位-插入多阶段技能，评测泛化（2024）。

平台: Franka Emika Panda
任务: 装配、插入、重定位
协议: 以官方公开许可为准

Fourier GR2 人形真机数据(社区镜像)

Fourier GR2 人形真机数据(社区镜像)：傅利叶GR2人形真机操作分组数据镜像，2025

平台: Fourier GR2
任务: 双臂操作、抓取、全身协调
协议: 以官方公开许可为准

Freiburg Franka Play (Franka)

弗莱堡大学在 Franka 上遥操作采集 1085 段桌面积木演示（约 520 万帧），含抓放、叠块、开抽屉等（2023）。

平台: Franka Emika Panda
任务: 抓取、放置、叠块
协议: CC0

2025年灵巧手生成式仿真管线，用LLM/VLM闭环生成多样灵巧操作任务与环境及轨迹数据。

平台: 灵巧手
任务: 灵巧操作、抓取、开柜
协议: 以官方公开许可为准

GRAB 用高精度动捕记录人「用全身去抓取和操作物体」的过程，输出 SMPL-X 全身参数与手物接触标注，是人形机器人全身抓取、抓取意图预测研究常用的动捕级数据源。

平台: 人体（用于人形机器人学习）
任务: 全身抓取、手物接触建模
协议: 学术研究许可（需注册）

GraspM3 百万级灵巧抓取轨迹

GraspM3 百万级灵巧抓取轨迹：136万灵巧手抓取轨迹，Shadow+Mano，邮件申请，2024

平台: Shadow Hand、Mano
任务: 灵巧抓取、指尖操作、物体操纵
协议: 学术非商业(需邮件申请)

HATO: 视觉触觉双臂多指操作数据集

视觉触觉双臂多指操作,4任务800条演示,UR5e+Ability Hand(2024)

平台: UR5e + Ability Hand (多指)
任务: 双臂协调、倒水、煎牛排
协议: MIT

HIW-500 家庭物品操作数据集

HIW-500 覆盖约 500 类家庭物品的真机操作数据，HF 页面标注 robotics/humanoid 标签并采用 CC BY-4.0 开放许可，数据结构中含完整相机内参与时间戳，便于直接做多视角重建与策略训练。

平台: 人形/双臂采集平台
任务: 家庭物品抓取、桌面整理、双臂操作
协议: CC BY-4.0

HomeRobot: 开放词汇移动操作 (OVMM)

开放词汇移动操作基准,1200+评测回合,基于Stretch真机(2023) HomeRobot: 开放词汇移动操作 (OVMM) 开源数据集，含公开可下载样本与官方评测。

平台: Hello Robot Stretch
任务: 开放词汇导航+抓取放置、移动操作
协议: MIT

iGibson 2.0

2021年物体中心交互仿真环境，15个可交互场景支持温度/湿度等状态，含VR演示与BEHAVIOR。

平台: 移动机械臂
任务: 抓取、家庭任务、长程操作
协议: 以官方公开许可为准

Isaac Lab (Orbit)

2023/2024年基于Isaac Sim的GPU机器人学习框架，含30+基准任务与资产，支持RL与模仿学习。

平台: Franka、机械臂、四足
任务: 抓取、移动操作、灵巧操作
协议: BSD-3-Clause

基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。

平台: 仿真
任务: 合成抓取检测、Sim2Real迁移、域随机化
协议: 以官方公开许可为准

KAIST Nonprehensile Objects (UR5)

韩国 KAIST 在 UR5 上采集非抓取式操作数据，将多样真实/3D 打印物体平移并重定向到目标 6D 位姿（2023）。

平台: Universal Robots UR5
任务: 非抓取操作、平移、重定向
协议: CC BY 4.0

Lang4Sim2Real

RSS2024，提供仿真+真实Franka操作数据(抓取/绕线等)，用语义对齐弥合Sim2Real鸿沟，含域随机化集。

平台: Franka、仿真
任务: Sim2Real迁移、域随机化、语言条件操作
协议: 以官方公开许可为准

LaNMP: 语言-导航-操作-感知移动操作数据集

长程语言导航+抓取放置移动操作,574轨迹真实与仿真(2024) LaNMP: 语言-导航-操作-感知移动操作数据集开源数据集，含公开可下载样本与官方评测。

平台: 移动机械臂
任务: 长程语言导航+抓取放置、移动操作
协议: 研究用途

LBX Bimanual xArm

Labelbox 在双臂 xArm6/xArm7 站上遥操作采集的家居与桌面任务数据，以 MCAP 保存多相机与本体感知（2026）。

平台: UFACTORY xArm6、xArm7
任务: 折叠、放置、双臂操作
协议: CC BY 4.0

ManipArena 双臂移动操作数据

ManipArena 双臂移动操作数据：双臂+移动底盘真实操作，10812+轨迹，Apache-2.0，2025

平台: 双臂移动机器人
任务: 双臂协作、移动操作、抓取
协议: Apache-2.0

ManiSkill-HAB

2025年基于ManiSkill3的家庭重排低级操作基准，含TidyHouse等三任务约3.3万任务计划，HF可下。

平台: 移动机械臂
任务: 重排、长程操作、抓取
协议: 以官方公开许可为准

2024/2025年GPU并行化机器人仿真与渲染框架，含50+操作任务与可下载演示数据集，RSS 2025。

平台: Franka、机械臂、灵巧手
任务: 抓取、关节操作、长程操作
协议: Apache-2.0 / MIT

2018年最大规模机器人演示数据集之一，含8260条人-机演示覆盖20类操作任务，配对视频与轨迹。

平台: Baxter
任务: 抓取、堆叠、倒水
协议: 以官方公开许可为准

MIT-Princeton APC 2016 Shelf&Tote

亚马逊拣货挑战2016货架-料箱基准,多视角RGB-D场景与6D位姿标注,用于仓储装箱抓取视觉。

平台: 工业臂、RealSense
任务: 仓储抓取、6D位姿估计
协议: BSD-2-Clause

谷歌机器人舰队多任务强化学习数据集，92万余条真实轨迹，覆盖拾取、放置、重排等长程技能，2021年发布。

平台: KUKA IIWA
任务: multi-task RL、semantic picking、placing
协议: Apache-2.0

NeuralFeels: Visuo-Tactile In-Hand Object Tracking

GelSight/DIGIT 视触觉手内操作物体位姿跟踪，70 组实验、400+ 序列，Science Robotics 2024，含触觉-视觉对齐数据。

平台: Allegro Hand、Franka
任务: in-hand pose tracking、tactile reconstruction
协议: CC-BY-4.0 / MIT (code)

OCID: 室内物体杂乱RGB-D数据集

移动机械臂室内物体杂乱RGB-D点云数据集,多场景多视角(2022) OCID: 室内物体杂乱RGB-D数据集开源数据集，含公开可下载样本与官方评测。

平台: 移动机械臂 (TIAGo/移动平台)
任务: 物体检测、杂乱场景理解、抓取
协议: CC (研究)

2021年云端桌面整理抓取与操作竞赛基准，含76场景6004张标注RGB-D图像及真实数据集。

平台: Franka
任务: 抓取、重排、姿态估计
协议: 以官方公开许可为准

纽约大学与Meta联合发布的开放词汇移动操作数据集，10个真实家庭、171次拾放评测，融合语义记忆与语言，2024年。

平台: Hello Robot Stretch
任务: open-vocabulary mobile manipulation、pick-and-place、object navigation
协议: MIT

Open6DOR 六自由度物体重排数据

Open6DOR 六自由度物体重排数据：200+物体2400+六自由度重排任务，Apache-2.0，2024

平台: Franka
任务: 六自由度抓取、重排、放置
协议: Apache-2.0

OpenHLM-data 宇树G1全身操作数据

OpenHLM-data 宇树G1全身操作数据：宇树G1人形全身操作LeRobot数据，181万条，MIT，2025

平台: Unitree G1
任务: 全身移动、双臂操作、抓取
协议: MIT

PhysicalAI Manipulation-Objects

2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。

平台: Kinova Gen3双臂、仿真
任务: 合成数据、程序化生成、Sim2Real迁移
协议: CC BY 4.0

QT-Opt Grasping (KUKA)

Google 在 KUKA 机械臂上完成 58 万余次真实抓取尝试，采用分布式深度强化学习实现高成功率抓取（2018）。

平台: KUKA 机械臂
任务: 抓取、动态抓取、装箱
协议: ODC-BY

QUT Dexterous Manipulation (Franka)

昆士兰科技大学在 Franka 上采集约 800 段动态抓取演示，含餐具分拣、摆桌、抛垃圾等桌面操作（2023）。

平台: Franka Emika Panda
任务: 动态抓取、分拣、放置
协议: 以官方公开许可为准

QUT Dynamic Grasping (Franka)

昆士兰科技大学在 Franka 上采集 812 段动态抓取轨迹，目标在 XY 平面随机连续运动，需实时视觉伺服（2022）。

平台: Franka Emika Panda
任务: 动态抓取、视觉伺服
协议: CC BY 4.0

RealDex 真机灵巧手抓取序列

RealDex 真机灵巧手抓取序列：2000+灵巧手抓取序列，IJCAI2024，gdown下载，2024

平台: Allegro Hand、Franka
任务: 灵巧抓取、手指操作、手内重排
协议: 以官方公开许可为准

RGB-Stacking

DeepMind 2021堆叠基准,150个程序生成刚体,含仿真环境与真实机械臂单元CAD,支持技能掌握与泛化。

平台: 4-DoF机械臂、平行夹爪
任务: 堆叠、抓取、放置
协议: Apache 2.0

RoboCook (Franka)

斯坦福等在 Franka 上采集约 2460 段面团长程可塑物体操作数据，用 15 种工具完成擀面、切饼、包饺子（2023）。

平台: Franka Emika Panda
任务: 长程操作、可塑物体、揉面
协议: MIT

2023年生成式仿真框架，用GPT-4自动生成百余种刚体操作与运动任务及轨迹数据。

平台: 机械臂、移动机器人
任务: 抓取、长程操作、运动
协议: 以官方公开许可为准

RoboGround 视觉语言操作数据

RoboGround 视觉语言操作数据：2.4万仿真演示11.2万指令，1.02TB，MIT，CVPR2025

平台: Franka、GR-1仿真
任务: 抓取、放置、视觉 grounding
协议: MIT

基于MuJoCo的模块化机器人学习仿真框架与基准,含单臂/双臂/人形任务、演示采集与多模态传感。

平台: Franka、Sawyer、Baxter
任务: 抓取、放置、装配
协议: MIT

RobotDiffuse 机器人动作扩散数据

PyBullet 中 3500 万姿态扩散训练数据，经 Google Drive 发布，2024 年。

平台: Franka、仿真手臂
任务: 姿态生成、抓取、运动规划
协议: 以官方公开许可为准

2018/2019年众包遥操作数据集，Pilot含3224条演示，真实集111小时、54名用户长程操作。

平台: Sawyer、机械臂
任务: 抓取、装配、长程操作
协议: 以官方公开许可为准

RT-1 Dataset

2022年大规模真实机器人操作数据集，13万片段覆盖700+任务，含语言指令与多模态传感数据。

平台: Everyday Robot (EDR)
任务: 抓取、放置、开关抽屉
协议: 以官方公开许可为准

Stanford Kuka Multimodal (KUKA)

斯坦福在 KUKA 上采集视觉+触觉多模态数据集，将不同形状插销插入不同孔位，公差约 2mm（2019）。

平台: KUKA 机械臂
任务: 插入、插接、精密装配
协议: 以官方公开许可为准

动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。

平台: 仿真
任务: 合成拣选、Sim2Real位姿估计、动态场景
协议: 以官方公开许可为准

TacTip Tactile Gym Benchmark

光学触觉传感器 TacTip 的 PyBullet RL 基准，含边缘跟随/物体抓取等任务，支持 TacTip/DIGIT/DigiTac，2021。

平台: TacTip、DIGIT、DigiTac (sim)
任务: tactile reinforcement learning、edge following、grasping
协议: MIT

TidyBot++: 开源全向移动操作机器人

全向移动底盘配可换机械臂,手机遥操作家庭移动操作数据(2024) TidyBot++: 开源全向移动操作机器人开源数据集，含公开可下载样本与官方评测。

平台: TidyBot++ (全向底盘+可换臂)
任务: 移动抓取放置、开关门、擦拭台面
协议: MIT

Toyota HSR Grasping & Throwing

德国 H-BRS 在 Toyota HSR 上采集的物体抓取并抛入抽屉数据，含学习与泛化两套，MongoDB 格式（2021）。

平台: Toyota Human Support Robot (HSR)
任务: 抓取、抛掷、抽屉放置
协议: CC BY 4.0

UCSD Kitchen (Franka)

加州大学圣地亚哥分校在 Franka 上采集 150 段厨房任务演示，配自然语言指令，覆盖多样日常物体操作（2023）。

平台: Franka Emika Panda
任务: 抓取、放置、厨房操作
协议: CC BY 4.0

UMI 双臂衣物折叠数据集

UMI双臂衣物折叠子集,249条演示,zarr多视角可复现(2024) UMI 双臂衣物折叠数据集开源数据集，含公开可下载样本与官方评测。

平台: 并行夹爪双臂
任务: 双臂折叠、衣物操作
协议: MIT

UMI 通用操作接口: 野外手持夹爪数据采集

手持夹爪野外采集框架,含双臂折衣/洗碗等,多子集约千条(2024) UMI 通用操作接口: 野外手持夹爪数据采集开源数据集，含公开可下载样本与官方评测。

平台: UR5e、Franka Emika、并行夹爪
任务: 双臂折叠、动态抛接、洗碗
协议: MIT

Unitree G1 Dex3 烤面包操作数据

Unitree G1 Dex3 烤面包操作数据：G1七自由度双臂+Dex3灵巧手，418幕，Apache-2.0，2025

平台: Unitree G1
任务: 抓取、放置、递送
协议: Apache-2.0

USC Cloth Sim / DMfD (Franka)

南加州大学在 Franka 上采集约 800 段布料操作演示，含沿对角线折叠、对折、拉直绳索等可变形物体任务（2022）。

平台: Franka Emika Panda
任务: 布料折叠、绳索拉直、可变形物体
协议: CC BY 4.0

2025水下机器人操作VLA仿真数据集,Stonefish中2275条episode、20任务,BlueROV2+4-DoF臂,LeRobot格式。

平台: BlueROV2 + 4-DoF臂 + Robotiq夹爪
任务: 水下抓取、导航、运输
协议: 以官方公开许可为准

USTC 移动操作真机数据

USTC 移动操作真机数据：中科大移动机械臂真实操作数据，CC BY-NC-SA 4.0，2024

平台: 移动机械臂
任务: 移动操作、抓取、放置
协议: CC BY-NC-SA 4.0

UTokyo xArm Bimanual (xArm)

东京大学在 xArm 双臂上采集毛巾操作数据，含取毛巾、展开皱毛巾等任务，用于模仿学习与多物体操作（2023）。

平台: UFACTORY xArm
任务: 取放、毛巾展开、双臂操作
协议: CC BY 4.0

深海ROV可抓取把手6D位姿数据集,28段序列共20427张鱼眼标注图像,用于水下操作位姿估计。

平台: Schilling Titan 4液压机械臂(ROV)
任务: 水下抓取、6D位姿估计
协议: 以官方公开许可为准

ViCoS Towel Dataset

8000张真实RGB-D毛巾图像+12000合成图像,覆盖多配置与光照,用于布料抓取点检测基准。

平台: RGB-D相机(离线)
任务: 布料抓取、抓取点检测
协议: CC-BY-NC-SA 4.0

2022年多模态提示机器人操作基准，程序化生成桌面任务，发布65万专家轨迹用于模仿学习。

平台: 机械臂
任务: 抓取、放置、组合泛化
协议: CC BY 4.0

VIOLA (Franka)

UT Austin 在 Franka 上采集的 150 段厨房任务视觉模仿演示，覆盖摆桌、冲咖啡等 Household 任务（2022）。

平台: Franka Emika Panda
任务: 抓取、放置、长程操作
协议: 以官方公开许可为准

WristCam (Sawyer)

帝国理工在 Rethink Sawyer 上采集约 2000 段腕部相机遥操作演示，强调灵巧操作的鲁棒视觉模仿学习（2023）。

平台: Rethink Robotics Sawyer
任务: 抓取、放置、灵巧操作
协议: 以官方公开许可为准

WRS 2018 Dataset

WRS 2018实际空间伙伴机器人挑战YOLO数据集,含真实与合成图像,标注41类目标物,用于物体识别。

平台: HSR等服务机器人
任务: 目标识别、抓取前感知
协议: LGPL

YuMi Dual-Arm Grasp Data (ABB)

在 ABB YuMi 双臂上历时三个月采集的真实抓取数据，配平行夹爪与吸盘末端，含成功/失败标注点云（2024）。

平台: ABB YuMi IRB-14000
任务: 双臂抓取、吸盘抓取、抓取成功预测
协议: CC BY 4.0

上面是按场景挑出的代表；要继续细筛可回数据集总库按数据类型 / 任务 / 模态过滤。