数据集
HIT-MHAD 多模态人体动作数据 2400 段多模态人体动作序列，Zenodo 下载，IEEE DataPort，2023 年。
- 数据类型
- 触觉与动作捕捉
- 任务类型
- 动作识别、人机交互、动作捕捉
- 数据模态
- RGB-D、skeleton、depth、audio
数据
100 具身数据集库
硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引，方便按任务、平台与协议筛选对照。
数据集
RobotDiffuse 机器人动作扩散数据 PyBullet 中 3500 万姿态扩散训练数据，经 Google Drive 发布，2024 年。
- 数据类型
- 仿真基准
- 任务类型
- 姿态生成、抓取、运动规划
- 数据模态
- RGB、depth、pose、point-cloud
数据集
ChingMu 千寻千小时动作捕捉数据 ChingMu 千寻千小时动作捕捉数据：1000+小时光学动捕，15+场景500+任务，120Hz，2025
- 数据类型
- 触觉与动作捕捉
- 任务类型
- 全身运动、灵巧手、工具使用、物体交互
- 数据模态
- skeleton、finger、object-6D、video、label
数据集
Phys100K 机器人可达性理解数据 Phys100K 机器人可达性理解数据：10万多机器人RGB/深度可达性样本，CVPR2025，2025
- 数据类型
- 导航与三维场景
- 任务类型
- 可达性理解、EmbodiedQA、任务规划
- 数据模态
- RGB、depth、robot-params、language
数据集
Unitree G1 Dex3 烤面包操作数据 Unitree G1 Dex3 烤面包操作数据：G1七自由度双臂+Dex3灵巧手，418幕，Apache-2.0，2025
- 数据类型
- 双臂与移动操作
- 任务类型
- 抓取、放置、递送、单任务长程
- 数据模态
- RGB、depth、action
数据集
RoboGround 视觉语言操作数据 RoboGround 视觉语言操作数据：2.4万仿真演示11.2万指令，1.02TB，MIT，CVPR2025
- 数据类型
- 仿真基准
- 任务类型
- 抓取、放置、视觉 grounding、长程操作
- 数据模态
- RGB、depth、mask、language
数据集
ORS3D-60K 三维任务调度数据 ORS3D-60K 三维任务调度数据：6万复合任务覆盖4376真实室内场景，Apache-2.0，2025
- 数据类型
- 导航与三维场景
- 任务类型
- 并行任务调度、空间理解、导航规划
- 数据模态
- 3D-scene-graph、language、layout
数据集
Falling Things (FAT) 6.15万张照片级合成图，21个YCB物体，提供3D位姿/分割/深度，用于机器人检测与Sim2Real位姿估计，2018。
- 数据类型
- 仿真基准
- 任务类型
- 合成位姿估计、Sim2Real感知、物体检测
- 数据模态
- RGB、立体RGB、深度、3D位姿、分割、合成
数据集
Fourier GR2 人形真机数据(社区镜像) Fourier GR2 人形真机数据(社区镜像)：傅利叶GR2人形真机操作分组数据镜像，2025
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 双臂操作、抓取、全身协调
- 数据模态
- RGB、depth、proprioception、action
数据集
同济多构型机器人运动数据 同济多构型机器人运动数据：双臂/单臂/四足运动数据240GB，MIT，ScienceDB，2025
- 数据类型
- 触觉与动作捕捉
- 任务类型
- 运动表征、形态预测、动力学
- 数据模态
- joint-q、joint-qd、joint-tau
数据集
ShareRobot 机器人任务知识数据 ShareRobot 机器人任务知识数据：含规划/可供性/轨迹约103万QA对，多机器人，2025
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 任务规划、可供性推理、轨迹生成
- 数据模态
- RGB、depth、language、QA
数据集
RealDex 真机灵巧手抓取序列 RealDex 真机灵巧手抓取序列：2000+灵巧手抓取序列，IJCAI2024，gdown下载，2024
- 数据类型
- 灵巧手与抓取
- 任务类型
- 灵巧抓取、手指操作、手内重排
- 数据模态
- RGB、depth、手位姿、手-物交互
数据集
USTC 移动操作真机数据 USTC 移动操作真机数据：中科大移动机械臂真实操作数据，CC BY-NC-SA 4.0，2024
- 数据类型
- 双臂与移动操作
- 任务类型
- 移动操作、抓取、放置、导航取物
- 数据模态
- RGB、depth、proprioception、action
数据集
DriveMLM 自动驾驶仿真对话数据 DriveMLM 自动驾驶仿真对话数据：CARLA中280小时驾驶数据5万路线，Apache-2.0，2023
- 数据类型
- 三维资产与自动驾驶
- 任务类型
- 自动驾驶、决策、场景理解
- 数据模态
- RGB、depth、lidar、vehicle-state
数据集
IKEA Furniture Assembly Environment USC CLVR的层次化家具装配仿真环境，60+可装配模型、6类机械臂，长程多步装配，2021年发布。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- hierarchical assembly、furniture assembly、long-horizon、multi-step
- 数据模态
- RGB、proprioception、state
数据集
GraspM3 百万级灵巧抓取轨迹 GraspM3 百万级灵巧抓取轨迹：136万灵巧手抓取轨迹，Shadow+Mano，邮件申请，2024
- 数据类型
- 灵巧手与抓取
- 任务类型
- 灵巧抓取、指尖操作、物体操纵
- 数据模态
- RGB、depth、手位姿、tactile
数据集
Open6DOR 六自由度物体重排数据 Open6DOR 六自由度物体重排数据：200+物体2400+六自由度重排任务，Apache-2.0，2024
- 数据类型
- 灵巧手与抓取
- 任务类型
- 六自由度抓取、重排、放置
- 数据模态
- RGB、depth、language、6DoF-pose
数据集
ManipArena 双臂移动操作数据 ManipArena 双臂移动操作数据：双臂+移动底盘真实操作，10812+轨迹，Apache-2.0，2025
- 数据类型
- 双臂与移动操作
- 任务类型
- 双臂协作、移动操作、抓取、放置、长程任务
- 数据模态
- RGB、depth、proprioception、action
数据集
EGAD! 2020进化算法生成2282个可3D打印几何多样物体+49评估件，1:1 Sim2Real转移，含百万预计算抓取，Dex-Net格式。
- 数据类型
- 仿真基准
- 任务类型
- 合成物体生成、Sim2Real抓取、几何多样
- 数据模态
- 网格、抓取标注、合成
数据集
OpenHLM-data 宇树G1全身操作数据 OpenHLM-data 宇树G1全身操作数据：宇树G1人形全身操作LeRobot数据，181万条，MIT，2025
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 全身移动、双臂操作、抓取、放置
- 数据模态
- RGB、depth、proprioception、action
数据集
Sim2Surf 视触觉Sim2Real表面分类数据集，用扩散模型将仿真触觉图转真实域自动标注，ICRA2024，真实YCB验证。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real触觉、域适应、表面分类
- 数据模态
- 触觉图像、合成、真实
数据集
PhysicalAI Manipulation-Kitchen 2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
ClearGrasp 5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。
- 数据类型
- 仿真基准
- 任务类型
- 合成到真实感知、透明物体、Sim2Real深度
- 数据模态
- RGB、深度、法向、分割、合成、真实
数据集
PhysicalAI Manipulation-Objects 2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
NeuronsGym 2023混合仿真+实体敏捷机器人Sim2Real策略学习框架，提出SFPL安全指标，举办RoboMaster Sim2Real挑战赛。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real策略学习、导航、对抗
- 数据模态
- RGB、激光、状态、仿真、真实
数据集
BDRBench-20 字节机器人操作基准 BDRBench-20 字节机器人操作基准：字节单臂VLA操作基准，8000条真机轨迹，Apache-2.0，2025
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、放置、折叠、推、长程操作
- 数据模态
- RGB、depth、proprioception、language
数据集
UR10 Random Pose 2025用Isaac Sim生成UR10随机6DoF姿态数据集，含域随机化(光照/纹理)，含真实仓库测试集，用于Sim2Real位姿。
- 数据类型
- 仿真基准
- 任务类型
- 域随机化、Sim2Real位姿、合成数据
- 数据模态
- RGB、状态CSV、合成、域随机化
数据集
PhysicalAI Manipulation-SingleArm 2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
Jacquard 基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。
- 数据类型
- 仿真基准
- 任务类型
- 合成抓取检测、Sim2Real迁移、域随机化
- 数据模态
- RGB、深度、分割、抓取标注、合成
数据集
Robust-Gymnasium 2024统一鲁棒RL基准，内置动力学/外观域随机化接口，量化Sim2Real迁移中的鲁棒性，支持多机器人任务。
- 数据类型
- 仿真基准
- 任务类型
- 域随机化、鲁棒RL、Sim2Real泛化
- 数据模态
- 状态、动作、仿真
数据集
REALM 2025真实到仿真校验的操作泛化基准，7项技能×15类扰动×3500+物体，仿真与真实强相关，评测VLA模型。
- 数据类型
- 仿真基准
- 任务类型
- 虚实对齐、Real2Sim、Sim2Real评测
- 数据模态
- RGB、状态、动作、仿真、真实
数据集
The Colosseum 2024，20个操作任务×12类环境扰动的仿真泛化基准，仿真与真实扰动相关性R²=0.61，量化Sim2Real鲁棒性。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real gap基准、域随机化、泛化评测
- 数据模态
- RGB、深度、状态、仿真
数据集
Humanoid-Gym RSS2024零样本Sim2Real人形RL框架，Isaac Gym训练+MuJoCo验证，域随机化实现真机零样本迁移行走。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real迁移、域随机化、零样本、locomotion
- 数据模态
- 状态、动作、仿真、合成
数据集
DISCOVERSE 2024高保真机器人仿真框架，复杂多物体环境与精确动力学，支持真实到仿真对齐与Sim2Real策略评测。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real评测、虚实对齐、高保真仿真
- 数据模态
- RGB、深度、状态、仿真
数据集
Conq-Hose UR5软管长程可形变操作数据集，1000条episodes、10+场景，含语言标注，CC BY-NC 4.0，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- deformable manipulation、hose routing、coiling、insertion、long-horizon
- 数据模态
- RGB、depth、proprioception、language
数据集
PhysicalAI Manipulation-Augmented 2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、域适应、Sim2Real迁移
- 数据模态
- RGB、深度、分割、法向、状态、动作、合成
数据集
FMB (Functional Manipulation Benchmark) UC伯克利真实功能操作长程基准，2.25万条轨迹、多阶段抓取-重定向-装配，Franka，CC-BY-4.0，2024年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- functional manipulation、multi-stage assembly、long-horizon
- 数据模态
- RGB、depth、proprioception、state
数据集
Dex-Net 4.0 500万+合成平行夹/吸盘抓取深度图，域随机化训练，真实ABB YuMi分拣成功率>95%，2019。
- 数据类型
- 仿真基准
- 任务类型
- 合成到真实抓取、域随机化、bin picking
- 数据模态
- 深度、点云、抓取质量、合成
数据集
Berkeley RPT UC伯克利的感知运动预训练数据集，908条真实轨迹、4类堆叠/拆堆任务，Franka，MIT许可，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- sensorimotor pretraining、stacking、destacking、bin picking
- 数据模态
- RGB、proprioception、state
数据集
SynPick 动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。
- 数据类型
- 仿真基准
- 任务类型
- 合成拣选、Sim2Real位姿估计、动态场景
- 数据模态
- RGB、深度、6D位姿、分割、合成
数据集
PARTNR Meta的人机协作长程规划基准，10万条自然语言任务、60房屋、5819物体，Habitat 3.0，2024年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- human-robot collaboration、long-horizon planning、rearrangement
- 数据模态
- RGB、language、state
数据集
Lang4Sim2Real RSS2024，提供仿真+真实Franka操作数据(抓取/绕线等)，用语义对齐弥合Sim2Real鸿沟，含域随机化集。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real迁移、域随机化、语言条件操作
- 数据模态
- RGB、状态、动作、语言、合成、真实
数据集
LHManip IIT的长程双臂操作数据集，200条episodes、20个长程任务、17.6万观测-动作对，真实机器人，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- long-horizon bimanual、20 long-horizon tasks
- 数据模态
- RGB、proprioception、state
数据集
LoHoRavens CIS的层次化长程语言条件操作基准，10个长程任务，基于Ravens仿真、UR5e，需子目标规划，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- hierarchical language-conditioned、long-horizon、subgoal planning
- 数据模态
- RGB-D、language
数据集
VIOLA UT Austin的视觉模仿长程数据集，含摆桌、冲咖啡等长程任务，仿真+真实演示，UR5，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- vision-based imitation、long-horizon、table setting、coffee making
- 数据模态
- RGB、proprioception、state
数据集
GOAT-Bench AI2与CMU的长程多模态终身导航基准，68万回合、181个HM3DSem场景，Stretch执行，2024年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- lifelong navigation、multi-modal、long-horizon、rearrangement
- 数据模态
- RGB、depth、language、semantic memory
数据集
BiCoord 北航与NUS的紧密协调双臂长程数据集，18个任务、平均361步/4.27阶段，2026年发布。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- bimanual coordination、long-horizon、tight coordination
- 数据模态
- RGB、proprioception、state
数据集
MimicGen NVIDIA自动生成大规模演示系统，4.8万+条跨12个操作任务的轨迹，含长程装配与厨房，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- demo generation、long-horizon、assembly、kitchen
- 数据模态
- RGB、proprioception、state、subtask segmentation
数据集
Toyota HSR Grasping & Throwing 德国 H-BRS 在 Toyota HSR 上采集的物体抓取并抛入抽屉数据，含学习与泛化两套，MongoDB 格式（2021）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、抛掷、抽屉放置
- 数据模态
- RGB、深度、关节角、力矩
数据集
Kitchen-R AIRI等基于Isaac Sim的厨房长程基准，563条4–8步语言指令、约2700条移动操作轨迹，Mobile ALOHA，2025年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- language-conditioned mobile manipulation、long-horizon planning、multi-step
- 数据模态
- RGB、depth、proprioception、language
数据集
MT-Opt 谷歌机器人舰队多任务强化学习数据集，92万余条真实轨迹，覆盖拾取、放置、重排等长程技能，2021年发布。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- multi-task RL、semantic picking、placing、rearranging、aligning
- 数据模态
- RGB、proprioception、state
数据集
RoboCook 斯坦福与伯克利的弹塑性长程操作数据集，2460条真实Franka轨迹（含LeRobot版），揉面擀面等，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- deformable manipulation、long-horizon、dough rolling
- 数据模态
- RGB、depth、proprioception、state
数据集
BUDS UT Austin自底向上技能发现数据集，基于robosuite层次化模仿，分解长程任务为可复用基元，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- bottom-up skill discovery、hierarchical imitation、long-horizon
- 数据模态
- RGB、proprioception、state
数据集
ManipulaTHOR AI2的移动机械臂操作基准，30个厨房场景、150+物体类，ArmPointNav长程导航+操作，2021年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- arm point navigation、mobile manipulation、long-horizon
- 数据模态
- RGB、depth、GPS+compass
数据集
TIDEE CMU提出的杂乱场景整理长程基准，8300个场景与任务，RGB+深度，需多步物体归位与重排，2021年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- tidying、rearrangement、long-horizon
- 数据模态
- RGB、depth、state
数据集
YuMi Dual-Arm Grasp Data (ABB) 在 ABB YuMi 双臂上历时三个月采集的真实抓取数据，配平行夹爪与吸盘末端，含成功/失败标注点云（2024）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 双臂抓取、吸盘抓取、抓取成功预测
- 数据模态
- 点云、抓取位姿、吸盘/夹爪
数据集
WristCam (Sawyer) 帝国理工在 Rethink Sawyer 上采集约 2000 段腕部相机遥操作演示，强调灵巧操作的鲁棒视觉模仿学习（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、放置、灵巧操作、长程
- 数据模态
- RGB(腕部+全局)、关节角、夹爪、语言
数据集
SPiRL USC CLVR层次化技能先验数据集，厨房等域约500条演示，自底向上发现可复用长程技能，2020年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- skill priors、hierarchical imitation、kitchen manipulation、long-horizon
- 数据模态
- RGB、proprioception、state、skill labels
数据集
RoboTHOR AI2发布的视觉语义导航基准，99个仿真场景、约1.98万训练回合，支持LoCoBot sim-to-real迁移，2020年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- visual semantic navigation、point-goal navigation、sim-to-real
- 数据模态
- RGB、depth、GPS+compass
数据集
OK-Robot 纽约大学与Meta联合发布的开放词汇移动操作数据集，10个真实家庭、171次拾放评测，融合语义记忆与语言，2024年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- open-vocabulary mobile manipulation、pick-and-place、object navigation
- 数据模态
- RGB-D、language、semantic memory、scans
数据集
Dobot X-Trainer Tactile (Dobot) 在 Dobot X-Trainer 双臂平台上采集 152 段含触觉的插拔演示，分 USB 插入、齿轮装配与 peg-in-hole 三类（2025）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 插入、装配、peg-in-hole、插拔
- 数据模态
- RGB(顶/腕)、关节角、触觉、夹爪
数据集
AIRoA MoMa (Toyota HSR) 日本 AIRoA 在 Toyota HSR 上遥操作采集 23762 段家居服务演示（约 87 小时），含擦布、咖啡、洗碗等长程移动操作（2025）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 长程操作、移动操作、擦布、咖啡、洗碗
- 数据模态
- RGB(头/手)、关节角、底盘、力
数据集
AgileX Cobot Magic Towel (AgileX) 在 AgileX Cobot Magic 双臂上采集 1176 段毛巾收纳演示，含抓取、折叠、放置等原子动作，LeRobot 格式（2026）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、折叠、放置、毛巾整理
- 数据模态
- RGB(头/腕)、关节角、夹爪
数据集
VIOLA (Franka) UT Austin 在 Franka 上采集的 150 段厨房任务视觉模仿演示，覆盖摆桌、冲咖啡等 Household 任务（2022）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、放置、长程操作、冲咖啡、摆桌
- 数据模态
- RGB、关节角、夹爪状态、语言指令
数据集
UTokyo xArm Bimanual (xArm) 东京大学在 xArm 双臂上采集毛巾操作数据，含取毛巾、展开皱毛巾等任务，用于模仿学习与多物体操作（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 取放、毛巾展开、双臂操作
- 数据模态
- RGB、关节角、夹爪
数据集
Berkeley Autolab UR5 UC Berkeley 自动化实验室在 UR5 上采集 4 类操作任务（毛绒动物抓取、扫布、叠杯、精确定位放置）（2022）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、清扫、叠杯、精确定位
- 数据模态
- RGB、深度、关节角、夹爪
数据集
Stanford Kuka Multimodal (KUKA) 斯坦福在 KUKA 上采集视觉+触觉多模态数据集，将不同形状插销插入不同孔位，公差约 2mm（2019）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 插入、插接、精密装配
- 数据模态
- RGB、触觉、关节角、夹爪
数据集
UCSD Kitchen (Franka) 加州大学圣地亚哥分校在 Franka 上采集 150 段厨房任务演示，配自然语言指令，覆盖多样日常物体操作（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、放置、厨房操作、长程
- 数据模态
- RGB、语言指令、关节角、夹爪
数据集
QT-Opt Grasping (KUKA) Google 在 KUKA 机械臂上完成 58 万余次真实抓取尝试，采用分布式深度强化学习实现高成功率抓取（2018）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、动态抓取、装箱
- 数据模态
- RGB-D、关节角、夹爪
数据集
LBX Bimanual xArm Labelbox 在双臂 xArm6/xArm7 站上遥操作采集的家居与桌面任务数据，以 MCAP 保存多相机与本体感知（2026）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 折叠、放置、双臂操作、家务
- 数据模态
- RGB(多视角)、关节角、夹爪、力
数据集
KAIST Nonprehensile Objects (UR5) 韩国 KAIST 在 UR5 上采集非抓取式操作数据，将多样真实/3D 打印物体平移并重定向到目标 6D 位姿（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 非抓取操作、平移、重定向
- 数据模态
- RGB、关节角、夹爪
数据集
FMB: Functional Manipulation Benchmark (Franka) UC Berkeley 在 Franka 上采集 22550 段功能性装配轨迹，需抓取-重定位-插入多阶段技能，评测泛化（2024）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 装配、插入、重定位、长程
- 数据模态
- RGB、深度、关节角、夹爪、多视角
数据集
USC Cloth Sim / DMfD (Franka) 南加州大学在 Franka 上采集约 800 段布料操作演示，含沿对角线折叠、对折、拉直绳索等可变形物体任务（2022）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 布料折叠、绳索拉直、可变形物体
- 数据模态
- RGB、深度、关节角、夹爪
数据集
Freiburg Franka Play (Franka) 弗莱堡大学在 Franka 上遥操作采集 1085 段桌面积木演示（约 520 万帧），含抓放、叠块、开抽屉等（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、放置、叠块、开抽屉
- 数据模态
- RGB、关节角、夹爪
数据集
QUT Dexterous Manipulation (Franka) 昆士兰科技大学在 Franka 上采集约 800 段动态抓取演示，含餐具分拣、摆桌、抛垃圾等桌面操作（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 动态抓取、分拣、放置
- 数据模态
- RGB、关节角、夹爪
数据集
QUT Dynamic Grasping (Franka) 昆士兰科技大学在 Franka 上采集 812 段动态抓取轨迹，目标在 XY 平面随机连续运动，需实时视觉伺服（2022）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 动态抓取、视觉伺服
- 数据模态
- RGB、关节角、夹爪
数据集
Austin BUDS (UR5) UT Austin 在 UR5 上采集 365 段无分段长程厨房演示，用于无监督技能发现与层级模仿学习（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 长程操作、技能发现、拾锅推具
- 数据模态
- RGB、关节角、夹爪
数据集
Austin Sailor (UR5) UT Austin 在 UR5 上采集 5000 段玩具厨房家务演示，含食物、锅具拾取与放置，用于层级模仿学习（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、放置、家务、长程
- 数据模态
- RGB、关节角、夹爪、语言
数据集
RoboCook (Franka) 斯坦福等在 Franka 上采集约 2460 段面团长程可塑物体操作数据，用 15 种工具完成擀面、切饼、包饺子（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 长程操作、可塑物体、揉面、包饺子
- 数据模态
- RGB-D点云、关节角、夹爪、工具
数据集
Austin Sirius (Franka) UT Austin 在 Franka 上采集 570 段含人类干预的家务演示，含 kcup 插入与齿轮装配等精密插接任务（2023）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 插入、装配、插接
- 数据模态
- RGB、关节角、夹爪状态、语言指令
数据集
Cholec80 80段腹腔镜胆囊切除手术视频,标注7个手术阶段与7种器械,需申请表单下载,CC-BY-NC-SA。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 阶段识别、器械识别
- 数据模态
- RGB视频
数据集
IRL Collaborative Assembly 人机协作工业装配多模态数据集,结合示教运动与口语指令,含视频、深度、骨架、力与机器人轨迹。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 协作装配、示教、语言指令
- 数据模态
- 视频、深度、骨架、力、轨迹
数据集
RGB-Stacking DeepMind 2021堆叠基准,150个程序生成刚体,含仿真环境与真实机械臂单元CAD,支持技能掌握与泛化。
- 数据类型
- 仿真基准
- 任务类型
- 堆叠、抓取、放置
- 数据模态
- RGB、本体感知
数据集
ViCoS Towel Dataset 8000张真实RGB-D毛巾图像+12000合成图像,覆盖多配置与光照,用于布料抓取点检测基准。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 布料抓取、抓取点检测
- 数据模态
- RGB-D
数据集
robosuite 基于MuJoCo的模块化机器人学习仿真框架与基准,含单臂/双臂/人形任务、演示采集与多模态传感。
- 数据类型
- 仿真基准
- 任务类型
- 抓取、放置、装配、演示模仿
- 数据模态
- RGB、深度、本体感知、状态
数据集
CLIPort 2021语言条件操作基准,融合CLIP语义与Transporter空间推理,基于Ravens在仿真生成桌面上千演示。
- 数据类型
- 仿真基准
- 任务类型
- 语言条件抓取、堆叠、重排
- 数据模态
- RGB-D、语言指令
数据集
XYZ-IBD 2025高精度工业箱拣数据集,15个反光金属件、75场景、2.2万图与9.1万毫米级6D位姿,FANUC采集。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 箱拣、6D位姿估计、深度估计
- 数据模态
- RGB、灰度、深度
数据集
MIT-Princeton APC 2016 Shelf&Tote 亚马逊拣货挑战2016货架-料箱基准,多视角RGB-D场景与6D位姿标注,用于仓储装箱抓取视觉。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 仓储抓取、6D位姿估计
- 数据模态
- RGB、深度
数据集
JIGSAWS 达芬奇手术系统采集的缝合/打结/穿针运动学和立体视频,含手势与技能标注,需注册下载。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 缝合、打结、穿针、手势识别
- 数据模态
- 运动学、立体视频
数据集
UCL Ex-vivo dVRK 离体dVRK(达芬奇研究套件)手术器械分割与运动学数据集,14段手术各300帧,含绿幕真值。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 器械分割、运动学建模
- 数据模态
- RGB视频、运动学、分割掩码
数据集
EndoVis 2018 2018机器人场景分割挑战,19段猪体手术序列(达芬奇X/Xi),含器械与解剖结构多边形标注。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 器械分割、场景分割
- 数据模态
- 立体RGB、标定
数据集
Cloth Sim2Real Benchmark 2023布料操作Sim2Real鸿沟评测数据集,真实与仿真动态/准静态任务,对比MuJoCo/Bullet/Flex/SOFA。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 布料操作、Sim2Real评测
- 数据模态
- RGB、深度、布料状态
数据集
RoboCraft 2023弹塑性物体操作用粒子表征基准,含仿真与10分钟真实交互数据,可变形为目标形状。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 可形变操作、塑形
- 数据模态
- RGB-D、粒子状态
数据集
UWHandles 深海ROV可抓取把手6D位姿数据集,28段序列共20427张鱼眼标注图像,用于水下操作位姿估计。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 水下抓取、6D位姿估计
- 数据模态
- 单目鱼眼RGB、6D位姿、2D框
数据集
USIM 2025水下机器人操作VLA仿真数据集,Stonefish中2275条episode、20任务,BlueROV2+4-DoF臂,LeRobot格式。
- 数据类型
- 仿真基准
- 任务类型
- 水下抓取、导航、运输
- 数据模态
- RGB(双相机)、本体感知、关节
数据集
SurRoL 2021开源dVRK兼容手术机器人学习仿真平台(PyBullet),含14个手术任务与物理交互,支持Sim2Real。
- 数据类型
- 仿真基准
- 任务类型
- 缝合、切割、操作、手术技能
- 数据模态
- RGB、深度、状态
数据集
WRS 2018 Dataset WRS 2018实际空间伙伴机器人挑战YOLO数据集,含真实与合成图像,标注41类目标物,用于物体识别。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 目标识别、抓取前感知
- 数据模态
- RGB、深度
数据集
ARNOLD 2023语言驱动连续状态操作基准,基于Isaac Sim的8个任务,提供模板生成语言描述专家示范。
- 数据类型
- 仿真基准
- 任务类型
- 语言条件操作、连续状态操作
- 数据模态
- RGB、深度、连续状态
数据集
JARVIS-1 2023年发布，基于Minecraft的开放世界多任务智能体，含200+任务与多模态记忆规划，覆盖长程任务。
- 数据类型
- 语言与任务规划
- 任务类型
- 任务规划、长程操作、指令跟随
- 数据模态
- RGB、语言指令、状态、动作
数据集
TEACh-DA 2022年Amazon发布，对TEACh的3,000+对话标注18类对话行为，含3.95万话语，用于具身任务对话建模。
- 数据类型
- 语言与任务规划
- 任务类型
- 对话引导、指令跟随
- 数据模态
- 对话、语言指令、状态、动作