数据集
HIT-MHAD 多模态人体动作数据 2400 段多模态人体动作序列，Zenodo 下载，IEEE DataPort，2023 年。
- 数据类型
- 触觉与动作捕捉
- 任务类型
- 动作识别、人机交互、动作捕捉
- 数据模态
- RGB-D、skeleton、depth、audio
数据
23 具身数据集库
硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引，方便按任务、平台与协议筛选对照。
数据集
RobotDiffuse 机器人动作扩散数据 PyBullet 中 3500 万姿态扩散训练数据，经 Google Drive 发布，2024 年。
- 数据类型
- 仿真基准
- 任务类型
- 姿态生成、抓取、运动规划
- 数据模态
- RGB、depth、pose、point-cloud
数据集
Phys100K 机器人可达性理解数据 Phys100K 机器人可达性理解数据：10万多机器人RGB/深度可达性样本，CVPR2025，2025
- 数据类型
- 导航与三维场景
- 任务类型
- 可达性理解、EmbodiedQA、任务规划
- 数据模态
- RGB、depth、robot-params、language
数据集
Unitree G1 Dex3 烤面包操作数据 Unitree G1 Dex3 烤面包操作数据：G1七自由度双臂+Dex3灵巧手，418幕，Apache-2.0，2025
- 数据类型
- 双臂与移动操作
- 任务类型
- 抓取、放置、递送、单任务长程
- 数据模态
- RGB、depth、action
数据集
RoboGround 视觉语言操作数据 RoboGround 视觉语言操作数据：2.4万仿真演示11.2万指令，1.02TB，MIT，CVPR2025
- 数据类型
- 仿真基准
- 任务类型
- 抓取、放置、视觉 grounding、长程操作
- 数据模态
- RGB、depth、mask、language
数据集
Fourier GR2 人形真机数据(社区镜像) Fourier GR2 人形真机数据(社区镜像)：傅利叶GR2人形真机操作分组数据镜像，2025
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 双臂操作、抓取、全身协调
- 数据模态
- RGB、depth、proprioception、action
数据集
ShareRobot 机器人任务知识数据 ShareRobot 机器人任务知识数据：含规划/可供性/轨迹约103万QA对，多机器人，2025
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 任务规划、可供性推理、轨迹生成
- 数据模态
- RGB、depth、language、QA
数据集
RealDex 真机灵巧手抓取序列 RealDex 真机灵巧手抓取序列：2000+灵巧手抓取序列，IJCAI2024，gdown下载，2024
- 数据类型
- 灵巧手与抓取
- 任务类型
- 灵巧抓取、手指操作、手内重排
- 数据模态
- RGB、depth、手位姿、手-物交互
数据集
USTC 移动操作真机数据 USTC 移动操作真机数据：中科大移动机械臂真实操作数据，CC BY-NC-SA 4.0，2024
- 数据类型
- 双臂与移动操作
- 任务类型
- 移动操作、抓取、放置、导航取物
- 数据模态
- RGB、depth、proprioception、action
数据集
DriveMLM 自动驾驶仿真对话数据 DriveMLM 自动驾驶仿真对话数据：CARLA中280小时驾驶数据5万路线，Apache-2.0，2023
- 数据类型
- 三维资产与自动驾驶
- 任务类型
- 自动驾驶、决策、场景理解
- 数据模态
- RGB、depth、lidar、vehicle-state
数据集
GraspM3 百万级灵巧抓取轨迹 GraspM3 百万级灵巧抓取轨迹：136万灵巧手抓取轨迹，Shadow+Mano，邮件申请，2024
- 数据类型
- 灵巧手与抓取
- 任务类型
- 灵巧抓取、指尖操作、物体操纵
- 数据模态
- RGB、depth、手位姿、tactile
数据集
Open6DOR 六自由度物体重排数据 Open6DOR 六自由度物体重排数据：200+物体2400+六自由度重排任务，Apache-2.0，2024
- 数据类型
- 灵巧手与抓取
- 任务类型
- 六自由度抓取、重排、放置
- 数据模态
- RGB、depth、language、6DoF-pose
数据集
ManipArena 双臂移动操作数据 ManipArena 双臂移动操作数据：双臂+移动底盘真实操作，10812+轨迹，Apache-2.0，2025
- 数据类型
- 双臂与移动操作
- 任务类型
- 双臂协作、移动操作、抓取、放置、长程任务
- 数据模态
- RGB、depth、proprioception、action
数据集
OpenHLM-data 宇树G1全身操作数据 OpenHLM-data 宇树G1全身操作数据：宇树G1人形全身操作LeRobot数据，181万条，MIT，2025
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 全身移动、双臂操作、抓取、放置
- 数据模态
- RGB、depth、proprioception、action
数据集
BDRBench-20 字节机器人操作基准 BDRBench-20 字节机器人操作基准：字节单臂VLA操作基准，8000条真机轨迹，Apache-2.0，2025
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、放置、折叠、推、长程操作
- 数据模态
- RGB、depth、proprioception、language
数据集
Conq-Hose UR5软管长程可形变操作数据集，1000条episodes、10+场景，含语言标注，CC BY-NC 4.0，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- deformable manipulation、hose routing、coiling、insertion、long-horizon
- 数据模态
- RGB、depth、proprioception、language
数据集
FMB (Functional Manipulation Benchmark) UC伯克利真实功能操作长程基准，2.25万条轨迹、多阶段抓取-重定向-装配，Franka，CC-BY-4.0，2024年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- functional manipulation、multi-stage assembly、long-horizon
- 数据模态
- RGB、depth、proprioception、state
数据集
GOAT-Bench AI2与CMU的长程多模态终身导航基准，68万回合、181个HM3DSem场景，Stretch执行，2024年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- lifelong navigation、multi-modal、long-horizon、rearrangement
- 数据模态
- RGB、depth、language、semantic memory
数据集
Kitchen-R AIRI等基于Isaac Sim的厨房长程基准，563条4–8步语言指令、约2700条移动操作轨迹，Mobile ALOHA，2025年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- language-conditioned mobile manipulation、long-horizon planning、multi-step
- 数据模态
- RGB、depth、proprioception、language
数据集
RoboCook 斯坦福与伯克利的弹塑性长程操作数据集，2460条真实Franka轨迹（含LeRobot版），揉面擀面等，2023年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- deformable manipulation、long-horizon、dough rolling
- 数据模态
- RGB、depth、proprioception、state
数据集
ManipulaTHOR AI2的移动机械臂操作基准，30个厨房场景、150+物体类，ArmPointNav长程导航+操作，2021年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- arm point navigation、mobile manipulation、long-horizon
- 数据模态
- RGB、depth、GPS+compass
数据集
TIDEE CMU提出的杂乱场景整理长程基准，8300个场景与任务，RGB+深度，需多步物体归位与重排，2021年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- tidying、rearrangement、long-horizon
- 数据模态
- RGB、depth、state
数据集
RoboTHOR AI2发布的视觉语义导航基准，99个仿真场景、约1.98万训练回合，支持LoCoBot sim-to-real迁移，2020年。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- visual semantic navigation、point-goal navigation、sim-to-real
- 数据模态
- RGB、depth、GPS+compass