数据集
HIT-MHAD 多模态人体动作数据 2400 段多模态人体动作序列，Zenodo 下载，IEEE DataPort，2023 年。
- 机器人平台
- Kinect、动捕系统
- 数据类型
- 触觉与动作捕捉
- 协议
- 以官方公开许可为准
数据
25 具身数据集库
硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引，方便按任务、平台与协议筛选对照。
按场景进门
说「我的机器人 + 我的场景」，先看代表集
每个场景挑了策展代表，点进去 3 秒判断适不适合；下载与细筛是后一步。
家居整理 52 条
叠衣、收桌、厨房家务。挑的是能接到家用机型、任务口径清楚的代表集。
北京人形 RoboMIND / 智元 AGIBOT WORLD 2026 / 智元 AGIBOT WORLD 数据集 1.0
抓取放置 108 条
抓起来、放下去，所有操作策略的第一课。经典基准与大规模真机都有。
DROID / GraspNet-1Billion / Fourier ActionNet
双臂协同 63 条
左右手配合、递送、双臂长程。ALOHA 系与国产真机大集为主。
ALOHA Unleashed: 双臂灵巧操作示范集 / Mobile ALOHA / 智源 RoboCOIN
灵巧手操作 72 条
多指抓握、手内旋转、手物交互。做灵巧手和多指末端先看这里。
DexGraspNet / ACRONYM / DexYCB
插接装配 19 条
插接、装配、拧螺丝、线缆操作。对标产线工位的操作数据。
Assembly101 / RH20T / ALOHA Unleashed: 双臂灵巧操作示范集
长程任务 70 条
多阶段任务连着做。评估策略的持续性与恢复能力先看这批。
CALVIN / BEHAVIOR-1K / Meta-World
人形全身 38 条
人形真机训练集：AGIBOT WORLD、RoboMIND、ActionNet 这一档。
智元 AGIBOT WORLD 2026 / 智元 AGIBOT WORLD 数据集 1.0 / 北京人形 RoboMIND
导航与三维 79 条
室内导航、场景图、可达性理解。移动底盘与空间智能用。
vLAR PhysInOne / ARIO 全机器人统一数据集 / InternData-M1
移动操作 51 条
轮式底盘 + 机械臂：边走边干。开放世界作业看这批。
Mobile ALOHA / Galaxea Open-World Dataset / ARIO 全机器人统一数据集
仿真与合成 130 条
仿真基准、域随机化、合成数据。先跑通再迁真机。
Meta-World / RLBench / robosuite
数据集
LoHoRavens CIS的层次化长程语言条件操作基准，10个长程任务，基于Ravens仿真、UR5e，需子目标规划，2023年。
- 机器人平台
- UR5e (Ravens sim)
- 数据类型
- 跨本体真机操作数据集
- 协议
- MIT
数据集
OK-Robot 纽约大学与Meta联合发布的开放词汇移动操作数据集，10个真实家庭、171次拾放评测，融合语义记忆与语言，2024年。
- 机器人平台
- Hello Robot Stretch
- 数据类型
- 跨本体真机操作数据集
- 协议
- MIT
数据集
QT-Opt Grasping (KUKA) Google 在 KUKA 机械臂上完成 58 万余次真实抓取尝试，采用分布式深度强化学习实现高成功率抓取（2018）。
- 机器人平台
- KUKA 机械臂
- 数据类型
- 跨本体真机操作数据集
- 协议
- ODC-BY
数据集
ViCoS Towel Dataset 8000张真实RGB-D毛巾图像+12000合成图像,覆盖多配置与光照,用于布料抓取点检测基准。
- 机器人平台
- RGB-D相机(离线)
- 数据类型
- 跨本体真机操作数据集
- 协议
- CC-BY-NC-SA 4.0
数据集
CLIPort 2021语言条件操作基准,融合CLIP语义与Transporter空间推理,基于Ravens在仿真生成桌面上千演示。
- 机器人平台
- UR5、吸盘夹爪(仿真/真实)
- 数据类型
- 仿真基准
- 协议
- 以官方公开许可为准
数据集
RoboCraft 2023弹塑性物体操作用粒子表征基准,含仿真与10分钟真实交互数据,可变形为目标形状。
- 机器人平台
- Franka、刚性/柔性工具
- 数据类型
- 跨本体真机操作数据集
- 协议
- 以官方公开许可为准
数据集
HO-3D v3 CVPR 2020手-物3D姿态基准第3版，约10.3万帧RGB-D图像含右手与物体严重遮挡下的精确3D标注。
- 数据类型
- 手-物交互
- 协议
- 以官方公开许可为准
数据集
NLMap 2022年Everyday Robot发布，开放词汇可查询场景表示，含55项真实厨房长程任务，用于LLM规划器落地 grounding。
- 机器人平台
- 移动机械臂、具身智能体
- 数据类型
- 语言与任务规划
- 协议
- 以官方公开许可为准
数据集
OCID: 室内物体杂乱RGB-D数据集 移动机械臂室内物体杂乱RGB-D点云数据集,多场景多视角(2022) OCID: 室内物体杂乱RGB-D数据集 开源数据集，含公开可下载样本与官方评测。
- 机器人平台
- 移动机械臂 (TIAGo/移动平台)
- 数据类型
- 双臂与移动操作
- 协议
- CC (研究)
数据集
FHAD CVPR 2018第一人称手动作基准，约10.5万帧RGB-D视频与3D手姿态及物体6D位姿标注，覆盖日常动作。
- 数据类型
- 手-物交互
- 协议
- 以官方公开许可为准
数据集
LaNMP: 语言-导航-操作-感知移动操作数据集 长程语言导航+抓取放置移动操作,574轨迹真实与仿真(2024) LaNMP: 语言-导航-操作-感知移动操作数据集 开源数据集，含公开可下载样本与官方评测。
- 机器人平台
- 移动机械臂
- 数据类型
- 双臂与移动操作
- 协议
- 研究用途
数据集
KIT 双臂操作(动作捕捉)数据集 人类动作捕捉双臂日常家务操作,588条含手套与物体6D位姿(2021) KIT 双臂操作(动作捕捉)数据集 开源数据集，含公开可下载样本与官方评测。
- 机器人平台
- 人类动作捕捉(可迁移机器人)
- 数据类型
- 双臂与移动操作
- 协议
- 需注册 (KIT)
数据集
HomeRobot: 开放词汇移动操作 (OVMM) 开放词汇移动操作基准,1200+评测回合,基于Stretch真机(2023) HomeRobot: 开放词汇移动操作 (OVMM) 开源数据集，含公开可下载样本与官方评测。
- 机器人平台
- Hello Robot Stretch
- 数据类型
- 双臂与移动操作
- 协议
- MIT
数据集
NeuralFeels: Visuo-Tactile In-Hand Object Tracking GelSight/DIGIT 视触觉手内操作物体位姿跟踪，70 组实验、400+ 序列，Science Robotics 2024，含触觉-视觉对齐数据。
- 机器人平台
- Allegro Hand、Franka
- 数据类型
- 灵巧手与抓取
- 协议
- CC-BY-4.0 / MIT (code)
数据集
ScanRefer 基于 ScanNet 的 3D 视觉指代数据集，51,583 条自然语言描述、11,046 个物体、800 个场景，ECCV 2020 发布。
- 数据类型
- 导航与三维场景
- 协议
- ScanNet 许可 / 学术
数据集
3RScan 含 1,482 次室内重建、478 个带物体变化的环境，提供 RGB-D 序列与语义实例，用于场景变化理解，ICCV 2019。
- 数据类型
- 导航与三维场景
- 协议
- 学术许可
数据集
上海交大 AKB-48 2022年发布的真实世界铰接物体知识库，含48类、2037个真实扫描铰接物体模型，以ArtiKG知识图谱组织外观/结构/物理/语义。
- 机器人平台
- UR5+Robotiq 85
- 数据类型
- 三维资产与自动驾驶
- 协议
- CC BY 4.0
数据集
清华 ManiSkill2 2023 ICLR发布的统一操作技能基准，含20个任务族、2000+物体、400万+演示帧，基于SAPIEN仿真器，Apache-2.0。
- 机器人平台
- Franka、台式机械臂、移动操作臂
- 数据类型
- 仿真基准
- 协议
- Apache-2.0
数据集
上海AI Lab EmbodiedScan 2023年发布的以自我为中心多模态3D感知数据集与基准，含5000+扫描、100万RGB-D视图、160k 3D框、760+类。
- 机器人平台
- 移动机器人、具身智能体
- 数据类型
- 导航与三维场景
- 协议
- 以官方公开许可为准
数据集
北大/松灵 RoboTwin 2025 CVPR Highlight发布的双臂机器人生成式数字孪生基准，含大规模合成轨迹与真实遥操作数据，覆盖多类桌面操作任务。
- 机器人平台
- Franka、双臂机器人
- 数据类型
- 双臂与移动操作
- 协议
- 以官方公开许可为准
数据集
SCAND 社会化导航数据集 SCAND 由人类遥操作机器人在校园真实人流中采集，含 138 段轨迹、约 8.7 小时、25 英里行驶数据，专门服务「机器人怎么走才不冒犯人」的社会化导航模仿学习研究。
- 机器人平台
- Spot 四足、Jackal 轮式机器人
- 数据类型
- 导航与三维场景数据集
- 协议
- 以官方页面为准
数据集
跨维智能 Aligned DexWorld Aligned DexWorld 是跨维智能公开的仿真合成机器人数据集，主张「对齐真机分布的合成数据可规模化扩展」，用仿真批量生成抓取与操作数据并对齐真实传感器特性，服务 Sim2Real 落地。
- 机器人平台
- 跨维机械臂与灵巧手
- 数据类型
- 灵巧手与抓取数据集
- 协议
- 以官方页面为准
数据集
灵巧智能 DexCanvas DexCanvas 由灵巧智能开源，把动作捕捉的人手操作与物理仿真结合，除视觉与手指关节外还提供接触力标注（关联论文 arXiv:2510.15786），采用 ODbL 开放数据库许可，适合做力感知灵巧操作。
- 机器人平台
- DexHand 灵巧手
- 数据类型
- 灵巧手与抓取数据集
- 协议
- ODbL
数据集
ARIO 全机器人统一数据集 ARIO（All Robots In One）由鹏城实验室联合中山大学发布，主打统一数据格式标准，把不同本体、不同传感器配置的机器人数据规范到同一套 schema 下，目标是解决国内具身数据「各家格式互不兼容」的问题。
- 机器人平台
- 单臂、双臂、四足、人形、轮式
- 数据类型
- 跨本体真机操作数据集
- 协议
- 以官方页面为准