具身数据集库

HIT-MHAD 多模态人体动作数据

2400 段多模态人体动作序列，Zenodo 下载，IEEE DataPort，2023 年。

机器人平台

Kinect、动捕系统

数据类型

触觉与动作捕捉

协议

以官方公开许可为准

RobotDiffuse 机器人动作扩散数据

PyBullet 中 3500 万姿态扩散训练数据，经 Google Drive 发布，2024 年。

机器人平台

Franka、仿真手臂

数据类型

仿真基准

协议

以官方公开许可为准

ChingMu 千寻千小时动作捕捉数据

ChingMu 千寻千小时动作捕捉数据：1000+小时光学动捕，15+场景500+任务，120Hz，2025

机器人平台

Unitree G1(已重定向)

数据类型

触觉与动作捕捉

协议

以官方公开许可为准

Phys100K 机器人可达性理解数据

Phys100K 机器人可达性理解数据：10万多机器人RGB/深度可达性样本，CVPR2025，2025

机器人平台

多机器人本体

数据类型

导航与三维场景

协议

以官方公开许可为准

Unitree G1 Dex3 烤面包操作数据

Unitree G1 Dex3 烤面包操作数据：G1七自由度双臂+Dex3灵巧手，418幕，Apache-2.0，2025

机器人平台

Unitree G1

数据类型

双臂与移动操作

协议

Apache-2.0

RoboGround 视觉语言操作数据

RoboGround 视觉语言操作数据：2.4万仿真演示11.2万指令，1.02TB，MIT，CVPR2025

机器人平台

Franka、GR-1仿真

数据类型

仿真基准

协议

MIT

ORS3D-60K 三维任务调度数据

ORS3D-60K 三维任务调度数据：6万复合任务覆盖4376真实室内场景，Apache-2.0，2025

机器人平台

仿真智能体

数据类型

导航与三维场景

协议

Apache-2.0

Falling Things (FAT)

6.15万张照片级合成图，21个YCB物体，提供3D位姿/分割/深度，用于机器人检测与Sim2Real位姿估计，2018。

机器人平台

仿真

数据类型

仿真基准

协议

CC BY-NC-SA 4.0

Fourier GR2 人形真机数据(社区镜像)

Fourier GR2 人形真机数据(社区镜像)：傅利叶GR2人形真机操作分组数据镜像，2025

机器人平台

Fourier GR2

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

同济多构型机器人运动数据

同济多构型机器人运动数据：双臂/单臂/四足运动数据240GB，MIT，ScienceDB，2025

机器人平台

双臂机器人、单臂机器人、四足机器人

数据类型

触觉与动作捕捉

协议

MIT

ShareRobot 机器人任务知识数据

ShareRobot 机器人任务知识数据：含规划/可供性/轨迹约103万QA对，多机器人，2025

机器人平台

多本体

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

RealDex 真机灵巧手抓取序列

RealDex 真机灵巧手抓取序列：2000+灵巧手抓取序列，IJCAI2024，gdown下载，2024

机器人平台

Allegro Hand、Franka

数据类型

灵巧手与抓取

协议

以官方公开许可为准

USTC 移动操作真机数据

USTC 移动操作真机数据：中科大移动机械臂真实操作数据，CC BY-NC-SA 4.0，2024

机器人平台

移动机械臂

数据类型

双臂与移动操作

协议

CC BY-NC-SA 4.0

DriveMLM 自动驾驶仿真对话数据

DriveMLM 自动驾驶仿真对话数据：CARLA中280小时驾驶数据5万路线，Apache-2.0，2023

机器人平台

自动驾驶仿真车辆

数据类型

三维资产与自动驾驶

协议

Apache-2.0

IKEA Furniture Assembly Environment

USC CLVR的层次化家具装配仿真环境，60+可装配模型、6类机械臂，长程多步装配，2021年发布。

机器人平台

Sawyer、Baxter、Jaco、Franka Emika Panda、Fetch

数据类型

跨本体真机操作数据集

协议

MIT

GraspM3 百万级灵巧抓取轨迹

GraspM3 百万级灵巧抓取轨迹：136万灵巧手抓取轨迹，Shadow+Mano，邮件申请，2024

机器人平台

Shadow Hand、Mano

数据类型

灵巧手与抓取

协议

学术非商业(需邮件申请)

Open6DOR 六自由度物体重排数据

Open6DOR 六自由度物体重排数据：200+物体2400+六自由度重排任务，Apache-2.0，2024

机器人平台

Franka

数据类型

灵巧手与抓取

协议

Apache-2.0

ManipArena 双臂移动操作数据

ManipArena 双臂移动操作数据：双臂+移动底盘真实操作，10812+轨迹，Apache-2.0，2025

机器人平台

双臂移动机器人

数据类型

双臂与移动操作

协议

Apache-2.0

EGAD!

2020进化算法生成2282个可3D打印几何多样物体+49评估件，1:1 Sim2Real转移，含百万预计算抓取，Dex-Net格式。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

BSD-3

OpenHLM-data 宇树G1全身操作数据

OpenHLM-data 宇树G1全身操作数据：宇树G1人形全身操作LeRobot数据，181万条，MIT，2025

机器人平台

Unitree G1

数据类型

跨本体真机操作数据集

协议

MIT

Sim2Surf

视触觉Sim2Real表面分类数据集，用扩散模型将仿真触觉图转真实域自动标注，ICRA2024，真实YCB验证。

机器人平台

DIGIT触觉传感器、仿真

数据类型

仿真基准

协议

以官方公开许可为准

PhysicalAI Manipulation-Kitchen

2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。

机器人平台

Kinova Gen3双臂、仿真

数据类型

仿真基准

协议

CC BY 4.0

ClearGrasp

5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。

机器人平台

UR5、仿真

数据类型

仿真基准

协议

以官方公开许可为准

PhysicalAI Manipulation-Objects

2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。

机器人平台

Kinova Gen3双臂、仿真

数据类型

仿真基准

协议

CC BY 4.0

NeuronsGym

2023混合仿真+实体敏捷机器人Sim2Real策略学习框架，提出SFPL安全指标，举办RoboMaster Sim2Real挑战赛。

机器人平台

敏捷移动机器人、仿真

数据类型

仿真基准

协议

以官方公开许可为准

BDRBench-20 字节机器人操作基准

BDRBench-20 字节机器人操作基准：字节单臂VLA操作基准，8000条真机轨迹，Apache-2.0，2025

机器人平台

Franka、UR5、遥操作手臂

数据类型

跨本体真机操作数据集

协议

Apache-2.0

UR10 Random Pose

2025用Isaac Sim生成UR10随机6DoF姿态数据集，含域随机化(光照/纹理)，含真实仓库测试集，用于Sim2Real位姿。

机器人平台

UR10、仿真

数据类型

仿真基准

协议

以官方公开许可为准

PhysicalAI Manipulation-SingleArm

2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

CC BY 4.0

Jacquard

基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。

机器人平台

仿真

数据类型

仿真基准

协议

以官方公开许可为准

Robust-Gymnasium

2024统一鲁棒RL基准，内置动力学/外观域随机化接口，量化Sim2Real迁移中的鲁棒性，支持多机器人任务。

机器人平台

多种、仿真

数据类型

仿真基准

协议

以官方公开许可为准

REALM

2025真实到仿真校验的操作泛化基准，7项技能×15类扰动×3500+物体，仿真与真实强相关，评测VLA模型。

机器人平台

Franka/UR、仿真

数据类型

仿真基准

协议

以官方公开许可为准

The Colosseum

2024，20个操作任务×12类环境扰动的仿真泛化基准，仿真与真实扰动相关性R²=0.61，量化Sim2Real鲁棒性。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

以官方公开许可为准

Humanoid-Gym

RSS2024零样本Sim2Real人形RL框架，Isaac Gym训练+MuJoCo验证，域随机化实现真机零样本迁移行走。

机器人平台

XBot-S/XBot-L人形、仿真

数据类型

仿真基准

协议

MIT

DISCOVERSE

2024高保真机器人仿真框架，复杂多物体环境与精确动力学，支持真实到仿真对齐与Sim2Real策略评测。

机器人平台

多种、仿真

数据类型

仿真基准

协议

以官方公开许可为准

Conq-Hose

UR5软管长程可形变操作数据集，1000条episodes、10+场景，含语言标注，CC BY-NC 4.0，2023年。

机器人平台

UR5

数据类型

跨本体真机操作数据集

协议

CC BY-NC 4.0

PhysicalAI Manipulation-Augmented

2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

CC BY 4.0

FMB (Functional Manipulation Benchmark)

UC伯克利真实功能操作长程基准，2.25万条轨迹、多阶段抓取-重定向-装配，Franka，CC-BY-4.0，2024年。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

CC-BY-4.0

Dex-Net 4.0

500万+合成平行夹/吸盘抓取深度图，域随机化训练，真实ABB YuMi分拣成功率>95%，2019。

机器人平台

仿真、YuMi

数据类型

仿真基准

协议

以官方公开许可为准

Berkeley RPT

UC伯克利的感知运动预训练数据集，908条真实轨迹、4类堆叠/拆堆任务，Franka，MIT许可，2023年。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

MIT

SynPick

动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。

机器人平台

仿真

数据类型

仿真基准

协议

以官方公开许可为准

PARTNR

Meta的人机协作长程规划基准，10万条自然语言任务、60房屋、5819物体，Habitat 3.0，2024年。

机器人平台

Habitat 3.0 simulated humanoid/robot

数据类型

跨本体真机操作数据集

协议

CC BY-NC 4.0

Lang4Sim2Real

RSS2024，提供仿真+真实Franka操作数据(抓取/绕线等)，用语义对齐弥合Sim2Real鸿沟，含域随机化集。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

以官方公开许可为准

LHManip

IIT的长程双臂操作数据集，200条episodes、20个长程任务、17.6万观测-动作对，真实机器人，2023年。

机器人平台

Bimanual robot (real)

数据类型

跨本体真机操作数据集

协议

MIT

LoHoRavens

CIS的层次化长程语言条件操作基准，10个长程任务，基于Ravens仿真、UR5e，需子目标规划，2023年。

机器人平台

UR5e (Ravens sim)

数据类型

跨本体真机操作数据集

协议

MIT

VIOLA

UT Austin的视觉模仿长程数据集，含摆桌、冲咖啡等长程任务，仿真+真实演示，UR5，2023年。

机器人平台

UR5

数据类型

跨本体真机操作数据集

协议

MIT

GOAT-Bench

AI2与CMU的长程多模态终身导航基准，68万回合、181个HM3DSem场景，Stretch执行，2024年。

机器人平台

Hello Robot Stretch

数据类型

跨本体真机操作数据集

协议

MIT

BiCoord

北航与NUS的紧密协调双臂长程数据集，18个任务、平均361步/4.27阶段，2026年发布。

机器人平台

Bimanual manipulator

数据类型

跨本体真机操作数据集

协议

MIT

MimicGen

NVIDIA自动生成大规模演示系统，4.8万+条跨12个操作任务的轨迹，含长程装配与厨房，2023年。

机器人平台

Franka Emika Panda、Sawyer、UR5e、Bimanual Panda

数据类型

跨本体真机操作数据集

协议

CC-BY 4.0

Toyota HSR Grasping & Throwing

德国 H-BRS 在 Toyota HSR 上采集的物体抓取并抛入抽屉数据，含学习与泛化两套，MongoDB 格式（2021）。

机器人平台

Toyota Human Support Robot (HSR)

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

Kitchen-R

AIRI等基于Isaac Sim的厨房长程基准，563条4–8步语言指令、约2700条移动操作轨迹，Mobile ALOHA，2025年。

机器人平台

Mobile ALOHA

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

MT-Opt

谷歌机器人舰队多任务强化学习数据集，92万余条真实轨迹，覆盖拾取、放置、重排等长程技能，2021年发布。

机器人平台

KUKA IIWA

数据类型

跨本体真机操作数据集

协议

Apache-2.0

RoboCook

斯坦福与伯克利的弹塑性长程操作数据集，2460条真实Franka轨迹（含LeRobot版），揉面擀面等，2023年。

机器人平台

Franka Emika Panda、Hello Robot Stretch

数据类型

跨本体真机操作数据集

协议

MIT

BUDS

UT Austin自底向上技能发现数据集，基于robosuite层次化模仿，分解长程任务为可复用基元，2023年。

机器人平台

robosuite simulated arm

数据类型

跨本体真机操作数据集

协议

MIT

ManipulaTHOR

AI2的移动机械臂操作基准，30个厨房场景、150+物体类，ArmPointNav长程导航+操作，2021年。

机器人平台

AI2-THOR mobile manipulator

数据类型

跨本体真机操作数据集

协议

Apache-2.0

TIDEE

CMU提出的杂乱场景整理长程基准，8300个场景与任务，RGB+深度，需多步物体归位与重排，2021年。

机器人平台

AI2-THOR simulated mobile manipulator

数据类型

跨本体真机操作数据集

协议

MIT

YuMi Dual-Arm Grasp Data (ABB)

在 ABB YuMi 双臂上历时三个月采集的真实抓取数据，配平行夹爪与吸盘末端，含成功/失败标注点云（2024）。

机器人平台

ABB YuMi IRB-14000

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

WristCam (Sawyer)

帝国理工在 Rethink Sawyer 上采集约 2000 段腕部相机遥操作演示，强调灵巧操作的鲁棒视觉模仿学习（2023）。

机器人平台

Rethink Robotics Sawyer

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

SPiRL

USC CLVR层次化技能先验数据集，厨房等域约500条演示，自底向上发现可复用长程技能，2020年。

机器人平台

Simulated manipulator

数据类型

跨本体真机操作数据集

协议

Apache-2.0

RoboTHOR

AI2发布的视觉语义导航基准，99个仿真场景、约1.98万训练回合，支持LoCoBot sim-to-real迁移，2020年。

机器人平台

LoCoBot

数据类型

跨本体真机操作数据集

协议

Apache-2.0

OK-Robot

纽约大学与Meta联合发布的开放词汇移动操作数据集，10个真实家庭、171次拾放评测，融合语义记忆与语言，2024年。

机器人平台

Hello Robot Stretch

数据类型

跨本体真机操作数据集

协议

MIT

Dobot X-Trainer Tactile (Dobot)

在 Dobot X-Trainer 双臂平台上采集 152 段含触觉的插拔演示，分 USB 插入、齿轮装配与 peg-in-hole 三类（2025）。

机器人平台

Dobot X-Trainer (Dobot)

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

AIRoA MoMa (Toyota HSR)

日本 AIRoA 在 Toyota HSR 上遥操作采集 23762 段家居服务演示（约 87 小时），含擦布、咖啡、洗碗等长程移动操作（2025）。

机器人平台

Toyota Human Support Robot (HSR)

数据类型

跨本体真机操作数据集

协议

CC BY-NC-SA 4.0

AgileX Cobot Magic Towel (AgileX)

在 AgileX Cobot Magic 双臂上采集 1176 段毛巾收纳演示，含抓取、折叠、放置等原子动作，LeRobot 格式（2026）。

机器人平台

AgileX Cobot Magic

数据类型

跨本体真机操作数据集

协议

Apache 2.0

VIOLA (Franka)

UT Austin 在 Franka 上采集的 150 段厨房任务视觉模仿演示，覆盖摆桌、冲咖啡等 Household 任务（2022）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

UTokyo xArm Bimanual (xArm)

东京大学在 xArm 双臂上采集毛巾操作数据，含取毛巾、展开皱毛巾等任务，用于模仿学习与多物体操作（2023）。

机器人平台

UFACTORY xArm

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

Berkeley Autolab UR5

UC Berkeley 自动化实验室在 UR5 上采集 4 类操作任务（毛绒动物抓取、扫布、叠杯、精确定位放置）（2022）。

机器人平台

Universal Robots UR5

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

Stanford Kuka Multimodal (KUKA)

斯坦福在 KUKA 上采集视觉+触觉多模态数据集，将不同形状插销插入不同孔位，公差约 2mm（2019）。

机器人平台

KUKA 机械臂

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

UCSD Kitchen (Franka)

加州大学圣地亚哥分校在 Franka 上采集 150 段厨房任务演示，配自然语言指令，覆盖多样日常物体操作（2023）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

QT-Opt Grasping (KUKA)

Google 在 KUKA 机械臂上完成 58 万余次真实抓取尝试，采用分布式深度强化学习实现高成功率抓取（2018）。

机器人平台

KUKA 机械臂

数据类型

跨本体真机操作数据集

协议

ODC-BY

LBX Bimanual xArm

Labelbox 在双臂 xArm6/xArm7 站上遥操作采集的家居与桌面任务数据，以 MCAP 保存多相机与本体感知（2026）。

机器人平台

UFACTORY xArm6、xArm7

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

KAIST Nonprehensile Objects (UR5)

韩国 KAIST 在 UR5 上采集非抓取式操作数据，将多样真实/3D 打印物体平移并重定向到目标 6D 位姿（2023）。

机器人平台

Universal Robots UR5

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

FMB: Functional Manipulation Benchmark (Franka)

UC Berkeley 在 Franka 上采集 22550 段功能性装配轨迹，需抓取-重定位-插入多阶段技能，评测泛化（2024）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

USC Cloth Sim / DMfD (Franka)

南加州大学在 Franka 上采集约 800 段布料操作演示，含沿对角线折叠、对折、拉直绳索等可变形物体任务（2022）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

Freiburg Franka Play (Franka)

弗莱堡大学在 Franka 上遥操作采集 1085 段桌面积木演示（约 520 万帧），含抓放、叠块、开抽屉等（2023）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

CC0

QUT Dexterous Manipulation (Franka)

昆士兰科技大学在 Franka 上采集约 800 段动态抓取演示，含餐具分拣、摆桌、抛垃圾等桌面操作（2023）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

QUT Dynamic Grasping (Franka)

昆士兰科技大学在 Franka 上采集 812 段动态抓取轨迹，目标在 XY 平面随机连续运动，需实时视觉伺服（2022）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

Austin BUDS (UR5)

UT Austin 在 UR5 上采集 365 段无分段长程厨房演示，用于无监督技能发现与层级模仿学习（2023）。

机器人平台

Universal Robots UR5

数据类型

跨本体真机操作数据集

协议

MIT

Austin Sailor (UR5)

UT Austin 在 UR5 上采集 5000 段玩具厨房家务演示，含食物、锅具拾取与放置，用于层级模仿学习（2023）。

机器人平台

Universal Robots UR5

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

RoboCook (Franka)

斯坦福等在 Franka 上采集约 2460 段面团长程可塑物体操作数据，用 15 种工具完成擀面、切饼、包饺子（2023）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

MIT

Austin Sirius (Franka)

UT Austin 在 Franka 上采集 570 段含人类干预的家务演示，含 kcup 插入与齿轮装配等精密插接任务（2023）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

MIT

Cholec80

80段腹腔镜胆囊切除手术视频,标注7个手术阶段与7种器械,需申请表单下载,CC-BY-NC-SA。

机器人平台

腹腔镜手术系统

数据类型

跨本体真机操作数据集

协议

CC-BY-NC-SA 4.0

IRL Collaborative Assembly

人机协作工业装配多模态数据集,结合示教运动与口语指令,含视频、深度、骨架、力与机器人轨迹。

机器人平台

协作机械臂

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

RGB-Stacking

DeepMind 2021堆叠基准,150个程序生成刚体,含仿真环境与真实机械臂单元CAD,支持技能掌握与泛化。

机器人平台

4-DoF机械臂、平行夹爪

数据类型

仿真基准

协议

Apache 2.0

ViCoS Towel Dataset

8000张真实RGB-D毛巾图像+12000合成图像,覆盖多配置与光照,用于布料抓取点检测基准。

机器人平台

RGB-D相机(离线)

数据类型

跨本体真机操作数据集

协议

CC-BY-NC-SA 4.0

robosuite

基于MuJoCo的模块化机器人学习仿真框架与基准,含单臂/双臂/人形任务、演示采集与多模态传感。

机器人平台

Franka、Sawyer、Baxter、UR5、人形

数据类型

仿真基准

协议

MIT

CLIPort

2021语言条件操作基准,融合CLIP语义与Transporter空间推理,基于Ravens在仿真生成桌面上千演示。

机器人平台

UR5、吸盘夹爪(仿真/真实)

数据类型

仿真基准

协议

以官方公开许可为准

XYZ-IBD

2025高精度工业箱拣数据集,15个反光金属件、75场景、2.2万图与9.1万毫米级6D位姿,FANUC采集。

机器人平台

FANUC M10iD/8L

数据类型

跨本体真机操作数据集

协议

CC-BY-NC-SA 4.0

MIT-Princeton APC 2016 Shelf&Tote

亚马逊拣货挑战2016货架-料箱基准,多视角RGB-D场景与6D位姿标注,用于仓储装箱抓取视觉。

机器人平台

工业臂、RealSense

数据类型

跨本体真机操作数据集

协议

BSD-2-Clause

JIGSAWS

达芬奇手术系统采集的缝合/打结/穿针运动学和立体视频,含手势与技能标注,需注册下载。

机器人平台

da Vinci Surgical System

数据类型

跨本体真机操作数据集

协议

学术研究许可(禁止商用)

UCL Ex-vivo dVRK

离体dVRK(达芬奇研究套件)手术器械分割与运动学数据集,14段手术各300帧,含绿幕真值。

机器人平台

dVRK (da Vinci Research Kit)

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

EndoVis 2018

2018机器人场景分割挑战,19段猪体手术序列(达芬奇X/Xi),含器械与解剖结构多边形标注。

机器人平台

da Vinci Xi/X

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

Cloth Sim2Real Benchmark

2023布料操作Sim2Real鸿沟评测数据集,真实与仿真动态/准静态任务,对比MuJoCo/Bullet/Flex/SOFA。

机器人平台

机械臂

数据类型

跨本体真机操作数据集

协议

开源(以官方为准)

RoboCraft

2023弹塑性物体操作用粒子表征基准,含仿真与10分钟真实交互数据,可变形为目标形状。

机器人平台

Franka、刚性/柔性工具

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

UWHandles

深海ROV可抓取把手6D位姿数据集,28段序列共20427张鱼眼标注图像,用于水下操作位姿估计。

机器人平台

Schilling Titan 4液压机械臂(ROV)

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

USIM

2025水下机器人操作VLA仿真数据集,Stonefish中2275条episode、20任务,BlueROV2+4-DoF臂,LeRobot格式。

机器人平台

BlueROV2 + 4-DoF臂 + Robotiq夹爪

数据类型

仿真基准

协议

以官方公开许可为准

SurRoL

2021开源dVRK兼容手术机器人学习仿真平台(PyBullet),含14个手术任务与物理交互,支持Sim2Real。

机器人平台

dVRK PSM/ECM

数据类型

仿真基准

协议

MIT

WRS 2018 Dataset

WRS 2018实际空间伙伴机器人挑战YOLO数据集,含真实与合成图像,标注41类目标物,用于物体识别。

机器人平台

HSR等服务机器人

数据类型

跨本体真机操作数据集

协议

LGPL

ARNOLD

2023语言驱动连续状态操作基准,基于Isaac Sim的8个任务,提供模板生成语言描述专家示范。

机器人平台

Franka、移动操作臂

数据类型

仿真基准

协议

以官方公开许可为准

JARVIS-1

2023年发布，基于Minecraft的开放世界多任务智能体，含200+任务与多模态记忆规划，覆盖长程任务。

机器人平台

具身智能体、游戏智能体

数据类型

语言与任务规划

协议

Apache-2.0

TEACh-DA

2022年Amazon发布，对TEACh的3,000+对话标注18类对话行为，含3.95万话语，用于具身任务对话建模。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

CC BY 4.0

C-WAH

2023年UMass发布，扩展Watch-and-Help支持多智能体通信，含5类家庭任务与长程协作子目标完成。

机器人平台

多智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

ADL

MIT日常活动数据集，以第一视角记录约百万帧无约束家居活动，含动作与对象交互时序标注。

数据类型

第一人称视频

协议

以官方公开许可为准

MineDojo

2022年Stanford发布，基于Minecraft的开放世界具身平台，含73万YouTube视频与180K维基，支持长程任务规划。

机器人平台

具身智能体、游戏智能体

数据类型

语言与任务规划

协议

Apache-2.0

LoTa-Bench

2024年ETRI发布，面向语言任务规划器的基准，含ALFRED+AI2-THOR与WAH-NL+VirtualHome两套评测。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

Habitat 2.0

2022年Meta发布，高保真家庭重排仿真，含10.5万+重排episodes与200+任务类别，支持长程家务操作。

机器人平台

移动机械臂、具身智能体

数据类型

语言与任务规划

协议

Apache-2.0

MindAgent

2023年微软发布，多智能体协作规划基准CuisineWorld，含Overcooked式与Minecraft任务，强调对话协调。

机器人平台

游戏智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

VirtualHome

2018年MIT发布，程序化家庭活动仿真器，含2,500+活动程序与5,000+日常任务，支持自然语言到动作映射。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

IKEA ASM

371段多视角家具组装视频(约300万帧),含深度、原子动作、人体姿态与分割标注,2021。

机器人平台

人(组装者)

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

DialFRED

2022年港中文发布，扩展ALFRED支持智能体主动提问，含50类问句模板与对话引导的家务任务完成。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

Plan4MC

2023年NTU发布，基于MineDojo的层级任务规划框架，覆盖60+长程技能与多步规划轨迹。

机器人平台

具身智能体、游戏智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

Housekeep

2022年MIT发布，基于Habitat 2.0的杂物收拾长程基准，含15类任务、10,802物体与4.7万+ episodes。

机器人平台

移动机械臂、具身智能体

数据类型

语言与任务规划

协议

MIT

Watch-and-Help

2021年中科大发布，基于VirtualHome-Social的社会协作基准，含10万+多智能体协作与助人轨迹。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

HO-3D v3

CVPR 2020手-物3D姿态基准第3版，约10.3万帧RGB-D图像含右手与物体严重遮挡下的精确3D标注。

数据类型

手-物交互

协议

以官方公开许可为准

MiniGrid

2020年Farama发布，轻量网格世界强化学习环境，提供大量语言条件任务，用于指令跟随与规划研究。

机器人平台

仿真智能体

数据类型

语言与任务规划

协议

MIT

Breakfast

布朗大学早餐动作数据集，77小时52人制作早餐视频，含约2000个长程活动与动作序列表注。

数据类型

人体姿态动作

协议

以官方公开许可为准

LOReL

2021年Stanford与Google发布，含6,000条众包语言标注与1,699条独特指令，覆盖真实机械臂与仿真语言条件任务。

机器人平台

机械臂、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

BabyAI

2019年Mila发布，网格世界语言条件任务基准，含约700万演示样本，用于指令跟随与组合泛化研究。

机器人平台

仿真智能体

数据类型

语言与任务规划

协议

MIT

NLMap

2022年Everyday Robot发布，开放词汇可查询场景表示，含55项真实厨房长程任务，用于LLM规划器落地 grounding。

机器人平台

移动机械臂、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

ALFRED

2020年AI2发布，含25,743条自然语言指令与5,856段专家演示，基于AI2-THOR的七类家务长程任务。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

Apache-2.0

HANNA

2019年马里兰大学发布，基于Matterport3D的找物导航，含约9,000条语言+视觉辅助指令，智能体可主动求助。

机器人平台

仿真智能体、导航机器人

数据类型

语言与任务规划

协议

以官方公开许可为准

OCID: 室内物体杂乱RGB-D数据集

移动机械臂室内物体杂乱RGB-D点云数据集,多场景多视角(2022) OCID: 室内物体杂乱RGB-D数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

移动机械臂 (TIAGo/移动平台)

数据类型

双臂与移动操作

协议

CC (研究)

Nymeria

ECCV 2024大规模第一人称移动与身体活动数据集，约300小时264人同步多模态可穿戴记录。

数据类型

第一人称视频

协议

以官方公开许可为准

EgoHOS

ECCV 2022第一人称手-物分割数据集，约11243张图像含像素级手与可操作物体分割及接触状态标注。

数据类型

手-物交互

协议

以官方公开许可为准

EgoPose

ICCV 2019第一人称全身3D姿态估计数据集，含多人同步第一视角RGB视频及3D人体关键点标注。

数据类型

人体姿态动作

协议

以官方公开许可为准

EgoExo-Fitness

ECCV 2024健身动作数据集，约32小时第一与第三人称双视角视频，含动作质量评估与步骤级标注。

数据类型

第一人称视频

协议

以官方公开许可为准

MECCANO

WACV 2021第一人称手-物交互数据集，20人组装摩托模型视频，含动作、手姿与物体接触标注。

数据类型

手-物交互

协议

以官方公开许可为准

YouCook2

密歇根大学烹饪视频数据集，2000段第三人称烹饪视频约176小时，含步骤级时序动作标注。

数据类型

第一人称视频

协议

以官方公开许可为准

EgoHands

ICCV 2015第一人称手势分割数据集，含48段视频4800帧像素级手部语义分割，用于手-物交互理解。

数据类型

手-物交互

协议

以官方公开许可为准

EGTEA Gaze+

佐治亚理工第一人称烹饪数据集，含86段约28小时视频与眼动注视标注，覆盖日常做饭动作。

数据类型

第一人称视频

协议

以官方公开许可为准

FHAD

CVPR 2018第一人称手动作基准，约10.5万帧RGB-D视频与3D手姿态及物体6D位姿标注，覆盖日常动作。

数据类型

手-物交互

协议

以官方公开许可为准

InterHand2.6M

CVPR 2020双手交互3D姿态数据集，约260万帧含单人双人交互手姿标注，支持双手重建与交互理解。

数据类型

手-物交互

协议

以官方公开许可为准

ENIGMA-51

WACV 2024工业场景第一人称视频数据集，51段共约22小时视频，含螺母装配等手-物交互与步骤标注。

数据类型

第一人称视频

协议

以官方公开许可为准

EgoExoLearn

CVPR 2024第一人称-第三人称教学技能学习数据集，约120小时同步双视角视频，含步骤与手势级标注。

数据类型

第一人称视频

协议

以官方公开许可为准

LaNMP: 语言-导航-操作-感知移动操作数据集

长程语言导航+抓取放置移动操作,574轨迹真实与仿真(2024) LaNMP: 语言-导航-操作-感知移动操作数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

移动机械臂

数据类型

双臂与移动操作

协议

研究用途

EgoMCQ

NeurIPS 2022随EgoVLP发布的第一人称视频语言基准，含约3.9万道多选问答题，覆盖468小时Ego4D活动。

数据类型

第一人称视频

协议

以官方公开许可为准

PVSG

CVPR 2023全景视频场景图数据集，400段长视频含111段第一人称，标注对象、关系与时空全景图。

数据类型

第一人称视频

协议

以官方公开许可为准

EgoVid-5M

NeurIPS 2024发布的大规模第一人称视频生成数据集，含500万片段及动作与运动学标注，源自Ego4D。

数据类型

第一人称视频

协议

以官方公开许可为准

GR00T-X 仿真双臂操作数据集

Isaac仿真双臂与拟人操作轨迹,双臂9k+桌面240k(2025) GR00T-X 仿真双臂操作数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

Franka (bimanual)、GR1 人形

数据类型

双臂与移动操作

协议

CC-BY-4.0

EgoLife

CVPR 2025长期第一人称生活记录数据集，6人同住300小时多模态视频，支持长程活动理解与具身问答。

数据类型

第一人称视频

协议

以官方公开许可为准

BEAVR: 双臂多本体VR遥操作系统与数据集

VR双臂多本体遥操作系统,50演示6任务,LeRobot格式(2025) BEAVR: 双臂多本体VR遥操作系统与数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

xArm、RX-1 人形+LeapHand

数据类型

双臂与移动操作

协议

CC BY 4.0

KIT 双臂操作(动作捕捉)数据集

人类动作捕捉双臂日常家务操作,588条含手套与物体6D位姿(2021) KIT 双臂操作(动作捕捉)数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

人类动作捕捉(可迁移机器人)

数据类型

双臂与移动操作

协议

需注册 (KIT)

HABIT: 人类感知行为交互训练数据集

双臂人机协作10563条164小时,60任务,三种交互角色(2025) HABIT: 人类感知行为交互训练数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

双臂 Franka Research 3

数据类型

双臂与移动操作

协议

研究用途

Humanoid Everyday: 开放世界人形操作数据集

人形双臂+全身移动10300条260任务,多模态含LiDAR(2025) Humanoid Everyday: 开放世界人形操作数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

Unitree 人形

数据类型

双臂与移动操作

协议

研究用途

HATO: 视觉触觉双臂多指操作数据集

视觉触觉双臂多指操作,4任务800条演示,UR5e+Ability Hand(2024)

机器人平台

UR5e + Ability Hand (多指)

数据类型

双臂与移动操作

协议

MIT

Flat'n'Fold: 衣物感知与操作多模态数据集

双臂衣物展开与折叠2100序列,多视角RGB-D与3D位姿(2024) Flat'n'Fold: 衣物感知与操作多模态数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

Baxter 双臂、人类演示

数据类型

双臂与移动操作

协议

CC (研究)

TidyBot++: 开源全向移动操作机器人

全向移动底盘配可换机械臂,手机遥操作家庭移动操作数据(2024) TidyBot++: 开源全向移动操作机器人 开源数据集，含公开可下载样本与官方评测。

机器人平台

TidyBot++ (全向底盘+可换臂)

数据类型

双臂与移动操作

协议

MIT

EgoMimic: 自我中心视频扩展模仿学习

Project Aria眼镜+低成本双臂,人机共训扩展模仿学习(2024) EgoMimic: 自我中心视频扩展模仿学习 开源数据集，含公开可下载样本与官方评测。

机器人平台

ViperX 300 S 双臂、Project Aria

数据类型

双臂与移动操作

协议

MIT

HomeRobot: 开放词汇移动操作 (OVMM)

开放词汇移动操作基准,1200+评测回合,基于Stretch真机(2023) HomeRobot: 开放词汇移动操作 (OVMM) 开源数据集，含公开可下载样本与官方评测。

机器人平台

Hello Robot Stretch

数据类型

双臂与移动操作

协议

MIT

BRMData: 双臂-移动家庭操作数据集

双臂+移动家庭操作10类任务,多视角深度,含人机交互(2024) BRMData: 双臂-移动家庭操作数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

双臂移动机器人 (ARX/Cobot Magic)

数据类型

双臂与移动操作

协议

MIT

BC-Z: 零样本任务泛化机器人模仿学习

Google桌面拾放操作大规模VR遥操作演示,25877条覆盖100任务(2022)

机器人平台

Google robot (单臂)

数据类型

双臂与移动操作

协议

Kaggle/Google

DemoStart: 多指机器人仿真到真实自动课程

DEX-EE三指手灵巧操作,仿真+真实2753条,自动课程Sim2Real(2024)

机器人平台

Kuka LBR iiwa + DEX-EE 三指手

数据类型

双臂与移动操作

协议

研究用途

UMI 通用操作接口: 野外手持夹爪数据采集

手持夹爪野外采集框架,含双臂折衣/洗碗等,多子集约千条(2024) UMI 通用操作接口: 野外手持夹爪数据采集 开源数据集，含公开可下载样本与官方评测。

机器人平台

UR5e、Franka Emika、并行夹爪

数据类型

双臂与移动操作

协议

MIT

UMI 双臂衣物折叠数据集

UMI双臂衣物折叠子集,249条演示,zarr多视角可复现(2024) UMI 双臂衣物折叠数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

并行夹爪双臂

数据类型

双臂与移动操作

协议

MIT

ALOHA Unleashed: 双臂灵巧操作示范集

ALOHA2平台双臂灵巧操作5任务26241条,Diffusion Policy(2024)

机器人平台

ALOHA 2

数据类型

双臂与移动操作

协议

研究用途

ALOHA 2: 低成本双臂遥操作硬件与演示数据

开源低成本双臂Leader-Follower遥操作硬件与演示数据,单日约千条(2024)

机器人平台

ALOHA 2 (ViperX+WidowX)

数据类型

双臂与移动操作

协议

Apache-2.0

100 Days of Hands (100DOH)

27.3K YouTube 视频 (131 天采集) 的 2D 手-物接触框标注，覆盖多样真实场景，ECCV 2020。

机器人平台

none (in-the-wild)

数据类型

手-物交互

协议

CC-BY-4.0

BDD100K

10 万段驾驶视频、1.2 亿帧、10 万关键帧含多任务标注，覆盖多种天气与时段，NeurIPS 2018 发布。

机器人平台

自动驾驶车

数据类型

三维资产与自动驾驶

协议

BDD100K 许可

CrossTask Instructional Video Benchmark

4,700 段教学视频、83 任务，含步骤时间对齐与旁白脚本，支持任务迁移与步骤预测，ICCV 2019。

机器人平台

none (in-the-wild)

数据类型

第一人称视频

协议

CC-BY-4.0

HOT3D Hand and Object Tracking in 3D

833 分钟、19 人 33 物体，Aria 眼镜 + Quest3 同步采集 3D 手-物位姿，CVPR 2025。

机器人平台

Project Aria、Meta Quest 3

数据类型

手-物交互

协议

Custom (research)

Something-Else Hand-Object Interaction Annotations

Something-Something V2 的 180,049 段视频逐帧手-物空间关系标注，支持组合动作推理，CVPR 2020。

机器人平台

none (in-the-wild)

数据类型

手-物交互

协议

CC-BY-4.0

LocoMuJoCo Imitation Learning Benchmark

四足/双足/肌肉骨骼运动模仿学习基准，22k+ 运动片段，基于 MuJoCo，覆盖 Unitree/ANYmal 等本体，2023。

机器人平台

Unitree A1、ANYmal、Humanoid (MuJoCo)

数据类型

跨本体真机操作数据集

协议

MIT

H2O Hand-Object Interaction Dataset

4 人双手操作 + 6 序列，5 视角含 egocentric，提供 3D 手/物体位姿，支持双手重建，ICCV 2021。

机器人平台

multi-camera rig

数据类型

手-物交互

协议

CC-BY-NC-4.0

COIN Instructional Video Dataset

11,827 段教学视频，12 领域 180 任务、46K 步骤标注，支持步骤分割与程序活动识别，CVPR 2019。

机器人平台

none (in-the-wild)

数据类型

第一人称视频

协议

CC-BY-4.0

EgoTaskQA Egocentric Video QA

约 2,000 段第一人称任务视频配 40K QA 对，含长程任务步骤推理与状态查询，NeurIPS 2022。

机器人平台

head-mounted camera

数据类型

第一人称视频

协议

CC-BY-4.0

UH-1 and Humanoid-X

超 2000 万人体姿态-语言对 (UH-1) 及大规模人形跨场景数据 (Humanoid-X)，用于人形控制与模仿学习，2024。

机器人平台

humanoid (retargeted)

数据类型

跨本体真机操作数据集

协议

Apache-2.0

GrandTour Legged Robot Field Dataset

ANYmal 足式机器人在野外/城市长距离行走真机数据，含多地形里程计与地形扫描，含 9 小时行走，2023。

机器人平台

ANYmal C/B

数据类型

跨本体真机操作数据集

协议

CC-BY-4.0

Barkour: Quadruped Agile Parkour Benchmark

四足敏捷障碍赛基准，17,636 模拟 episode (约 57.58 小时)，结合 RL 与运动先验，Nature 2023 配套数据。

机器人平台

Ghost Robotics Spirit40

数据类型

跨本体真机操作数据集

协议

Apache-2.0 (code)

Charades-Ego Actor-Observer Dataset

7,860 样本 (~4000 对第一/第三人称同步视频)，112 人日常活动，支持视角变换与动作识别，CVPR 2019。

机器人平台

head-mounted + static camera

数据类型

第一人称视频

协议

CC-BY-4.0

UnifoLM-WBT Whole-Body Teleoperation Dataset

Unitree G1 全身遥操作真机数据集，含行走、蹲伏与双臂操作示范，支持统一全身运动策略训练，2026 上线。

机器人平台

Unitree G1

数据类型

跨本体真机操作数据集

协议

Apache-2.0

TacTip Tactile Gym Benchmark

光学触觉传感器 TacTip 的 PyBullet RL 基准，含边缘跟随/物体抓取等任务，支持 TacTip/DIGIT/DigiTac，2021。

机器人平台

TacTip、DIGIT、DigiTac (sim)

数据类型

触觉与动作捕捉

协议

MIT

HOMIE: Humanoid Whole-Body Teleoperation Dataset

同构外骨骼驾驶舱采集人形全身 loco-manipulation 遥操作真机数据，含行走+操作，arXiv 2502.13013，2025。

机器人平台

Unitree H1、custom humanoid

数据类型

跨本体真机操作数据集

协议

Apache-2.0

Touch100k: Touch-Language-Vision Dataset

约 10 万触摸-语言-视觉对，基于 GelSight 采集，覆盖物体材质/几何描述，支持触觉多模态大模型，2024。

机器人平台

GelSight rig、UR5

数据类型

触觉与动作捕捉

协议

Apache-2.0

KITTI-360

城郊驾驶数据集，15 万图像、10 亿+ 3D 点、密集语义/实例标注，覆盖 360 度全景，PAMI 2022 发布。

机器人平台

自动驾驶车

数据类型

三维资产与自动驾驶

协议

CC-BY-NC-SA 3.0

Cityscapes

50 个城市街景数据集，5,000 精细标注 + 20,000 粗标注帧，提供语义/实例/全景分割与立体深度，CVPR 2016。

机器人平台

自动驾驶车

数据类型

三维资产与自动驾驶

协议

Cityscapes 许可 (非商业)

Touch-Vision-Language Dataset

43,741 对接触图像-触觉-语言三元组数据，DIGIT+网络摄像头采集，支持触觉语言模型训练，ICML 2024。

机器人平台

DIGIT sensor rig

数据类型

触觉与动作捕捉

协议

MIT

AnySkin Slip Detection Dataset

Reachy 2 夹爪搭载 5 个磁触觉传感器，覆盖 40 种物体的滑移检测数据，用于触觉滑移分类，Apache-2.0，2024。

机器人平台

Reachy 2

数据类型

触觉与动作捕捉

协议

Apache-2.0

NeuralFeels: Visuo-Tactile In-Hand Object Tracking

GelSight/DIGIT 视触觉手内操作物体位姿跟踪，70 组实验、400+ 序列，Science Robotics 2024，含触觉-视觉对齐数据。

机器人平台

Allegro Hand、Franka

数据类型

灵巧手与抓取

协议

CC-BY-4.0 / MIT (code)

YCB-Slide: Visual-Tactile Sliding Dataset

DIGIT 触觉传感器滑过 10 个 YCB 物体表面，含 50 条滑动轨迹，支持触觉/视觉滑动预测，CoRL2022 (MidasTouch)。

机器人平台

Franka Emika Panda

数据类型

触觉与动作捕捉

协议

MIT

ThreeDWorld (TDW)

2021年多模态物理仿真平台，支持视听渲染与刚体/柔体交互，含Transport挑战与物体数据集。

机器人平台

Magnebot、移动机器人

数据类型

仿真基准

协议

以官方公开许可为准

ONCE (One million scenes)

百万级自动驾驶数据集，100 万 LiDAR 帧、700 万图像、15k 带标注场景，覆盖多样场景与天气，NeurIPS 2021。

机器人平台

自动驾驶车

数据类型

三维资产与自动驾驶

协议

ONCE 许可

ScanObjectNN

约 15,000 个从真实室内扫描提取的物体、2,902 个标注实例、15 类，含背景噪声与残缺，ICCV 2019 发布。

数据类型

三维资产与自动驾驶

协议

学术许可

Amazon-Berkeley Objects (ABO)

147,702 商品清单、398,212 图像与 7,953 个带材质/真实尺寸的 3D 模型，CVPR 2022 发布，用于物体理解与检索。

数据类型

三维资产与自动驾驶

协议

ABO 许可 (CC-BY)

Structured3D

3.5K 套专业室内设计场景，含全景图、2D/3D 标注、语义与平面图，覆盖多房间布局，ECCV 2020 发布。

数据类型

导航与三维场景

协议

学术许可

SQA3D (Spatial QA 3D)

具身空间问答数据集，650 个 ScanNet 场景、6.8K 情境化设置、33.4K 问答对，需先定位智能体位置再理解空间，ICLR 2023。

数据类型

导航与三维场景

协议

学术许可

3D-FUTURE

阿里巴巴家具数据集，含 13,151 个高质量 3D 家具模型与多视图渲染图、纹理与标注，2020 发布，用于 3D 物体理解。

数据类型

三维资产与自动驾驶

协议

3D-FUTURE 许可 (非商业)

ScanRefer

基于 ScanNet 的 3D 视觉指代数据集，51,583 条自然语言描述、11,046 个物体、800 个场景，ECCV 2020 发布。

数据类型

导航与三维场景

协议

ScanNet 许可 / 学术

3D-FRONT

18,968 个专业设计的室内房间布局数据集，含家具实例、语义与平面图，与 3D-FUTURE 配套，2020 发布。

数据类型

三维资产与自动驾驶

协议

3D-FRONT 许可 (非商业)

CVDN (Cooperative Vision-and-Dialog Navigation)

协作视觉对话导航数据集，含 2,050 段导航对话、7,000+ 轨迹、83 个房屋，智能体通过对话询问完成导航，2019 发布。

数据类型

导航与三维场景

协议

学术许可

VLN-CE (Vision-and-Language Navigation in Continuous Environments)

将离散 R2R 指令迁移到 Habitat 连续环境的 VLN 基准，支持真实动作控制与碰撞，ECCV 2020 发布。

数据类型

导航与三维场景

协议

MIT / 学术

HSSD-200

高语义保真合成场景数据集，含 211 个场景、18,000+ 可交互物体、466 类，专为高效具身 AI 训练设计，2023 发布。

数据类型

导航与三维场景

协议

HSSD 许可 (非商业)

3RScan

含 1,482 次室内重建、478 个带物体变化的环境，提供 RGB-D 序列与语义实例，用于场景变化理解，ICCV 2019。

数据类型

导航与三维场景

协议

学术许可

Replica Dataset

18 个高保真室内场景重建数据集，含网格、纹理、语义与实例标注，单场景达数亿面，2019 发布，用于视觉导航仿真。

数据类型

导航与三维场景

协议

Replica 许可 (非商业)

Touchdown

基于 Google Street View 的室外视觉语言导航数据集，9,326 条指令、61,319 条路网边，含定位与导航任务，CVPR 2019。

数据类型

导航与三维场景

协议

学术许可

VIMA

2022年多模态提示机器人操作基准，程序化生成桌面任务，发布65万专家轨迹用于模仿学习。

机器人平台

机械臂

数据类型

仿真基准

协议

CC BY 4.0

TOTO Benchmark

2023年离线训练在线测试真实机器人基准，含舀取与倾倒约1895条遥操作轨迹及仿真数据。

机器人平台

Franka

数据类型

仿真基准

协议

Apache-2.0

REVERIE

远程指代视觉导航数据集，21,702 条指令、4,140 个目标物体、489 类对象，要求智能体在陌生室内找人指定物体，CVPR 2020。

数据类型

导航与三维场景

协议

学术许可

SOON (Scenario-Oriented Object Navigation)

面向场景的物体导航(FAO)基准，需从多个物体中按细粒度描述定位目标，含 ScanNet 重建场景，CVPR 2021 发布。

数据类型

导航与三维场景

协议

学术许可

R2R (Room-to-Room)

基于 Matterport3D 的视觉语言导航基准，含 90 个室内环境、10,567 条全景轨迹与 7,189 条自然语言指令，CVPR 2018 发布。

数据类型

导航与三维场景

协议

Matterport3D 学术许可

Berkeley Cable Routing

2023年多阶段电缆布线分层imitation数据集，含1442路由、11915选择与257端到端演示轨迹。

机器人平台

Franka

数据类型

仿真基准

协议

以官方公开许可为准

iGibson 2.0

2021年物体中心交互仿真环境，15个可交互场景支持温度/湿度等状态，含VR演示与BEHAVIOR。

机器人平台

移动机械臂

数据类型

仿真基准

协议

以官方公开许可为准

Isaac Lab (Orbit)

2023/2024年基于Isaac Sim的GPU机器人学习框架，含30+基准任务与资产，支持RL与模仿学习。

机器人平台

Franka、机械臂、四足、人形

数据类型

仿真基准

协议

BSD-3-Clause

RT-1 Dataset

2022年大规模真实机器人操作数据集，13万片段覆盖700+任务，含语言指令与多模态传感数据。

机器人平台

Everyday Robot (EDR)

数据类型

仿真基准

协议

以官方公开许可为准

DexPBT

2023年基于Isaac Gym的灵巧操作基准，用群体化训练学习重抓取、抛投与物体重定向等任务。

机器人平台

灵巧手、机械臂

数据类型

仿真基准

协议

以官方公开许可为准

OCRTOC

2021年云端桌面整理抓取与操作竞赛基准，含76场景6004张标注RGB-D图像及真实数据集。

机器人平台

Franka

数据类型

仿真基准

协议

以官方公开许可为准

PlasticineLab

2021年可微物理软体操作基准，含10类橡皮泥塑形任务50种配置，基于DiffTaichi。

机器人平台

机械臂

数据类型

仿真基准

协议

以官方公开许可为准

GenDexHand

2025年灵巧手生成式仿真管线，用LLM/VLM闭环生成多样灵巧操作任务与环境及轨迹数据。

机器人平台

灵巧手

数据类型

仿真基准

协议

以官方公开许可为准

CLVR Jaco Play

2023年Kinova Jaco2语言标注遥操作数据集，1085条桌面拾放轨迹，含多视角RGB与状态。

机器人平台

Kinova Jaco2

数据类型

仿真基准

协议

CC BY 4.0

ProcTHOR-10K

2022年程序生成的大规模具身AI室内数据集，含1万套房屋场景，支持导航与操作任务。

机器人平台

移动机器人

数据类型

仿真基准

协议

Apache-2.0

SoftGym

2020年基于NVIDIA FleX的柔体操作RL基准，含布料、绳、水流等12类任务，Gym接口。

机器人平台

机械臂

数据类型

仿真基准

协议

BSD-3-Clause

MIME

2018年最大规模机器人演示数据集之一，含8260条人-机演示覆盖20类操作任务，配对视频与轨迹。

机器人平台

Baxter

数据类型

仿真基准

协议

以官方公开许可为准

RoboTurk

2018/2019年众包遥操作数据集，Pilot含3224条演示，真实集111小时、54名用户长程操作。

机器人平台

Sawyer、机械臂

数据类型

仿真基准

协议

以官方公开许可为准

上海交大 RFUniverse

2022年发布的基于Unity的多物理场机器人仿真平台，支持87种原子动作与刚体/流体/热耦合，提供多类家庭任务基准。

机器人平台

Franka、UR5、各类机械臂

数据类型

仿真基准

协议

CC BY 4.0

ManiSkill3

2024/2025年GPU并行化机器人仿真与渲染框架，含50+操作任务与可下载演示数据集，RSS 2025。

机器人平台

Franka、机械臂、灵巧手、人形

数据类型

仿真基准

协议

Apache-2.0 / MIT

BIGAI/清华 MultiDex

2023 ICRA发布的跨五只灵巧手的大规模抓取数据集，含58个家庭物体、43.6万抓取姿态，是已知最大多手抓取数据集。

机器人平台

ShadowHand、Allegro等5种灵巧手

数据类型

灵巧手与抓取

协议

以官方公开许可为准

ManiSkill-HAB

2025年基于ManiSkill3的家庭重排低级操作基准，含TidyHouse等三任务约3.3万任务计划，HF可下。

机器人平台

移动机械臂

数据类型

仿真基准

协议

以官方公开许可为准

RoboGen

2023年生成式仿真框架，用GPT-4自动生成百余种刚体操作与运动任务及轨迹数据。

机器人平台

机械臂、移动机器人

数据类型

仿真基准

协议

以官方公开许可为准

FurnitureBench

2023年真实家具组装长程操作基准，8种家具、219小时遥操作演示，含标准化配置与数据集。

机器人平台

Franka

数据类型

仿真基准

协议

MIT

上海交大 AKB-48

2022年发布的真实世界铰接物体知识库，含48类、2037个真实扫描铰接物体模型，以ArtiKG知识图谱组织外观/结构/物理/语义。

机器人平台

UR5+Robotiq 85

数据类型

三维资产与自动驾驶

协议

CC BY 4.0

清华 ManiSkill2

2023 ICLR发布的统一操作技能基准，含20个任务族、2000+物体、400万+演示帧，基于SAPIEN仿真器，Apache-2.0。

机器人平台

Franka、台式机械臂、移动操作臂

数据类型

仿真基准

协议

Apache-2.0

上海AI Lab EmbodiedScan

2023年发布的以自我为中心多模态3D感知数据集与基准，含5000+扫描、100万RGB-D视图、160k 3D框、760+类。

机器人平台

移动机器人、具身智能体

数据类型

导航与三维场景

协议

以官方公开许可为准

上海AI Lab GRUtopia（桃源）

2024年发布的城市级具身仿真平台，含GRScenes十万个可交互场景、89类功能场景，配套LLM驱动的NPC与GRBench基准。

机器人平台

人形、四足、轮式、机械臂

数据类型

导航与三维场景

协议

以官方公开许可为准

鹏城实验室 InfiniteWorld

2024年发布的统一可扩展视觉-语言机器人交互仿真框架，基于Isaac Sim，含生成式3D资产与四类交互基准。

机器人平台

Stretch、Unitree H1、多种机器人

数据类型

仿真基准

协议

以官方公开许可为准

银河通用/北大 GraspVLA·SynGrasp-1B

2025年发布的十亿帧合成抓取数据集，含1万+物体、240类，基于光线追踪渲染与物理仿真，支撑VLA抓取基础模型。

机器人平台

单臂机械臂

数据类型

灵巧手与抓取

协议

CC BY-NC-SA 4.0

北京通用人工智能研究院 RoboVerse

2025 RSS/ICML发布的统一仿真平台与合成数据集，含51万轨迹、5000万+状态转移、276任务、5500资产，基于METASIM。

机器人平台

Franka、机械臂、移动机器人、人形

数据类型

仿真基准

协议

以官方公开许可为准

北大 UniDexGrasp

2023 CVPR发布的灵巧手抓取大规模数据集，含112万抓取、5519物体、133类，基于ShadowHand与Isaac Gym仿真验证。

机器人平台

ShadowHand

数据类型

灵巧手与抓取

协议

CC BY-NC 4.0

银河通用 DexonomySim

2025年8月开源的灵巧手多样抓取仿真数据集，含950万+抓取姿态、1万+物体、31种抓握类型，覆盖约94%人类抓握分类。

机器人平台

多指灵巧手

数据类型

灵巧手与抓取

协议

以官方公开许可为准

北大 UniDexGrasp++

2023 ICCV发布的灵巧手抓取扩展数据集，覆盖3000+真实物体实例，支持从视觉到抓取的端到端泛化研究。

机器人平台

ShadowHand

数据类型

灵巧手与抓取

协议

CC BY-NC 4.0

复旦 VLABench

2025 ICCV发布的语言条件机器人操作基准，含100类任务、2000+物体，支持长程推理与常识迁移，提供自动化训练数据。

机器人平台

单臂/双臂机械臂、人形

数据类型

双臂与移动操作

协议

MIT

北大 DexGraspNet 2.0

2024年发布的大规模灵巧手抓取仿真数据集，含1319个物体、8270个场景、约4.27亿条抓取姿态，基于LEAP手生成，CC BY-NC 4.0。

机器人平台

LEAP手

数据类型

灵巧手与抓取

协议

CC BY-NC 4.0

北大/松灵 RoboTwin

2025 CVPR Highlight发布的双臂机器人生成式数字孪生基准，含大规模合成轨迹与真实遥操作数据，覆盖多类桌面操作任务。

机器人平台

Franka、双臂机器人

数据类型

双臂与移动操作

协议

以官方公开许可为准

KITTI

KITTI 是自动驾驶与三维视觉领域的开山数据集，定义了立体匹配、光流、视觉里程计与三维检测等一整套评测任务，至今仍是几乎所有相关方法的必测基准。

机器人平台

自动驾驶车辆

数据类型

自动驾驶与户外多模态数据集

协议

CC BY-NC-SA 3.0（非商业）

Argoverse 2

Argoverse 2 含 1,000 段带传感器数据的标注序列与 25 万个运动预测场景，特色是提供细粒度矢量高精地图与长尾类别标注，常用于长尾感知与轨迹预测研究。

机器人平台

自动驾驶车辆

数据类型

自动驾驶与户外多模态数据集

协议

CC BY-NC-SA 4.0（非商业）

Waymo Open Dataset

Waymo Open Dataset 感知子集含约 2,000 段 20 秒高质量标注场景，运动预测子集覆盖十万量级交通场景，传感器精度与标注质量在公开自驾数据集中处于顶部，并持续举办年度挑战赛。

机器人平台

自动驾驶车辆

数据类型

自动驾驶与户外多模态数据集

协议

Waymo 数据集许可（非商业）

nuPlan

nuPlan 提供约 1,200 小时来自四座城市的真实驾驶数据与闭环仿真评测框架，是首个面向「规划」而非仅感知的大规模自动驾驶基准，评测方式与端到端具身策略评测思路相通。

机器人平台

自动驾驶车辆

数据类型

自动驾驶与户外多模态数据集

协议

CC BY-NC-SA 4.0（非商业）

nuScenes

nuScenes 含 1,000 段 20 秒场景、约 140 万张相机图像与 39 万帧激光点云，是首个提供完整 360 度相机+激光+毫米波传感器套件的公开自动驾驶数据集，长期作为三维检测标准基准。

机器人平台

自动驾驶车辆

数据类型

自动驾驶与户外多模态数据集

协议

CC BY-NC-SA 4.0（非商业）

OmniObject3D

OmniObject3D 用专业扫描设备采集 6,000 个真实物体、覆盖 190 个日常类别，同时提供高精网格、多视角图像与点云，弥补了 CAD 类资产库「不像真东西」的短板。

机器人平台

仿真环境资产

数据类型

三维物体资产库

协议

以官方页面为准

PartNet

PartNet 对 26,671 个三维模型做了 57 万多个部件实例的细粒度层级标注，是「机器人要抓门把手而不是抓整扇柜门」这类部件级功能理解研究的核心数据集。

机器人平台

仿真环境资产

数据类型

三维物体资产库

协议

以官方页面为准

ShapeNetCore

ShapeNetCore 含 51,300 个人工核验的三维 CAD 模型、覆盖 55 个常见类别，是点云与三维深度学习的奠基数据集；官网近期访问不稳，可从 Hugging Face 官方镜像获取。

机器人平台

仿真环境资产

数据类型

三维物体资产库

协议

ShapeNet 学术许可（需注册）

Objaverse / Objaverse-XL

Objaverse 开放 80 万以上带标注三维模型，Objaverse-XL 进一步扩展到 1,000 万量级，是三维生成模型与具身仿真场景最主要的公开资产来源，规模比 ShapeNet 高两个数量级。

机器人平台

仿真环境资产

数据类型

三维物体资产库

协议

ODC-BY 1.0（含各模型原始许可）

RoboVQA

RoboVQA 面向长程机器人任务收集大规模视频问答数据，覆盖任务可行性、剩余步骤、失败原因等提问类型，用于训练与评测具身模型的高层推理能力，而非只看单步动作。

机器人平台

移动机械臂、人类操作者

数据类型

仿真基准与合成数据集

协议

以官方页面为准

通研院 TongSIM-Asset

TongSIM-Asset 是北京通用人工智能研究院随 TongSIM 仿真平台开放的三维资产库，基于 Unreal Engine 5 构建可交互场景与物体（关联论文 arXiv:2512.20206），用于批量搭建具身任务环境。

机器人平台

TongSIM 仿真平台

数据类型

仿真基准与合成数据集

协议

以官方页面为准

智元 AgiBot Digital World

AgiBot Digital World 是智元与真机数据集并行开放的仿真数据集，配套 Genie 仿真平台，提供数字孪生场景下的大规模合成操作数据，许可为 CC BY-NC-SA 4.0，供非商业研究使用。

机器人平台

智元远征系列（仿真）

数据类型

仿真基准与合成数据集

协议

CC BY-NC-SA 4.0

RoboTwin 2.0

RoboTwin 2.0 提供双臂协同操作的仿真数据自动生成管线与配套数据集，靠大规模域随机化提升策略跨场景鲁棒性，是国内双臂仿真数据生成方向被引用最多的开源工作之一。

机器人平台

多款双臂平台（仿真）

数据类型

仿真基准与合成数据集

协议

以官方页面为准

SIMPLER

SIMPLER 用仿真复刻真机评测场景，让 RT-1、Octo 等策略无需真实机器人也能得到与真机高度相关的评测结果，解决了具身研究「没机器人就无法复现评测」的老问题。

机器人平台

Google Robot、WidowX（仿真复刻）

数据类型

仿真基准与合成数据集

协议

以官方仓库为准

robomimic

robomimic 提供标准化的机器人模仿学习数据集与完整基线实现，系统研究了「示教数据质量如何影响策略性能」，是离线学习类工作最常引用的对照套件。

机器人平台

Panda（robosuite 仿真）

数据类型

仿真基准与合成数据集

协议

MIT

BEHAVIOR-1K

BEHAVIOR-1K 基于真人问卷筛出 1,000 项最需要机器人代劳的家务活动，配 50 个可交互场景与 9,000 多件物体，支持流体、柔体与状态变化，是最贴近真实家庭需求的具身仿真基准。

机器人平台

Fetch、Tiago 等移动机器人（仿真）

数据类型

仿真基准与合成数据集

协议

MIT

RoboCasa

RoboCasa 构建 120 个厨房场景、2,509 件物体资产与 100 项任务，大量资产由生成模型批量产出，主张「用仿真合成数据把真机数据放大」，是当前合成数据扩增路线的代表性开源工作。

机器人平台

移动机械臂（仿真）

数据类型

仿真基准与合成数据集

协议

MIT

RLBench

RLBench 提供 100 项手工设计的操作任务，每项都可无限量自动生成专家示教，是 PerAct、RVT、Act3D 等三维操作策略的标准评测环境，也是仿真示教数据的重要来源。

机器人平台

Franka Panda（CoppeliaSim）

数据类型

仿真基准与合成数据集

协议

以官方仓库为准

ManiSkill

ManiSkill 是 GPU 并行化的机器人操作仿真平台与数据集，可同时跑数千环境实例，覆盖桌面操作、移动操作与灵巧手任务并提供大量演示数据，是强化学习大规模训练的主力工具链。

机器人平台

Panda、XArm、Fetch、多款灵巧手（仿真）

数据类型

仿真基准与合成数据集

协议

Apache-2.0

Meta-World

Meta-World 提供 50 项标准化机械臂操作任务与多套 ML/MT 评测协议，是多任务与元强化学习领域最通用的基准，现由 Farama 基金会持续维护，环境接口保持长期兼容。

机器人平台

Sawyer 机械臂（仿真）

数据类型

仿真基准与合成数据集

协议

MIT

CALVIN

CALVIN 提供 4 个仿真环境、34 类任务与约 24 小时人类遥操作数据，核心考察「连续完成一串语言指令」的长程能力，是语言条件操作策略最经典的公开基准。

机器人平台

Franka Panda（仿真）

数据类型

仿真基准与合成数据集

协议

MIT

LIBERO

LIBERO 含 130 项任务、划分为四个任务套件，专门用于评测机器人策略在空间、物体、目标与长程任务上的知识迁移与遗忘问题，是当前 VLA 模型论文最常用的仿真评测基准之一。

机器人平台

Franka Panda（仿真）

数据类型

仿真基准与合成数据集

协议

MIT

Nav-CoT-110K

Nav-CoT-110K 提供约 11 万条视觉语言导航的思维链样本，把「下一步往哪走」的中间推理过程显式写成文本，采用 Apache-2.0 许可，用于训练导航模型的显式推理能力。

机器人平台

仿真移动机器人

数据类型

导航与三维场景数据集

协议

Apache-2.0

群核 SAGE-3D VLN 数据集

SAGE-3D 由群核科技 SpatialVerse 开源，用 3D 高斯泼溅重建室内空间并配套视觉语言导航指令（关联论文 arXiv:2510.21307），采用 CC BY-4.0 许可，主打仿真到真机的导航迁移。

机器人平台

仿真/真机移动机器人

数据类型

导航与三维场景数据集

协议

CC BY-4.0

武汉大学 i2Nav-Robot

i2Nav-Robot 是武汉大学 i2Nav 实验室发布的大规模室内外机器人数据集，提供激光、视觉、IMU 与 GNSS 多源同步数据及高精度位姿真值，用于多传感器融合导航与建图算法评测。

机器人平台

移动机器人

数据类型

导航与三维场景数据集

协议

以官方仓库为准

TartanDrive

TartanDrive 采集约 5 小时高速越野驾驶数据，同步记录悬挂、轮速与车身姿态等动力学通道，是研究非结构化地形动力学建模与可通行性预测的少数公开真实数据集。

机器人平台

改装全地形车（ATV）

数据类型

导航与三维场景数据集

协议

以官方仓库为准

SCAND 社会化导航数据集

SCAND 由人类遥操作机器人在校园真实人流中采集，含 138 段轨迹、约 8.7 小时、25 英里行驶数据，专门服务「机器人怎么走才不冒犯人」的社会化导航模仿学习研究。

机器人平台

Spot 四足、Jackal 轮式机器人

数据类型

导航与三维场景数据集

协议

以官方页面为准

Room-Across-Room (RxR)

RxR 含约 12.6 万条多语言视觉语言导航指令，覆盖英语、印地语、泰卢固语三种语言，并记录标注者描述时的视觉注意轨迹，是 VLN 领域规模最大、标注最细的多语言基准。

机器人平台

仿真移动机器人

数据类型

导航与三维场景数据集

协议

CC BY 4.0

Gibson Environment Database

Gibson 数据库含 572 栋真实建筑、1,447 层楼的三维扫描，主打「真实感仿真」以缩小 Sim2Real 差距，是 iGibson 与后续室内具身仿真平台的场景基础。

机器人平台

仿真移动机器人

数据类型

导航与三维场景数据集

协议

Gibson 数据集许可（需签署）

ScanNet++

ScanNet++ 用激光扫描仪配合单反与手机采集 460 个室内场景，几何与纹理精度远高于上一代，同时支撑新视角合成与精细语义分割两类评测，是当前高保真室内三维数据的标杆。

机器人平台

手持/固定扫描（用于三维感知训练）

数据类型

导航与三维场景数据集

协议

ScanNet++ 使用条款（需申请）

ScanNet

ScanNet 含 1,513 段室内 RGB-D 扫描、覆盖 707 个不同空间与约 250 万视角，提供密集三维语义与实例标注，是三维场景理解领域使用最广的真实数据集，几乎所有点云分割方法都在其上评测。

机器人平台

手持扫描（用于三维感知训练）

数据类型

导航与三维场景数据集

协议

ScanNet 使用条款（需申请）

Matterport3D

Matterport3D 覆盖 90 栋真实建筑、10,800 个全景视角与 194,400 张 RGB-D 图像，是 R2R 视觉语言导航基准的底层场景，至今仍是室内三维理解与导航最常被引用的数据集。

机器人平台

仿真移动机器人

数据类型

导航与三维场景数据集

协议

Matterport3D 学术许可（需签署）

Habitat-Matterport 3D (HM3D)

HM3D 含 1,000 个建筑级真实空间的高保真三维重建，是 Habitat 仿真器上视觉导航研究的主力场景库，配套语义标注版本可直接做物体目标导航（ObjectNav）训练与评测。

机器人平台

仿真移动机器人

数据类型

导航与三维场景数据集

协议

HM3D 学术许可（需申请）

HowTo100M

HowTo100M 从 122 万条教学视频中切出约 1.36 亿个带字幕片段，覆盖两万多项日常任务，是视频-文本大规模预训练的奠基数据集，也常被具身模型用来学「任务步骤该怎么拆」。

机器人平台

人类操作视频（用于视觉语言预训练）

数据类型

第一人称人类视频数据集

协议

以官方页面为准

Something-Something V2

Something-Something V2 含 220,847 段众包短视频、174 类动作模板，刻意把「把东西推倒」「假装拿起」这类需要物理常识的动作分开标注，是检验模型是否真懂动作语义而非只认物体的经典数据集。

机器人平台

人手（用于操作语义预训练）

数据类型

第一人称人类视频数据集

协议

学术研究许可（需注册）

Assembly101

Assembly101 含 4,321 段玩具组装与拆解视频，同时提供 8 路固定视角与 4 路第一视角，并标注手部三维姿态和逐步操作序列，是研究长程装配任务与操作错误检测的核心数据集。

机器人平台

人类多视角采集（用于装配任务学习）

数据类型

第一人称人类视频数据集

协议

以官方页面为准

HD-EPIC

HD-EPIC 是 EPIC 系列的高密度标注版本，在 9 个厨房约 41 小时视频上做了三维数字孪生、眼动、手部姿态与食谱级细粒度标注，用于检验多模态大模型在真实厨房场景的推理能力。

机器人平台

人类头戴设备（用于具身预训练）

数据类型

第一人称人类视频数据集

协议

以官方页面为准

EPIC-KITCHENS-100

EPIC-KITCHENS-100 采集 45 个真实厨房里 100 小时无脚本烹饪活动，标注约 9 万个动作片段，是第一视角动作识别与预测领域最权威的长期基准，每年配套公开挑战赛。

机器人平台

人类头戴设备（用于具身预训练）

数据类型

第一人称人类视频数据集

协议

CC BY-NC 4.0

Ego-Exo4D

Ego-Exo4D 首次大规模同步采集第一视角与第三视角视频，含 1,286 小时数据、740 名参与者、13 座城市，覆盖烹饪、修车、舞蹈等技能场景，并配专家解说，是「看人学技能」这条路线的关键数据集。

机器人平台

人类头戴设备（用于具身预训练）

数据类型

第一人称人类视频数据集

协议

Ego-Exo4D 数据集许可（需签署）

Ego4D

Ego4D 含 3,670 小时第一视角日常生活视频，来自 9 个国家、74 个地点的 931 名参与者，是具身视觉预训练规模最大的公开人类视频库，也是 R3M、VC-1 等视觉表征模型的主要训练来源。

机器人平台

人类头戴设备（用于具身预训练）

数据类型

第一人称人类视频数据集

协议

Ego4D 数据集许可（需签署）

OMOMO

OMOMO 记录人搬动、抬举大件物体时的全身运动与物体轨迹配对数据，约 10 小时、覆盖 15 类大件物体，填补了「全身参与的重物操作」这类人形机器人急需但极缺的数据类型。

机器人平台

人形机器人（作为参考动作源）

数据类型

人体动作捕捉与人形运动数据集

协议

以官方仓库为准

LAFAN1

LAFAN1 是育碧 La Forge 开放的高质量动捕数据集，动作干净、帧率高、风格统一，既是动作补全研究的经典基准，也被大量人形机器人步态与全身控制工作直接当作参考轨迹源。

机器人平台

人形机器人（作为参考动作源）

数据类型

人体动作捕捉与人形运动数据集

协议

Ubisoft 官方数据集许可

HumanML3D

HumanML3D 在 AMASS 与 HumanAct12 基础上补齐文本标注，含 14,616 段动作与 44,970 条文本描述，是文本驱动动作生成（MDM、MotionGPT 等）事实上的标准基准。

机器人平台

人形机器人（作为参考动作源）

数据类型

人体动作捕捉与人形运动数据集

协议

以官方仓库为准

Motion-X

Motion-X 提供约 1,560 万帧全身表达性三维动作与 8.11 万段序列，含手部与面部细节及配套文本标注，是规模最大的公开「文本-全身动作」数据集之一，也常被用作人形机器人动作库来源。

机器人平台

人形机器人（作为参考动作源）

数据类型

人体动作捕捉与人形运动数据集

协议

以官方页面为准

AMASS

AMASS 把 15 个以上光学动捕数据库统一转换为 SMPL 参数化表示，汇集 300 多名被试、11,000 多段动作、40 余小时数据，是人形机器人全身运动模仿（如 H2O、OmniH2O 等工作）最标准的参考动作库。

机器人平台

人形机器人（作为参考动作源）

数据类型

人体动作捕捉与人形运动数据集

协议

学术研究许可（需注册）

Touch and Go

Touch and Go 由人手持 GelSight 触觉传感器在真实野外场景采集，含约 1.39 万次触摸样本与配对的视觉图像，是研究「看见材质就能预测手感」这类视触跨模态学习的代表性真实数据集。

机器人平台

手持触觉传感器

数据类型

触觉与多感官数据集

协议

以官方页面为准

ObjectFolder 2.0

ObjectFolder 2.0 把 1,000 个日常物体做成「隐式神经表示」，可按需渲染任意视角的视觉、敲击声音与触觉信号，是多感官具身学习（看得见、听得到、摸得着）最常用的仿真数据源。

机器人平台

仿真物体交互

数据类型

触觉与多感官数据集

协议

以官方页面为准

HORA 人手到机器人动作数据集

HORA（Human Object to Robotic Action）在 Hugging Face 公开约 13.6 万条样本，围绕「把人手操作重演成机器人动作」构建，采用 Apache-2.0 宽松许可，可商用，适合做人类示教到机器人动作的映射训练。

机器人平台

灵巧手/通用机械臂

数据类型

手-物交互与人类示教数据集

协议

Apache-2.0

Apple EgoDex

EgoDex 是苹果公开的大规模第一视角灵巧操作数据集，含约 829 小时视频与配套三维手部/手指追踪，覆盖 194 类日常桌面任务，主打「用人类第一视角数据预训练灵巧手策略」。

机器人平台

人手（用于灵巧手策略学习）

数据类型

手-物交互与人类示教数据集

协议

以官方仓库许可为准

ContactPose

ContactPose 是首个把「手物接触区域」直接测出来的公开数据集，用热成像捕捉 50 名被试对 25 个物体的 2,306 次抓取所留下的接触印记，同步给出手姿态与多视角 RGB-D。

机器人平台

人手（用于机器人学习）

数据类型

手-物交互与人类示教数据集

协议

以官方页面为准

GRAB

GRAB 用高精度动捕记录人「用全身去抓取和操作物体」的过程，输出 SMPL-X 全身参数与手物接触标注，是人形机器人全身抓取、抓取意图预测研究常用的动捕级数据源。

机器人平台

人体（用于人形机器人学习）

数据类型

手-物交互与人类示教数据集

协议

学术研究许可（需注册）

ARCTIC

ARCTIC 提供约 210 万帧双手操作可动关节物体的多视角数据，含精确的双手与物体网格标注及接触信息，是少数覆盖「双手同时改变物体自身关节状态」这类难例的公开数据集。

机器人平台

人手（用于机器人学习）

数据类型

手-物交互与人类示教数据集

协议

学术研究许可（需注册）

OakInk2

OakInk2（CVPR 2024）聚焦双手协同完成的复杂长程任务，把交互拆成「基元-任务」层级并给出完整双手与物体位姿标注，是研究双手协作操作与任务级模仿的重要公开数据集。

机器人平台

人手（用于机器人学习）

数据类型

手-物交互与人类示教数据集

协议

以官方页面为准

HOI4D

HOI4D 含 4,000 段第一视角序列、约 240 万帧 RGB-D，覆盖 800 个物体实例与 16 个类别，提供逐帧三维手物姿态与分割标注，是类别级手物交互与关节物体操作研究的核心数据集。

机器人平台

人手（用于机器人学习）

数据类型

手-物交互与人类示教数据集

协议

以官方页面为准

跨维智能 Aligned DexWorld

Aligned DexWorld 是跨维智能公开的仿真合成机器人数据集，主张「对齐真机分布的合成数据可规模化扩展」，用仿真批量生成抓取与操作数据并对齐真实传感器特性，服务 Sim2Real 落地。

机器人平台

跨维机械臂与灵巧手

数据类型

灵巧手与抓取数据集

协议

以官方页面为准

BeingBeyond UniHand

UniHand 是 BeingBeyond 面向通用灵巧手操作发布的大规模数据集，HF 预览版即含约 285 万条样本、采用 webdataset 与 LeRobot 标签体系，关联论文 arXiv:2507.15597，用于灵巧手 VLA 模型预训练。

机器人平台

多款灵巧手

数据类型

灵巧手与抓取数据集

协议

以官方页面为准

灵巧智能 DexCanvas

DexCanvas 由灵巧智能开源，把动作捕捉的人手操作与物理仿真结合，除视觉与手指关节外还提供接触力标注（关联论文 arXiv:2510.15786），采用 ODbL 开放数据库许可，适合做力感知灵巧操作。

机器人平台

DexHand 灵巧手

数据类型

灵巧手与抓取数据集

协议

ODbL

DexYCB

DexYCB 用 8 台 RGB-D 相机记录 10 名被试抓取 20 个 YCB 物体的 1,000 段序列、约 58.2 万帧，同步标注人手关键点与物体 6D 位姿，是手物位姿估计与人机物品交接研究的经典基准。

机器人平台

人手（用于机器人学习）

数据类型

灵巧手与抓取数据集

协议

以官方页面为准

ACRONYM

ACRONYM 是英伟达发布的大规模仿真抓取数据集，含 8,872 个物体上的 1,770 万次抓取尝试，每条都带物理仿真验证结果，常用于抓取网络预训练与 Sim2Real 抓取研究。

机器人平台

Franka 平行夹爪

数据类型

灵巧手与抓取数据集

协议

以官方页面为准

DexGraspNet

DexGraspNet 由北大 EPIC 实验室发布，含 132 万个 ShadowHand 灵巧抓取姿态、覆盖 5,355 个物体，规模比同期数据集高出两个量级，是多指灵巧抓取生成任务的标准训练集。

机器人平台

ShadowHand 五指灵巧手

数据类型

灵巧手与抓取数据集

协议

以官方页面为准

GraspNet-1Billion

GraspNet-1Billion 含 97,280 张真实 RGB-D 图像与超过 10 亿个标注抓取位姿，覆盖 88 个物体在杂乱堆叠场景中的抓取，是通用物体抓取检测领域最主流的评测基准与训练数据来源。

机器人平台

平行夹爪

数据类型

灵巧手与抓取数据集

协议

以官方页面为准（学术用途）

RoboSense 拥挤场景感知导航数据集

RoboSense 是面向拥挤与非结构化环境的第一视角机器人感知与导航数据集及基准，由上海交大团队开源，重点覆盖人群密集、遮挡严重的真实户外场景，弥补了自动驾驶数据集在低速服务机器人视角下的缺失。

机器人平台

移动机器人、配送机器人

数据类型

双臂与移动操作数据集

协议

以官方仓库为准

HIW-500 家庭物品操作数据集

HIW-500 覆盖约 500 类家庭物品的真机操作数据，HF 页面标注 robotics/humanoid 标签并采用 CC BY-4.0 开放许可，数据结构中含完整相机内参与时间戳，便于直接做多视角重建与策略训练。

机器人平台

人形/双臂采集平台

数据类型

双臂与移动操作数据集

协议

CC BY-4.0

新智具身 OpenNeoData

OpenNeoData 是新智具身在 Hugging Face 开源的真机操作数据集，采用 LeRobot 格式、规模在十万至百万样本量级，标签体系覆盖机器人操作与模仿学习，许可为 CC BY-NC-SA 4.0 非商业使用。

机器人平台

多本体

数据类型

双臂与移动操作数据集

协议

CC BY-NC-SA 4.0

腾讯 Hy-Embodied-0.5-VLA-Data

Hy-Embodied-0.5-VLA-Data 是腾讯在 Hugging Face 公开的具身 VLA 训练数据，采用 LeRobot/Lance 格式并关联论文 arXiv:2606.14409，采用 CC BY-4.0 许可，可直接用于视觉语言动作模型的训练与复现。

机器人平台

UMI 手持采集装置、双臂平台

数据类型

双臂与移动操作数据集

协议

CC BY-4.0

上海交大 RW-RL-Dataset

RW-RL-Dataset 由上海交大 MINT 实验室发布，HF 页面显示约 9.95 万条样本，特色是带人工干预（human intervention）标签，专门服务真机强化学习与在线纠错训练，而非纯离线模仿。

机器人平台

机械臂/双臂平台

数据类型

双臂与移动操作数据集

协议

以官方页面为准

蚂蚁灵波 GM-100

GM-100 是蚂蚁灵波（Robbyant）在 Hugging Face 开源的家庭双臂操作数据集，围绕约 100 类家庭任务采集真机数据，用于验证通用家庭操作模型在长尾日常任务上的表现。

机器人平台

灵波双臂机器人

数据类型

双臂与移动操作数据集

协议

以官方页面为准

Mobile ALOHA

Mobile ALOHA 开源了移动双臂遥操作硬件方案与配套示教数据，用 50 条示教即可让机器人完成炒虾、乘电梯等长程家务任务，是「低成本硬件 + 少量示教」路线影响力最大的公开工作之一。

机器人平台

Mobile ALOHA 移动双臂平台

数据类型

双臂与移动操作数据集

协议

MIT（代码）/ 数据以官方页面为准

睿尔曼 RealSource-World

RealSource-World 是睿尔曼智能开源的真机操作数据集，HF 页面标注规模量级在千万行级，涵盖双臂操作与全身控制标签，采用 CC BY-NC-SA 4.0 非商业许可，配有独立项目主页说明采集方案。

机器人平台

睿尔曼 RM 系列机械臂/双臂平台

数据类型

跨本体真机操作数据集

协议

CC BY-NC-SA 4.0

LeRobot 社区数据集集合

LeRobot 是 Hugging Face 主导的开源机器人学习栈，其组织页下聚合了数千个社区上传的标准化数据集，统一采用 LeRobotDataset 格式，是低成本机械臂复现与快速上手具身模仿学习的事实入口。

机器人平台

SO-100/SO-101、Koch、ALOHA 复刻、多款社区本体

数据类型

跨本体真机操作数据集

协议

多为 Apache-2.0 / CC 系（逐仓库不同）

Galaxea Open-World Dataset

Galaxea Open-World Dataset 是星海图随 G0 模型一并开放的真实开放场景数据集，全部由同一款移动双臂本体在家居、零售、办公等真实空间连续采集，强调「单一本体 + 真实场景」而非多机拼盘。

机器人平台

星海图 R1 系列移动双臂机器人

数据类型

跨本体真机操作数据集

协议

以官方页面为准

InternData-M1

InternData-M1 聚焦「移动 + 操作」耦合场景，补齐了纯桌面数据集缺失的底盘移动与全身协同环节，是国内少数公开的移动操作大规模数据集，同属上海人工智能实验室 InternRobotics 开源体系。

机器人平台

移动底盘 + 机械臂

数据类型

跨本体真机操作数据集

协议

以官方页面为准

InternData-A1

InternData-A1 是上海人工智能实验室 InternRobotics 体系开源的长程双臂操作数据集，面向多阶段复杂任务训练，与 InternManip 训练框架配套，可直接用于 VLA 模型预训练与微调。

机器人平台

多款双臂平台

数据类型

跨本体真机操作数据集

协议

以官方页面为准

ARIO 全机器人统一数据集

ARIO（All Robots In One）由鹏城实验室联合中山大学发布，主打统一数据格式标准，把不同本体、不同传感器配置的机器人数据规范到同一套 schema 下，目标是解决国内具身数据「各家格式互不兼容」的问题。

机器人平台

单臂、双臂、四足、人形、轮式

数据类型

跨本体真机操作数据集

协议

以官方页面为准

RoboNet

RoboNet 汇集 7 种不同机械臂平台、约 1500 万视频帧的自主交互数据，是最早系统性验证「跨本体视频预测与策略迁移」的公开数据集，也是后来 Open X-Embodiment 思路的前身。

机器人平台

7 种异构机械臂平台

数据类型

跨本体真机操作数据集

协议

以官方页面为准

Language-Table

Language-Table 是谷歌开源的语言条件桌面操作数据集，含近 60 万条带人工语言标注的轨迹，是研究「一句话指挥机器人」这类语言条件模仿学习最早的大规模真机数据集之一。

机器人平台

桌面推杆机器人

数据类型

跨本体真机操作数据集

协议

Apache-2.0

RoboSet

RoboSet 是 RoboAgent 项目开源的真机数据集，含 98,500 条轨迹、12 类技能与 38 项任务，主打「用有限数据量学会多技能泛化」，配套完整的采集与训练代码。

机器人平台

Franka Emika

数据类型

跨本体真机操作数据集

协议

以官方页面为准

RH20T

RH20T 由上海交大发布，含 11 万条以上接触密集型操作序列、147 类任务，同步记录力/力矩、音频与人手示教视频，是研究「靠触觉与力反馈完成精细操作」最重要的公开数据源之一。

机器人平台

Flexiv Rizon、UR5、Franka 等多平台

数据类型

跨本体真机操作数据集

协议

以官方页面为准

BridgeData V2

BridgeData V2 收录 60,096 条 WidowX 机械臂示教与自主轨迹，覆盖 24 个真实环境、13 类技能，带自然语言指令标注，是低成本机械臂模仿学习与语言条件策略最常用的公开基线数据之一。

机器人平台

WidowX 250 6-DOF

数据类型

跨本体真机操作数据集

协议

以官方页面为准

DROID

DROID 是目前公开规模最大的野外机器人操作数据集之一，含 7.6 万条示教轨迹、约 350 小时交互，采自 52 栋真实建筑的 564 个场景、86 类任务，全部用同一套 Franka 平台采集，是跨机构联合采集范式的代表。

机器人平台

Franka Panda + Robotiq 夹爪

数据类型

跨本体真机操作数据集

协议

MIT

智源 RoboCOIN

RoboCOIN（Bimanual Robotic Data COllection for INtegrated Manipulation）由北京智源人工智能研究院牵头、联合多家产业与高校于 2025年11月25日发布，定位高质量双臂机器人真机数据集；本批正文后半因飞书分页未齐，细节以主页为准。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

它石智航 World In Your Hands

World In Your Hands 由它石智航于 2025年12月24日开源，公开口径称其为全球首个 VLTA 多模态真实世界数据集，用于填补互联网缺动作、仿真难泛化的缺口，并为具身基座模型提供 scaling 语料。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

智元 AGIBOT WORLD 数据集 1.0

AGIBOT WORLD 1.0 由智元于 2024年12月30日发布，并在 2025 年 Q1 完成百万级真机数据开源；公开资料称含超 100 万轨迹、约 2976.4 小时，覆盖 217 项任务、87 种技能与五大领域百余真实场景。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

简智 10Kh RealOmni-Open DataSet

10Kh RealOmni-Open DataSet 由简智机器人于 2026年1月5日开源，定位大规模无本体具身数据集；公开口径称累计时长超 10Kh、规模超 1Mil clips，专注 10 大家庭场景与 30 项技能的双手长程任务。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

北京人形 RoboMIND

RoboMIND 由北京人形机器人创新中心与北京大学等推出，定位国内具身智能标准范式数据集（RSS2025）；公开整理称 V1.0 含 10 万+双臂轨迹，V2.0 扩展至 30 万+轨迹并新增带触觉数据与仿真资产。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

宇树 UnifoLM-WBT-Dataset

UnifoLM-WBT-Dataset 由宇树科技于 2026年3月5日开源，定位开放场景人形机器人高质量全身遥操作真机数据集，目标是构建场景覆盖广、任务复杂度高、操作多样性丰富的人形真机数据体系。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

Ropedia Xperience-10M

Xperience-10M 由 Ropedia 于 2026年3月16日发布，公开口径称涵盖超过一千万条人类真实交互轨迹与万小时级第一视角经验数据，以「经验」为单位对齐视觉、动作、空间与语义，面向具身与物理智能训练。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

乐聚 OpenLET 数据集

OpenLET 由乐聚与开放原子于 2026年3月17日开源，定位融合触觉灵巧操作与全身高动态运动的多模态具身数据集，含 LET-Body、LET-Dex、LET-Base 三个子集，面向全尺寸人形 Kuavo 系列真机场景。

机器人平台

kuavo-5、kuavo-4-pro、kuavo-5w

数据类型

具身智能开源数据集

协议

以官方公开许可为准

它石智航 OmniViTac

OmniViTac 由它石智航联合六家机构于 2026年3月25日发布，定位大规模视触觉操作数据集；公开整理称已收录 2 万余条轨迹，覆盖近百类任务与百余种物体，并保证视触动高精度同步。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

蚂蚁灵波 LingBot-Depth-Dataset

LingBot-Depth-Dataset 由蚂蚁灵波科技于 2026年3月31日开源，为大规模 RGB-D 深度数据集，公开口径称含约 300 万对样本（200 万真实 + 100 万渲染），总规模约 2.71TB，覆盖 6 款主流深度相机。

数据类型

具身智能开源数据集

协议

非商业许可（面向学术与研究；据公开整理不可用于商业用途）

智元 AGIBOT WORLD 2026

AGIBOT WORLD 2026 由智元机器人于 2026年4月7日开源，定位覆盖具身智能多研究主题的真实场景数据集，宣称数据采自真实环境，并同步开源数字孪生仿真数据，分阶段持续扩展。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

vLAR PhysInOne

PhysInOne 由 vLAR Group 于 2026年4月15日推出，面向视觉-物理联合学习与推理，覆盖力学、光学、流体与磁学等物理领域，并提供大规模多视角视频与动态 3D 场景标注。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

戴盟机器人 Daimon-Infinity

Daimon-Infinity 由戴盟机器人联合多家机构于 2026年4月15日发布，定位为大规模含触觉的全模态物理世界具身数据集，依托二指夹爪与五指手套采集设备提供高密度视触觉与动作信息。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

AllenAI MolmoAct2-BimanualYAM

AllenAI 于 2026年5月2日开源的 MolmoAct2-BimanualYAM 是约 720 小时双手遥操作数据集，覆盖桌面与家居任务，公开资料称其为当时开源最大双手遥操作数据集之一。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

灵初智能 SynData（Psi-R2/W0）

SynData 是灵初智能（PsiBot）于 2026年5月10日发布的大规模真实世界多模态数据集，覆盖视觉、语言与动作，依托外骨骼手套采集高精度双手双臂数据，并含裸手自然交互样本。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

HumanEval

OpenAI 发布的 164 道 Python 编程题基准，以 pass@k 评估大模型代码生成能力。

数据类型

research

Open Images

Google 发布的 900 万图像 600 类目标检测数据集，含 1500 万边框标注。

数据类型

research

MMLU

Hendrycks 等提出的 57 学科 14042 道多选题基准，衡量大模型多任务语言理解能力。

数据类型

research

AlphaFold DB

DeepMind 与 EMBL-EBI 合作发布，含 2 亿+ 蛋白质结构预测，覆盖 UniProt 全部序列。

数据类型

research

BIG-bench

Google 主导的 200+ 任务大模型基准，跨 100+ 机构协作，用于探查大模型能力与缩放效应。

数据类型

research

Kinetics

DeepMind 大规模人类动作视频数据集，Kinetics-700 含 65 万视频 700 类动作。

数据类型

research

C4

Colossal Clean Crawled Corpus，Google 发布的 750GB 清洗后英文网页文本语料，用于 T5 训练。

数据类型

research

Open X-Embodiment

21 家机构联合汇总 22 种机器人 100 万+ 轨迹的标准化机器人操作数据集。

数据类型

research

COCO

Microsoft Common Objects in Context 数据集，含 33 万图像 250 万标注，用于检测分割与描述。

数据类型

research

ImageNet

基于 WordNet 层级组织的大规模图像数据集，含 1400 万标注图像 2.2 万类，推动深度学习革命。

数据类型

research

The Pile

EleutherAI 825GB 多样化文本语料，22 个子集混合，用于 GPT-Neo/Jurassic 等开源大模型训练。

数据类型

research

LAION-5B

LAION 发布的 58.5 亿 CLIP 过滤图文对开源数据集，训练 Stable Diffusion 等模型。

数据类型

research

Booster Assets 机器人资源库

Booster Assets 是 Booster 机器人模型、数据等资源库，适合作为数据集/资源库节点关联 T1、K1 与开源生态。

机器人平台

booster-t1、booster-k1

数据类型

机器人模型 / 数据 / 资源库

协议

以官方公开仓库为准

开普勒 EmbodiedDataSet 具身智能数据集

K2 页面将 EmbodiedDataSet 描述为具身智能数据集，数据源融合场景实测、实验室数据、合作伙伴训练场与仿真环境，并支撑算法训练。

机器人平台

kepler-k2、kepler-k1

数据类型

具身智能数据集 / 机器人数据源

协议

以厂商公开资料为准

Fourier ActionNet

Fourier ActionNet 是傅利叶正式开源的全尺寸人形机器人数据集。官网文章称首批上线超 3 万条高质量真机训练数据，包含多种自由度灵巧手训练数据和手部任务模仿学习数据，并配套采集、训练、部署工具链。

机器人平台

Fourier GRx 系列、多自由度灵巧手

数据类型

全尺寸人形机器人真机训练数据集

协议

以项目页面为准