具身数据集库

Falling Things (FAT)

6.15万张照片级合成图，21个YCB物体，提供3D位姿/分割/深度，用于机器人检测与Sim2Real位姿估计，2018。

机器人平台

仿真

数据类型

仿真基准

协议

CC BY-NC-SA 4.0

PhysicalAI Manipulation-Kitchen

2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。

机器人平台

Kinova Gen3双臂、仿真

数据类型

仿真基准

协议

CC BY 4.0

ClearGrasp

5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。

机器人平台

UR5、仿真

数据类型

仿真基准

协议

以官方公开许可为准

PhysicalAI Manipulation-Objects

2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。

机器人平台

Kinova Gen3双臂、仿真

数据类型

仿真基准

协议

CC BY 4.0

PhysicalAI Manipulation-SingleArm

2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

CC BY 4.0

Jacquard

基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。

机器人平台

仿真

数据类型

仿真基准

协议

以官方公开许可为准

The Colosseum

2024，20个操作任务×12类环境扰动的仿真泛化基准，仿真与真实扰动相关性R²=0.61，量化Sim2Real鲁棒性。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

以官方公开许可为准

DISCOVERSE

2024高保真机器人仿真框架，复杂多物体环境与精确动力学，支持真实到仿真对齐与Sim2Real策略评测。

机器人平台

多种、仿真

数据类型

仿真基准

协议

以官方公开许可为准

PhysicalAI Manipulation-Augmented

2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

CC BY 4.0

Dex-Net 4.0

500万+合成平行夹/吸盘抓取深度图，域随机化训练，真实ABB YuMi分拣成功率>95%，2019。

机器人平台

仿真、YuMi

数据类型

仿真基准

协议

以官方公开许可为准

SynPick

动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。

机器人平台

仿真

数据类型

仿真基准

协议

以官方公开许可为准

Toyota HSR Grasping & Throwing

德国 H-BRS 在 Toyota HSR 上采集的物体抓取并抛入抽屉数据，含学习与泛化两套，MongoDB 格式（2021）。

机器人平台

Toyota Human Support Robot (HSR)

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

Berkeley Autolab UR5

UC Berkeley 自动化实验室在 UR5 上采集 4 类操作任务（毛绒动物抓取、扫布、叠杯、精确定位放置）（2022）。

机器人平台

Universal Robots UR5

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

FMB: Functional Manipulation Benchmark (Franka)

UC Berkeley 在 Franka 上采集 22550 段功能性装配轨迹，需抓取-重定位-插入多阶段技能，评测泛化（2024）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

USC Cloth Sim / DMfD (Franka)

南加州大学在 Franka 上采集约 800 段布料操作演示，含沿对角线折叠、对折、拉直绳索等可变形物体任务（2022）。

机器人平台

Franka Emika Panda

数据类型

跨本体真机操作数据集

协议

CC BY 4.0

IRL Collaborative Assembly

人机协作工业装配多模态数据集,结合示教运动与口语指令,含视频、深度、骨架、力与机器人轨迹。

机器人平台

协作机械臂

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

robosuite

基于MuJoCo的模块化机器人学习仿真框架与基准,含单臂/双臂/人形任务、演示采集与多模态传感。

机器人平台

Franka、Sawyer、Baxter、UR5、人形

数据类型

仿真基准

协议

MIT

XYZ-IBD

2025高精度工业箱拣数据集,15个反光金属件、75场景、2.2万图与9.1万毫米级6D位姿,FANUC采集。

机器人平台

FANUC M10iD/8L

数据类型

跨本体真机操作数据集

协议

CC-BY-NC-SA 4.0

MIT-Princeton APC 2016 Shelf&Tote

亚马逊拣货挑战2016货架-料箱基准,多视角RGB-D场景与6D位姿标注,用于仓储装箱抓取视觉。

机器人平台

工业臂、RealSense

数据类型

跨本体真机操作数据集

协议

BSD-2-Clause

Cloth Sim2Real Benchmark

2023布料操作Sim2Real鸿沟评测数据集,真实与仿真动态/准静态任务,对比MuJoCo/Bullet/Flex/SOFA。

机器人平台

机械臂

数据类型

跨本体真机操作数据集

协议

开源(以官方为准)

SurRoL

2021开源dVRK兼容手术机器人学习仿真平台(PyBullet),含14个手术任务与物理交互,支持Sim2Real。

机器人平台

dVRK PSM/ECM

数据类型

仿真基准

协议

MIT

WRS 2018 Dataset

WRS 2018实际空间伙伴机器人挑战YOLO数据集,含真实与合成图像,标注41类目标物,用于物体识别。

机器人平台

HSR等服务机器人

数据类型

跨本体真机操作数据集

协议

LGPL

ARNOLD

2023语言驱动连续状态操作基准,基于Isaac Sim的8个任务,提供模板生成语言描述专家示范。

机器人平台

Franka、移动操作臂

数据类型

仿真基准

协议

以官方公开许可为准

C-WAH

2023年UMass发布，扩展Watch-and-Help支持多智能体通信，含5类家庭任务与长程协作子目标完成。

机器人平台

多智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

Habitat 2.0

2022年Meta发布，高保真家庭重排仿真，含10.5万+重排episodes与200+任务类别，支持长程家务操作。

机器人平台

移动机械臂、具身智能体

数据类型

语言与任务规划

协议

Apache-2.0

IKEA ASM

371段多视角家具组装视频(约300万帧),含深度、原子动作、人体姿态与分割标注,2021。

机器人平台

人(组装者)

数据类型

跨本体真机操作数据集

协议

以官方公开许可为准

Watch-and-Help

2021年中科大发布，基于VirtualHome-Social的社会协作基准，含10万+多智能体协作与助人轨迹。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

OCID: 室内物体杂乱RGB-D数据集

移动机械臂室内物体杂乱RGB-D点云数据集,多场景多视角(2022) OCID: 室内物体杂乱RGB-D数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

移动机械臂 (TIAGo/移动平台)

数据类型

双臂与移动操作

协议

CC (研究)

GR00T-X 仿真双臂操作数据集

Isaac仿真双臂与拟人操作轨迹,双臂9k+桌面240k(2025) GR00T-X 仿真双臂操作数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

Franka (bimanual)、GR1 人形

数据类型

双臂与移动操作

协议

CC-BY-4.0

Humanoid Everyday: 开放世界人形操作数据集

人形双臂+全身移动10300条260任务,多模态含LiDAR(2025) Humanoid Everyday: 开放世界人形操作数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

Unitree 人形

数据类型

双臂与移动操作

协议

研究用途

BRMData: 双臂-移动家庭操作数据集

双臂+移动家庭操作10类任务,多视角深度,含人机交互(2024) BRMData: 双臂-移动家庭操作数据集 开源数据集，含公开可下载样本与官方评测。

机器人平台

双臂移动机器人 (ARX/Cobot Magic)

数据类型

双臂与移动操作

协议

MIT

Cityscapes

50 个城市街景数据集，5,000 精细标注 + 20,000 粗标注帧，提供语义/实例/全景分割与立体深度，CVPR 2016。

机器人平台

自动驾驶车

数据类型

三维资产与自动驾驶

协议

Cityscapes 许可 (非商业)

ThreeDWorld (TDW)

2021年多模态物理仿真平台，支持视听渲染与刚体/柔体交互，含Transport挑战与物体数据集。

机器人平台

Magnebot、移动机器人

数据类型

仿真基准

协议

以官方公开许可为准

Structured3D

3.5K 套专业室内设计场景，含全景图、2D/3D 标注、语义与平面图，覆盖多房间布局，ECCV 2020 发布。

数据类型

导航与三维场景

协议

学术许可

VLN-CE (Vision-and-Language Navigation in Continuous Environments)

将离散 R2R 指令迁移到 Habitat 连续环境的 VLN 基准，支持真实动作控制与碰撞，ECCV 2020 发布。

数据类型

导航与三维场景

协议

MIT / 学术

HSSD-200

高语义保真合成场景数据集，含 211 个场景、18,000+ 可交互物体、466 类，专为高效具身 AI 训练设计，2023 发布。

数据类型

导航与三维场景

协议

HSSD 许可 (非商业)

Replica Dataset

18 个高保真室内场景重建数据集，含网格、纹理、语义与实例标注，单场景达数亿面，2019 发布，用于视觉导航仿真。

数据类型

导航与三维场景

协议

Replica 许可 (非商业)

TOTO Benchmark

2023年离线训练在线测试真实机器人基准，含舀取与倾倒约1895条遥操作轨迹及仿真数据。

机器人平台

Franka

数据类型

仿真基准

协议

Apache-2.0

REVERIE

远程指代视觉导航数据集，21,702 条指令、4,140 个目标物体、489 类对象，要求智能体在陌生室内找人指定物体，CVPR 2020。

数据类型

导航与三维场景

协议

学术许可

SOON (Scenario-Oriented Object Navigation)

面向场景的物体导航(FAO)基准，需从多个物体中按细粒度描述定位目标，含 ScanNet 重建场景，CVPR 2021 发布。

数据类型

导航与三维场景

协议

学术许可

R2R (Room-to-Room)

基于 Matterport3D 的视觉语言导航基准，含 90 个室内环境、10,567 条全景轨迹与 7,189 条自然语言指令，CVPR 2018 发布。

数据类型

导航与三维场景

协议

Matterport3D 学术许可

iGibson 2.0

2021年物体中心交互仿真环境，15个可交互场景支持温度/湿度等状态，含VR演示与BEHAVIOR。

机器人平台

移动机械臂

数据类型

仿真基准

协议

以官方公开许可为准

Isaac Lab (Orbit)

2023/2024年基于Isaac Sim的GPU机器人学习框架，含30+基准任务与资产，支持RL与模仿学习。

机器人平台

Franka、机械臂、四足、人形

数据类型

仿真基准

协议

BSD-3-Clause

OCRTOC

2021年云端桌面整理抓取与操作竞赛基准，含76场景6004张标注RGB-D图像及真实数据集。

机器人平台

Franka

数据类型

仿真基准

协议

以官方公开许可为准

PlasticineLab

2021年可微物理软体操作基准，含10类橡皮泥塑形任务50种配置，基于DiffTaichi。

机器人平台

机械臂

数据类型

仿真基准

协议

以官方公开许可为准

GenDexHand

2025年灵巧手生成式仿真管线，用LLM/VLM闭环生成多样灵巧操作任务与环境及轨迹数据。

机器人平台

灵巧手

数据类型

仿真基准

协议

以官方公开许可为准

ProcTHOR-10K

2022年程序生成的大规模具身AI室内数据集，含1万套房屋场景，支持导航与操作任务。

机器人平台

移动机器人

数据类型

仿真基准

协议

Apache-2.0

SoftGym

2020年基于NVIDIA FleX的柔体操作RL基准，含布料、绳、水流等12类任务，Gym接口。

机器人平台

机械臂

数据类型

仿真基准

协议

BSD-3-Clause

MIME

2018年最大规模机器人演示数据集之一，含8260条人-机演示覆盖20类操作任务，配对视频与轨迹。

机器人平台

Baxter

数据类型

仿真基准

协议

以官方公开许可为准

上海交大 RFUniverse

2022年发布的基于Unity的多物理场机器人仿真平台，支持87种原子动作与刚体/流体/热耦合，提供多类家庭任务基准。

机器人平台

Franka、UR5、各类机械臂

数据类型

仿真基准

协议

CC BY 4.0

ManiSkill3

2024/2025年GPU并行化机器人仿真与渲染框架，含50+操作任务与可下载演示数据集，RSS 2025。

机器人平台

Franka、机械臂、灵巧手、人形

数据类型

仿真基准

协议

Apache-2.0 / MIT

ManiSkill-HAB

2025年基于ManiSkill3的家庭重排低级操作基准，含TidyHouse等三任务约3.3万任务计划，HF可下。

机器人平台

移动机械臂

数据类型

仿真基准

协议

以官方公开许可为准

RoboGen

2023年生成式仿真框架，用GPT-4自动生成百余种刚体操作与运动任务及轨迹数据。

机器人平台

机械臂、移动机器人

数据类型

仿真基准

协议

以官方公开许可为准

FurnitureBench

2023年真实家具组装长程操作基准，8种家具、219小时遥操作演示，含标准化配置与数据集。

机器人平台

Franka

数据类型

仿真基准

协议

MIT

上海AI Lab GRUtopia（桃源）

2024年发布的城市级具身仿真平台，含GRScenes十万个可交互场景、89类功能场景，配套LLM驱动的NPC与GRBench基准。

机器人平台

人形、四足、轮式、机械臂

数据类型

导航与三维场景

协议

以官方公开许可为准

鹏城实验室 InfiniteWorld

2024年发布的统一可扩展视觉-语言机器人交互仿真框架，基于Isaac Sim，含生成式3D资产与四类交互基准。

机器人平台

Stretch、Unitree H1、多种机器人

数据类型

仿真基准

协议

以官方公开许可为准

银河通用/北大 GraspVLA·SynGrasp-1B

2025年发布的十亿帧合成抓取数据集，含1万+物体、240类，基于光线追踪渲染与物理仿真，支撑VLA抓取基础模型。

机器人平台

单臂机械臂

数据类型

灵巧手与抓取

协议

CC BY-NC-SA 4.0

北京通用人工智能研究院 RoboVerse

2025 RSS/ICML发布的统一仿真平台与合成数据集，含51万轨迹、5000万+状态转移、276任务、5500资产，基于METASIM。

机器人平台

Franka、机械臂、移动机器人、人形

数据类型

仿真基准

协议

以官方公开许可为准

复旦 VLABench

2025 ICCV发布的语言条件机器人操作基准，含100类任务、2000+物体，支持长程推理与常识迁移，提供自动化训练数据。

机器人平台

单臂/双臂机械臂、人形

数据类型

双臂与移动操作

协议

MIT

北大/松灵 RoboTwin

2025 CVPR Highlight发布的双臂机器人生成式数字孪生基准，含大规模合成轨迹与真实遥操作数据，覆盖多类桌面操作任务。

机器人平台

Franka、双臂机器人

数据类型

双臂与移动操作

协议

以官方公开许可为准

智元 AgiBot Digital World

AgiBot Digital World 是智元与真机数据集并行开放的仿真数据集，配套 Genie 仿真平台，提供数字孪生场景下的大规模合成操作数据，许可为 CC BY-NC-SA 4.0，供非商业研究使用。

机器人平台

智元远征系列（仿真）

数据类型

仿真基准与合成数据集

协议

CC BY-NC-SA 4.0

RoboSense 拥挤场景感知导航数据集

RoboSense 是面向拥挤与非结构化环境的第一视角机器人感知与导航数据集及基准，由上海交大团队开源，重点覆盖人群密集、遮挡严重的真实户外场景，弥补了自动驾驶数据集在低速服务机器人视角下的缺失。

机器人平台

移动机器人、配送机器人

数据类型

双臂与移动操作数据集

协议

以官方仓库为准

HIW-500 家庭物品操作数据集

HIW-500 覆盖约 500 类家庭物品的真机操作数据，HF 页面标注 robotics/humanoid 标签并采用 CC BY-4.0 开放许可，数据结构中含完整相机内参与时间戳，便于直接做多视角重建与策略训练。

机器人平台

人形/双臂采集平台

数据类型

双臂与移动操作数据集

协议

CC BY-4.0

新智具身 OpenNeoData

OpenNeoData 是新智具身在 Hugging Face 开源的真机操作数据集，采用 LeRobot 格式、规模在十万至百万样本量级，标签体系覆盖机器人操作与模仿学习，许可为 CC BY-NC-SA 4.0 非商业使用。

机器人平台

多本体

数据类型

双臂与移动操作数据集

协议

CC BY-NC-SA 4.0

睿尔曼 RealSource-World

RealSource-World 是睿尔曼智能开源的真机操作数据集，HF 页面标注规模量级在千万行级，涵盖双臂操作与全身控制标签，采用 CC BY-NC-SA 4.0 非商业许可，配有独立项目主页说明采集方案。

机器人平台

睿尔曼 RM 系列机械臂/双臂平台

数据类型

跨本体真机操作数据集

协议

CC BY-NC-SA 4.0