数据

具身数据集库

硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引，方便按任务、平台与协议筛选对照。

按场景进门

说「我的机器人 + 我的场景」，先看代表集

每个场景挑了策展代表，点进去 3 秒判断适不适合；下载与细筛是后一步。

家居整理 52 条

叠衣、收桌、厨房家务。挑的是能接到家用机型、任务口径清楚的代表集。

北京人形 RoboMIND / 智元 AGIBOT WORLD 2026 / 智元 AGIBOT WORLD 数据集 1.0

抓取放置 108 条

抓起来、放下去，所有操作策略的第一课。经典基准与大规模真机都有。

DROID / GraspNet-1Billion / Fourier ActionNet

双臂协同 63 条

左右手配合、递送、双臂长程。ALOHA 系与国产真机大集为主。

ALOHA Unleashed: 双臂灵巧操作示范集 / Mobile ALOHA / 智源 RoboCOIN

灵巧手操作 72 条

多指抓握、手内旋转、手物交互。做灵巧手和多指末端先看这里。

DexGraspNet / ACRONYM / DexYCB

插接装配 19 条

插接、装配、拧螺丝、线缆操作。对标产线工位的操作数据。

Assembly101 / RH20T / ALOHA Unleashed: 双臂灵巧操作示范集

长程任务 70 条

多阶段任务连着做。评估策略的持续性与恢复能力先看这批。

CALVIN / BEHAVIOR-1K / Meta-World

人形全身 38 条

人形真机训练集：AGIBOT WORLD、RoboMIND、ActionNet 这一档。

智元 AGIBOT WORLD 2026 / 智元 AGIBOT WORLD 数据集 1.0 / 北京人形 RoboMIND

导航与三维 79 条

室内导航、场景图、可达性理解。移动底盘与空间智能用。

vLAR PhysInOne / ARIO 全机器人统一数据集 / InternData-M1

移动操作 51 条

轮式底盘 + 机械臂：边走边干。开放世界作业看这批。

Mobile ALOHA / Galaxea Open-World Dataset / ARIO 全机器人统一数据集

仿真与合成 130 条

仿真基准、域随机化、合成数据。先跑通再迁真机。

Meta-World / RLBench / robosuite

数据集

RobotDiffuse 机器人动作扩散数据

PyBullet 中 3500 万姿态扩散训练数据，经 Google Drive 发布，2024 年。

机器人平台: Franka、仿真手臂
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

RoboGround 视觉语言操作数据

RoboGround 视觉语言操作数据：2.4万仿真演示11.2万指令，1.02TB，MIT，CVPR2025

机器人平台: Franka、GR-1仿真
数据类型: 仿真基准
协议: MIT

数据集

Falling Things (FAT)

6.15万张照片级合成图，21个YCB物体，提供3D位姿/分割/深度，用于机器人检测与Sim2Real位姿估计，2018。

机器人平台: 仿真
数据类型: 仿真基准
协议: CC BY-NC-SA 4.0

数据集

PhysicalAI Manipulation-Kitchen

2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。

机器人平台: Kinova Gen3双臂、仿真
数据类型: 仿真基准
协议: CC BY 4.0

数据集

ClearGrasp

5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。

机器人平台: UR5、仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

PhysicalAI Manipulation-Objects

2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。

机器人平台: Kinova Gen3双臂、仿真
数据类型: 仿真基准
协议: CC BY 4.0

数据集

NeuronsGym

2023混合仿真+实体敏捷机器人Sim2Real策略学习框架，提出SFPL安全指标，举办RoboMaster Sim2Real挑战赛。

机器人平台: 敏捷移动机器人、仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

UR10 Random Pose

2025用Isaac Sim生成UR10随机6DoF姿态数据集，含域随机化(光照/纹理)，含真实仓库测试集，用于Sim2Real位姿。

机器人平台: UR10、仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

PhysicalAI Manipulation-SingleArm

2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。

机器人平台: Franka、仿真
数据类型: 仿真基准
协议: CC BY 4.0

数据集

Jacquard

基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。

机器人平台: 仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

REALM

2025真实到仿真校验的操作泛化基准，7项技能×15类扰动×3500+物体，仿真与真实强相关，评测VLA模型。

机器人平台: Franka/UR、仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

The Colosseum

2024，20个操作任务×12类环境扰动的仿真泛化基准，仿真与真实扰动相关性R²=0.61，量化Sim2Real鲁棒性。

机器人平台: Franka、仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

DISCOVERSE

2024高保真机器人仿真框架，复杂多物体环境与精确动力学，支持真实到仿真对齐与Sim2Real策略评测。

机器人平台: 多种、仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

PhysicalAI Manipulation-Augmented

2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。

机器人平台: Franka、仿真
数据类型: 仿真基准
协议: CC BY 4.0

数据集

SynPick

动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。

机器人平台: 仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

Lang4Sim2Real

RSS2024，提供仿真+真实Franka操作数据(抓取/绕线等)，用语义对齐弥合Sim2Real鸿沟，含域随机化集。

机器人平台: Franka、仿真
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

RGB-Stacking

DeepMind 2021堆叠基准,150个程序生成刚体,含仿真环境与真实机械臂单元CAD,支持技能掌握与泛化。

机器人平台: 4-DoF机械臂、平行夹爪
数据类型: 仿真基准
协议: Apache 2.0

数据集

robosuite

基于MuJoCo的模块化机器人学习仿真框架与基准,含单臂/双臂/人形任务、演示采集与多模态传感。

机器人平台: Franka、Sawyer、Baxter、UR5、人形
数据类型: 仿真基准
协议: MIT

数据集

SurRoL

2021开源dVRK兼容手术机器人学习仿真平台(PyBullet),含14个手术任务与物理交互,支持Sim2Real。

机器人平台: dVRK PSM/ECM
数据类型: 仿真基准
协议: MIT

数据集

ARNOLD

2023语言驱动连续状态操作基准,基于Isaac Sim的8个任务,提供模板生成语言描述专家示范。

机器人平台: Franka、移动操作臂
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

ThreeDWorld (TDW)

2021年多模态物理仿真平台，支持视听渲染与刚体/柔体交互，含Transport挑战与物体数据集。

机器人平台: Magnebot、移动机器人
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

VIMA

2022年多模态提示机器人操作基准，程序化生成桌面任务，发布65万专家轨迹用于模仿学习。

机器人平台: 机械臂
数据类型: 仿真基准
协议: CC BY 4.0

数据集

TOTO Benchmark

2023年离线训练在线测试真实机器人基准，含舀取与倾倒约1895条遥操作轨迹及仿真数据。

机器人平台: Franka
数据类型: 仿真基准
协议: Apache-2.0

数据集

Berkeley Cable Routing

2023年多阶段电缆布线分层imitation数据集，含1442路由、11915选择与257端到端演示轨迹。

机器人平台: Franka
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

iGibson 2.0

2021年物体中心交互仿真环境，15个可交互场景支持温度/湿度等状态，含VR演示与BEHAVIOR。

机器人平台: 移动机械臂
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

Isaac Lab (Orbit)

2023/2024年基于Isaac Sim的GPU机器人学习框架，含30+基准任务与资产，支持RL与模仿学习。

机器人平台: Franka、机械臂、四足、人形
数据类型: 仿真基准
协议: BSD-3-Clause

数据集

RT-1 Dataset

2022年大规模真实机器人操作数据集，13万片段覆盖700+任务，含语言指令与多模态传感数据。

机器人平台: Everyday Robot (EDR)
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

DexPBT

2023年基于Isaac Gym的灵巧操作基准，用群体化训练学习重抓取、抛投与物体重定向等任务。

机器人平台: 灵巧手、机械臂
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

OCRTOC

2021年云端桌面整理抓取与操作竞赛基准，含76场景6004张标注RGB-D图像及真实数据集。

机器人平台: Franka
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

GenDexHand

2025年灵巧手生成式仿真管线，用LLM/VLM闭环生成多样灵巧操作任务与环境及轨迹数据。

机器人平台: 灵巧手
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

CLVR Jaco Play

2023年Kinova Jaco2语言标注遥操作数据集，1085条桌面拾放轨迹，含多视角RGB与状态。

机器人平台: Kinova Jaco2
数据类型: 仿真基准
协议: CC BY 4.0

数据集

ProcTHOR-10K

2022年程序生成的大规模具身AI室内数据集，含1万套房屋场景，支持导航与操作任务。

机器人平台: 移动机器人
数据类型: 仿真基准
协议: Apache-2.0

数据集

MIME

2018年最大规模机器人演示数据集之一，含8260条人-机演示覆盖20类操作任务，配对视频与轨迹。

机器人平台: Baxter
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

RoboTurk

2018/2019年众包遥操作数据集，Pilot含3224条演示，真实集111小时、54名用户长程操作。

机器人平台: Sawyer、机械臂
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

上海交大 RFUniverse

2022年发布的基于Unity的多物理场机器人仿真平台，支持87种原子动作与刚体/流体/热耦合，提供多类家庭任务基准。

机器人平台: Franka、UR5、各类机械臂
数据类型: 仿真基准
协议: CC BY 4.0

数据集

ManiSkill3

2024/2025年GPU并行化机器人仿真与渲染框架，含50+操作任务与可下载演示数据集，RSS 2025。

机器人平台: Franka、机械臂、灵巧手、人形
数据类型: 仿真基准
协议: Apache-2.0 / MIT

数据集

ManiSkill-HAB

2025年基于ManiSkill3的家庭重排低级操作基准，含TidyHouse等三任务约3.3万任务计划，HF可下。

机器人平台: 移动机械臂
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

RoboGen

2023年生成式仿真框架，用GPT-4自动生成百余种刚体操作与运动任务及轨迹数据。

机器人平台: 机械臂、移动机器人
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

FurnitureBench

2023年真实家具组装长程操作基准，8种家具、219小时遥操作演示，含标准化配置与数据集。

机器人平台: Franka
数据类型: 仿真基准
协议: MIT

数据集

鹏城实验室 InfiniteWorld

2024年发布的统一可扩展视觉-语言机器人交互仿真框架，基于Isaac Sim，含生成式3D资产与四类交互基准。

机器人平台: Stretch、Unitree H1、多种机器人
数据类型: 仿真基准
协议: 以官方公开许可为准

数据集

北京通用人工智能研究院 RoboVerse

2025 RSS/ICML发布的统一仿真平台与合成数据集，含51万轨迹、5000万+状态转移、276任务、5500资产，基于METASIM。

机器人平台: Franka、机械臂、移动机器人、人形
数据类型: 仿真基准
协议: 以官方公开许可为准