数据集
RobotDiffuse 机器人动作扩散数据 PyBullet 中 3500 万姿态扩散训练数据，经 Google Drive 发布，2024 年。
- 数据类型
- 仿真基准
- 任务类型
- 姿态生成、抓取、运动规划
- 数据模态
- RGB、depth、pose、point-cloud
数据
27 具身数据集库
硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引，方便按任务、平台与协议筛选对照。
数据集
RoboGround 视觉语言操作数据 RoboGround 视觉语言操作数据：2.4万仿真演示11.2万指令，1.02TB，MIT，CVPR2025
- 数据类型
- 仿真基准
- 任务类型
- 抓取、放置、视觉 grounding、长程操作
- 数据模态
- RGB、depth、mask、language
数据集
Falling Things (FAT) 6.15万张照片级合成图，21个YCB物体，提供3D位姿/分割/深度，用于机器人检测与Sim2Real位姿估计，2018。
- 数据类型
- 仿真基准
- 任务类型
- 合成位姿估计、Sim2Real感知、物体检测
- 数据模态
- RGB、立体RGB、深度、3D位姿、分割、合成
数据集
EGAD! 2020进化算法生成2282个可3D打印几何多样物体+49评估件，1:1 Sim2Real转移，含百万预计算抓取，Dex-Net格式。
- 数据类型
- 仿真基准
- 任务类型
- 合成物体生成、Sim2Real抓取、几何多样
- 数据模态
- 网格、抓取标注、合成
数据集
Sim2Surf 视触觉Sim2Real表面分类数据集，用扩散模型将仿真触觉图转真实域自动标注，ICRA2024，真实YCB验证。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real触觉、域适应、表面分类
- 数据模态
- 触觉图像、合成、真实
数据集
PhysicalAI Manipulation-Kitchen 2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
ClearGrasp 5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。
- 数据类型
- 仿真基准
- 任务类型
- 合成到真实感知、透明物体、Sim2Real深度
- 数据模态
- RGB、深度、法向、分割、合成、真实
数据集
PhysicalAI Manipulation-Objects 2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
NeuronsGym 2023混合仿真+实体敏捷机器人Sim2Real策略学习框架，提出SFPL安全指标，举办RoboMaster Sim2Real挑战赛。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real策略学习、导航、对抗
- 数据模态
- RGB、激光、状态、仿真、真实
数据集
UR10 Random Pose 2025用Isaac Sim生成UR10随机6DoF姿态数据集，含域随机化(光照/纹理)，含真实仓库测试集，用于Sim2Real位姿。
- 数据类型
- 仿真基准
- 任务类型
- 域随机化、Sim2Real位姿、合成数据
- 数据模态
- RGB、状态CSV、合成、域随机化
数据集
PhysicalAI Manipulation-SingleArm 2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
Jacquard 基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。
- 数据类型
- 仿真基准
- 任务类型
- 合成抓取检测、Sim2Real迁移、域随机化
- 数据模态
- RGB、深度、分割、抓取标注、合成
数据集
Robust-Gymnasium 2024统一鲁棒RL基准，内置动力学/外观域随机化接口，量化Sim2Real迁移中的鲁棒性，支持多机器人任务。
- 数据类型
- 仿真基准
- 任务类型
- 域随机化、鲁棒RL、Sim2Real泛化
- 数据模态
- 状态、动作、仿真
数据集
REALM 2025真实到仿真校验的操作泛化基准，7项技能×15类扰动×3500+物体，仿真与真实强相关，评测VLA模型。
- 数据类型
- 仿真基准
- 任务类型
- 虚实对齐、Real2Sim、Sim2Real评测
- 数据模态
- RGB、状态、动作、仿真、真实
数据集
The Colosseum 2024，20个操作任务×12类环境扰动的仿真泛化基准，仿真与真实扰动相关性R²=0.61，量化Sim2Real鲁棒性。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real gap基准、域随机化、泛化评测
- 数据模态
- RGB、深度、状态、仿真
数据集
Humanoid-Gym RSS2024零样本Sim2Real人形RL框架，Isaac Gym训练+MuJoCo验证，域随机化实现真机零样本迁移行走。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real迁移、域随机化、零样本、locomotion
- 数据模态
- 状态、动作、仿真、合成
数据集
DISCOVERSE 2024高保真机器人仿真框架，复杂多物体环境与精确动力学，支持真实到仿真对齐与Sim2Real策略评测。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real评测、虚实对齐、高保真仿真
- 数据模态
- RGB、深度、状态、仿真
数据集
PhysicalAI Manipulation-Augmented 2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、域适应、Sim2Real迁移
- 数据模态
- RGB、深度、分割、法向、状态、动作、合成
数据集
Dex-Net 4.0 500万+合成平行夹/吸盘抓取深度图，域随机化训练，真实ABB YuMi分拣成功率>95%，2019。
- 数据类型
- 仿真基准
- 任务类型
- 合成到真实抓取、域随机化、bin picking
- 数据模态
- 深度、点云、抓取质量、合成
数据集
SynPick 动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。
- 数据类型
- 仿真基准
- 任务类型
- 合成拣选、Sim2Real位姿估计、动态场景
- 数据模态
- RGB、深度、6D位姿、分割、合成
数据集
Lang4Sim2Real RSS2024，提供仿真+真实Franka操作数据(抓取/绕线等)，用语义对齐弥合Sim2Real鸿沟，含域随机化集。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real迁移、域随机化、语言条件操作
- 数据模态
- RGB、状态、动作、语言、合成、真实
数据集
RGB-Stacking DeepMind 2021堆叠基准,150个程序生成刚体,含仿真环境与真实机械臂单元CAD,支持技能掌握与泛化。
- 数据类型
- 仿真基准
- 任务类型
- 堆叠、抓取、放置
- 数据模态
- RGB、本体感知
数据集
robosuite 基于MuJoCo的模块化机器人学习仿真框架与基准,含单臂/双臂/人形任务、演示采集与多模态传感。
- 数据类型
- 仿真基准
- 任务类型
- 抓取、放置、装配、演示模仿
- 数据模态
- RGB、深度、本体感知、状态
数据集
CLIPort 2021语言条件操作基准,融合CLIP语义与Transporter空间推理,基于Ravens在仿真生成桌面上千演示。
- 数据类型
- 仿真基准
- 任务类型
- 语言条件抓取、堆叠、重排
- 数据模态
- RGB-D、语言指令
数据集
USIM 2025水下机器人操作VLA仿真数据集,Stonefish中2275条episode、20任务,BlueROV2+4-DoF臂,LeRobot格式。
- 数据类型
- 仿真基准
- 任务类型
- 水下抓取、导航、运输
- 数据模态
- RGB(双相机)、本体感知、关节
数据集
SurRoL 2021开源dVRK兼容手术机器人学习仿真平台(PyBullet),含14个手术任务与物理交互,支持Sim2Real。
- 数据类型
- 仿真基准
- 任务类型
- 缝合、切割、操作、手术技能
- 数据模态
- RGB、深度、状态
数据集
ARNOLD 2023语言驱动连续状态操作基准,基于Isaac Sim的8个任务,提供模板生成语言描述专家示范。
- 数据类型
- 仿真基准
- 任务类型
- 语言条件操作、连续状态操作
- 数据模态
- RGB、深度、连续状态