数据集
Falling Things (FAT) 6.15万张照片级合成图，21个YCB物体，提供3D位姿/分割/深度，用于机器人检测与Sim2Real位姿估计，2018。
- 数据类型
- 仿真基准
- 任务类型
- 合成位姿估计、Sim2Real感知、物体检测
- 数据模态
- RGB、立体RGB、深度、3D位姿、分割、合成
数据
23 具身数据集库
硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引，方便按任务、平台与协议筛选对照。
数据集
PhysicalAI Manipulation-Kitchen 2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
ClearGrasp 5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。
- 数据类型
- 仿真基准
- 任务类型
- 合成到真实感知、透明物体、Sim2Real深度
- 数据模态
- RGB、深度、法向、分割、合成、真实
数据集
PhysicalAI Manipulation-Objects 2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
PhysicalAI Manipulation-SingleArm 2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、程序化生成、Sim2Real迁移
- 数据模态
- RGB、深度、分割、状态、动作、合成
数据集
Jacquard 基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。
- 数据类型
- 仿真基准
- 任务类型
- 合成抓取检测、Sim2Real迁移、域随机化
- 数据模态
- RGB、深度、分割、抓取标注、合成
数据集
The Colosseum 2024，20个操作任务×12类环境扰动的仿真泛化基准，仿真与真实扰动相关性R²=0.61，量化Sim2Real鲁棒性。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real gap基准、域随机化、泛化评测
- 数据模态
- RGB、深度、状态、仿真
数据集
DISCOVERSE 2024高保真机器人仿真框架，复杂多物体环境与精确动力学，支持真实到仿真对齐与Sim2Real策略评测。
- 数据类型
- 仿真基准
- 任务类型
- Sim2Real评测、虚实对齐、高保真仿真
- 数据模态
- RGB、深度、状态、仿真
数据集
PhysicalAI Manipulation-Augmented 2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。
- 数据类型
- 仿真基准
- 任务类型
- 合成数据、域适应、Sim2Real迁移
- 数据模态
- RGB、深度、分割、法向、状态、动作、合成
数据集
Dex-Net 4.0 500万+合成平行夹/吸盘抓取深度图，域随机化训练，真实ABB YuMi分拣成功率>95%，2019。
- 数据类型
- 仿真基准
- 任务类型
- 合成到真实抓取、域随机化、bin picking
- 数据模态
- 深度、点云、抓取质量、合成
数据集
SynPick 动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。
- 数据类型
- 仿真基准
- 任务类型
- 合成拣选、Sim2Real位姿估计、动态场景
- 数据模态
- RGB、深度、6D位姿、分割、合成
数据集
Toyota HSR Grasping & Throwing 德国 H-BRS 在 Toyota HSR 上采集的物体抓取并抛入抽屉数据，含学习与泛化两套，MongoDB 格式（2021）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、抛掷、抽屉放置
- 数据模态
- RGB、深度、关节角、力矩
数据集
Berkeley Autolab UR5 UC Berkeley 自动化实验室在 UR5 上采集 4 类操作任务（毛绒动物抓取、扫布、叠杯、精确定位放置）（2022）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 抓取、清扫、叠杯、精确定位
- 数据模态
- RGB、深度、关节角、夹爪
数据集
FMB: Functional Manipulation Benchmark (Franka) UC Berkeley 在 Franka 上采集 22550 段功能性装配轨迹，需抓取-重定位-插入多阶段技能，评测泛化（2024）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 装配、插入、重定位、长程
- 数据模态
- RGB、深度、关节角、夹爪、多视角
数据集
USC Cloth Sim / DMfD (Franka) 南加州大学在 Franka 上采集约 800 段布料操作演示，含沿对角线折叠、对折、拉直绳索等可变形物体任务（2022）。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 布料折叠、绳索拉直、可变形物体
- 数据模态
- RGB、深度、关节角、夹爪
数据集
IRL Collaborative Assembly 人机协作工业装配多模态数据集,结合示教运动与口语指令,含视频、深度、骨架、力与机器人轨迹。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 协作装配、示教、语言指令
- 数据模态
- 视频、深度、骨架、力、轨迹
数据集
robosuite 基于MuJoCo的模块化机器人学习仿真框架与基准,含单臂/双臂/人形任务、演示采集与多模态传感。
- 数据类型
- 仿真基准
- 任务类型
- 抓取、放置、装配、演示模仿
- 数据模态
- RGB、深度、本体感知、状态
数据集
XYZ-IBD 2025高精度工业箱拣数据集,15个反光金属件、75场景、2.2万图与9.1万毫米级6D位姿,FANUC采集。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 箱拣、6D位姿估计、深度估计
- 数据模态
- RGB、灰度、深度
数据集
MIT-Princeton APC 2016 Shelf&Tote 亚马逊拣货挑战2016货架-料箱基准,多视角RGB-D场景与6D位姿标注,用于仓储装箱抓取视觉。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 仓储抓取、6D位姿估计
- 数据模态
- RGB、深度
数据集
Cloth Sim2Real Benchmark 2023布料操作Sim2Real鸿沟评测数据集,真实与仿真动态/准静态任务,对比MuJoCo/Bullet/Flex/SOFA。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 布料操作、Sim2Real评测
- 数据模态
- RGB、深度、布料状态
数据集
SurRoL 2021开源dVRK兼容手术机器人学习仿真平台(PyBullet),含14个手术任务与物理交互,支持Sim2Real。
- 数据类型
- 仿真基准
- 任务类型
- 缝合、切割、操作、手术技能
- 数据模态
- RGB、深度、状态
数据集
WRS 2018 Dataset WRS 2018实际空间伙伴机器人挑战YOLO数据集,含真实与合成图像,标注41类目标物,用于物体识别。
- 数据类型
- 跨本体真机操作数据集
- 任务类型
- 目标识别、抓取前感知
- 数据模态
- RGB、深度
数据集
ARNOLD 2023语言驱动连续状态操作基准,基于Isaac Sim的8个任务,提供模板生成语言描述专家示范。
- 数据类型
- 仿真基准
- 任务类型
- 语言条件操作、连续状态操作
- 数据模态
- RGB、深度、连续状态