数据

具身数据集库

硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引，方便按任务、平台与协议筛选对照。

14

Falling Things (FAT)

6.15万张照片级合成图，21个YCB物体，提供3D位姿/分割/深度，用于机器人检测与Sim2Real位姿估计，2018。

数据类型: 仿真基准
任务类型: 合成位姿估计、Sim2Real感知、物体检测
数据模态: RGB、立体RGB、深度、3D位姿、分割、合成

PhysicalAI Manipulation-Kitchen

2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。

数据类型: 仿真基准
任务类型: 合成数据、程序化生成、Sim2Real迁移
数据模态: RGB、深度、分割、状态、动作、合成

5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。

数据类型: 仿真基准
任务类型: 合成到真实感知、透明物体、Sim2Real深度
数据模态: RGB、深度、法向、分割、合成、真实

PhysicalAI Manipulation-Objects

2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。

数据类型: 仿真基准
任务类型: 合成数据、程序化生成、Sim2Real迁移
数据模态: RGB、深度、分割、状态、动作、合成

PhysicalAI Manipulation-SingleArm

2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。

数据类型: 仿真基准
任务类型: 合成数据、程序化生成、Sim2Real迁移
数据模态: RGB、深度、分割、状态、动作、合成

基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。

数据类型: 仿真基准
任务类型: 合成抓取检测、Sim2Real迁移、域随机化
数据模态: RGB、深度、分割、抓取标注、合成

The Colosseum

2024，20个操作任务×12类环境扰动的仿真泛化基准，仿真与真实扰动相关性R²=0.61，量化Sim2Real鲁棒性。

数据类型: 仿真基准
任务类型: Sim2Real gap基准、域随机化、泛化评测
数据模态: RGB、深度、状态、仿真

2024高保真机器人仿真框架，复杂多物体环境与精确动力学，支持真实到仿真对齐与Sim2Real策略评测。

数据类型: 仿真基准
任务类型: Sim2Real评测、虚实对齐、高保真仿真
数据模态: RGB、深度、状态、仿真

PhysicalAI Manipulation-Augmented

2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。

数据类型: 仿真基准
任务类型: 合成数据、域适应、Sim2Real迁移
数据模态: RGB、深度、分割、法向、状态、动作、合成

Dex-Net 4.0

500万+合成平行夹/吸盘抓取深度图，域随机化训练，真实ABB YuMi分拣成功率>95%，2019。

数据类型: 仿真基准
任务类型: 合成到真实抓取、域随机化、bin picking
数据模态: 深度、点云、抓取质量、合成

动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。

数据类型: 仿真基准
任务类型: 合成拣选、Sim2Real位姿估计、动态场景
数据模态: RGB、深度、6D位姿、分割、合成

基于MuJoCo的模块化机器人学习仿真框架与基准,含单臂/双臂/人形任务、演示采集与多模态传感。

数据类型: 仿真基准
任务类型: 抓取、放置、装配、演示模仿
数据模态: RGB、深度、本体感知、状态

2021开源dVRK兼容手术机器人学习仿真平台(PyBullet),含14个手术任务与物理交互,支持Sim2Real。

数据类型: 仿真基准
任务类型: 缝合、切割、操作、手术技能
数据模态: RGB、深度、状态

2023语言驱动连续状态操作基准,基于Isaac Sim的8个任务,提供模板生成语言描述专家示范。

数据类型: 仿真基准
任务类型: 语言条件操作、连续状态操作
数据模态: RGB、深度、连续状态