具身数据集库

PhysicalAI Manipulation-Kitchen

2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。

机器人平台

Kinova Gen3双臂、仿真

数据类型

仿真基准

协议

CC BY 4.0

PhysicalAI Manipulation-Objects

2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。

机器人平台

Kinova Gen3双臂、仿真

数据类型

仿真基准

协议

CC BY 4.0

PhysicalAI Manipulation-SingleArm

2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

CC BY 4.0

Robust-Gymnasium

2024统一鲁棒RL基准，内置动力学/外观域随机化接口，量化Sim2Real迁移中的鲁棒性，支持多机器人任务。

机器人平台

多种、仿真

数据类型

仿真基准

协议

以官方公开许可为准

REALM

2025真实到仿真校验的操作泛化基准，7项技能×15类扰动×3500+物体，仿真与真实强相关，评测VLA模型。

机器人平台

Franka/UR、仿真

数据类型

仿真基准

协议

以官方公开许可为准

Humanoid-Gym

RSS2024零样本Sim2Real人形RL框架，Isaac Gym训练+MuJoCo验证，域随机化实现真机零样本迁移行走。

机器人平台

XBot-S/XBot-L人形、仿真

数据类型

仿真基准

协议

MIT

PhysicalAI Manipulation-Augmented

2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

CC BY 4.0

Lang4Sim2Real

RSS2024，提供仿真+真实Franka操作数据(抓取/绕线等)，用语义对齐弥合Sim2Real鸿沟，含域随机化集。

机器人平台

Franka、仿真

数据类型

仿真基准

协议

以官方公开许可为准

JARVIS-1

2023年发布，基于Minecraft的开放世界多任务智能体，含200+任务与多模态记忆规划，覆盖长程任务。

机器人平台

具身智能体、游戏智能体

数据类型

语言与任务规划

协议

Apache-2.0

TEACh-DA

2022年Amazon发布，对TEACh的3,000+对话标注18类对话行为，含3.95万话语，用于具身任务对话建模。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

CC BY 4.0

MineDojo

2022年Stanford发布，基于Minecraft的开放世界具身平台，含73万YouTube视频与180K维基，支持长程任务规划。

机器人平台

具身智能体、游戏智能体

数据类型

语言与任务规划

协议

Apache-2.0

LoTa-Bench

2024年ETRI发布，面向语言任务规划器的基准，含ALFRED+AI2-THOR与WAH-NL+VirtualHome两套评测。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

DialFRED

2022年港中文发布，扩展ALFRED支持智能体主动提问，含50类问句模板与对话引导的家务任务完成。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

Plan4MC

2023年NTU发布，基于MineDojo的层级任务规划框架，覆盖60+长程技能与多步规划轨迹。

机器人平台

具身智能体、游戏智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

Housekeep

2022年MIT发布，基于Habitat 2.0的杂物收拾长程基准，含15类任务、10,802物体与4.7万+ episodes。

机器人平台

移动机械臂、具身智能体

数据类型

语言与任务规划

协议

MIT

LOReL

2021年Stanford与Google发布，含6,000条众包语言标注与1,699条独特指令，覆盖真实机械臂与仿真语言条件任务。

机器人平台

机械臂、具身智能体

数据类型

语言与任务规划

协议

以官方公开许可为准

ALFRED

2020年AI2发布，含25,743条自然语言指令与5,856段专家演示，基于AI2-THOR的七类家务长程任务。

机器人平台

仿真智能体、具身智能体

数据类型

语言与任务规划

协议

Apache-2.0

北京通用人工智能研究院 RoboVerse

2025 RSS/ICML发布的统一仿真平台与合成数据集，含51万轨迹、5000万+状态转移、276任务、5500资产，基于METASIM。

机器人平台

Franka、机械臂、移动机器人、人形

数据类型

仿真基准

协议

以官方公开许可为准

北大/松灵 RoboTwin

2025 CVPR Highlight发布的双臂机器人生成式数字孪生基准，含大规模合成轨迹与真实遥操作数据，覆盖多类桌面操作任务。

机器人平台

Franka、双臂机器人

数据类型

双臂与移动操作

协议

以官方公开许可为准

新智具身 OpenNeoData

OpenNeoData 是新智具身在 Hugging Face 开源的真机操作数据集，采用 LeRobot 格式、规模在十万至百万样本量级，标签体系覆盖机器人操作与模仿学习，许可为 CC BY-NC-SA 4.0 非商业使用。

机器人平台

多本体

数据类型

双臂与移动操作数据集

协议

CC BY-NC-SA 4.0

腾讯 Hy-Embodied-0.5-VLA-Data

Hy-Embodied-0.5-VLA-Data 是腾讯在 Hugging Face 公开的具身 VLA 训练数据，采用 LeRobot/Lance 格式并关联论文 arXiv:2606.14409，采用 CC BY-4.0 许可，可直接用于视觉语言动作模型的训练与复现。

机器人平台

UMI 手持采集装置、双臂平台

数据类型

双臂与移动操作数据集

协议

CC BY-4.0

上海交大 RW-RL-Dataset

RW-RL-Dataset 由上海交大 MINT 实验室发布，HF 页面显示约 9.95 万条样本，特色是带人工干预（human intervention）标签，专门服务真机强化学习与在线纠错训练，而非纯离线模仿。

机器人平台

机械臂/双臂平台

数据类型

双臂与移动操作数据集

协议

以官方页面为准

它石智航 World In Your Hands

World In Your Hands 由它石智航于 2025年12月24日开源，公开口径称其为全球首个 VLTA 多模态真实世界数据集，用于填补互联网缺动作、仿真难泛化的缺口，并为具身基座模型提供 scaling 语料。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

Ropedia Xperience-10M

Xperience-10M 由 Ropedia 于 2026年3月16日发布，公开口径称涵盖超过一千万条人类真实交互轨迹与万小时级第一视角经验数据，以「经验」为单位对齐视觉、动作、空间与语义，面向具身与物理智能训练。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

它石智航 OmniViTac

OmniViTac 由它石智航联合六家机构于 2026年3月25日发布，定位大规模视触觉操作数据集；公开整理称已收录 2 万余条轨迹，覆盖近百类任务与百余种物体，并保证视触动高精度同步。

数据类型

具身智能开源数据集

协议

以官方公开许可为准

灵初智能 SynData（Psi-R2/W0）

SynData 是灵初智能（PsiBot）于 2026年5月10日发布的大规模真实世界多模态数据集，覆盖视觉、语言与动作，依托外骨骼手套采集高精度双手双臂数据，并含裸手自然交互样本。

数据类型

具身智能开源数据集

协议

以官方公开许可为准