仿真与合成 · 代表数据集

2024年发布的大规模灵巧手抓取仿真数据集，含1319个物体、8270个场景、约4.27亿条抓取姿态，基于LEAP手生成，CC BY-NC 4.0。

平台

LEAP手

任务

抓取

协议

CC BY-NC 4.0

2023 CVPR发布的灵巧手抓取大规模数据集，含112万抓取、5519物体、133类，基于ShadowHand与Isaac Gym仿真验证。

平台

ShadowHand

任务

抓取

协议

CC BY-NC 4.0

2025 CVPR Highlight发布的双臂机器人生成式数字孪生基准，含大规模合成轨迹与真实遥操作数据，覆盖多类桌面操作任务。

平台

Franka、双臂机器人

任务

抓取、放置、双臂协作

协议

以官方公开许可为准

RoboMIND 由北京人形机器人创新中心与北京大学等推出，定位国内具身智能标准范式数据集（RSS2025）；公开整理称 V1.0 含 10 万+双臂轨迹，V2.0 扩展至 30 万+轨迹并新增带触觉数据与仿真资产。

任务

双臂操作、家居、工厂

协议

以官方公开许可为准

2025 RSS/ICML发布的统一仿真平台与合成数据集，含51万轨迹、5000万+状态转移、276任务、5500资产，基于METASIM。

平台

Franka、机械臂、移动机器人

任务

抓取、放置、导航

协议

以官方公开许可为准

K2 页面将 EmbodiedDataSet 描述为具身智能数据集，数据源融合场景实测、实验室数据、合作伙伴训练场与仿真环境，并支撑算法训练。

平台

kepler-k2、kepler-k1

任务

手眼协同、视觉 SLAM、多模态交互

协议

以厂商公开资料为准

Aligned DexWorld 是跨维智能公开的仿真合成机器人数据集，主张「对齐真机分布的合成数据可规模化扩展」，用仿真批量生成抓取与操作数据并对齐真实传感器特性，服务 Sim2Real 落地。

平台

跨维机械臂与灵巧手

任务

合成灵巧抓取、Sim2Real 对齐

协议

以官方页面为准

DexCanvas 由灵巧智能开源，把动作捕捉的人手操作与物理仿真结合，除视觉与手指关节外还提供接触力标注（关联论文 arXiv:2510.15786），采用 ODbL 开放数据库许可，适合做力感知灵巧操作。

平台

DexHand 灵巧手

任务

灵巧手操作、手物交互、接触力建模

协议

ODbL

2024年发布的统一可扩展视觉-语言机器人交互仿真框架，基于Isaac Sim，含生成式3D资产与四类交互基准。

平台

Stretch、Unitree H1、多种机器人

任务

导航、移动操作、场景图探索

协议

以官方公开许可为准

2023 ICLR发布的统一操作技能基准，含20个任务族、2000+物体、400万+演示帧，基于SAPIEN仿真器，Apache-2.0。

平台

Franka、台式机械臂、移动操作臂

任务

抓取、放置、操作

协议

Apache-2.0

SAGE-3D 由群核科技 SpatialVerse 开源，用 3D 高斯泼溅重建室内空间并配套视觉语言导航指令（关联论文 arXiv:2510.21307），采用 CC BY-4.0 许可，主打仿真到真机的导航迁移。

平台

仿真/真机移动机器人

任务

视觉语言导航、三维场景理解、Sim2Real 导航

协议

CC BY-4.0

2022年发布的基于Unity的多物理场机器人仿真平台，支持87种原子动作与刚体/流体/热耦合，提供多类家庭任务基准。

平台

Franka、UR5、各类机械臂

任务

抓取、折叠、切割

协议

CC BY 4.0

2024年发布的城市级具身仿真平台，含GRScenes十万个可交互场景、89类功能场景，配套LLM驱动的NPC与GRBench基准。

平台

人形、四足、轮式

任务

导航、定位、社交导航

协议

以官方公开许可为准

World In Your Hands 由它石智航于 2025年12月24日开源，公开口径称其为全球首个 VLTA 多模态真实世界数据集，用于填补互联网缺动作、仿真难泛化的缺口，并为具身基座模型提供 scaling 语…

任务

VLTA 多模态、具身基座模型语料

协议

以官方公开许可为准

TongSIM-Asset 是北京通用人工智能研究院随 TongSIM 仿真平台开放的三维资产库，基于 Unreal Engine 5 构建可交互场景与物体（关联论文 arXiv:2512.20206），用于批量搭建具…

平台

TongSIM 仿真平台

任务

仿真资产、场景合成、具身任务构建

协议

以官方页面为准

2025年8月开源的灵巧手多样抓取仿真数据集，含950万+抓取姿态、1万+物体、31种抓握类型，覆盖约94%人类抓握分类。

平台

多指灵巧手

任务

抓取、功能性抓握

协议

以官方公开许可为准

2025年发布的十亿帧合成抓取数据集，含1万+物体、240类，基于光线追踪渲染与物理仿真，支撑VLA抓取基础模型。

平台

单臂机械臂

任务

抓取、放置

协议

CC BY-NC-SA 4.0

AgiBot Digital World 是智元与真机数据集并行开放的仿真数据集，配套 Genie 仿真平台，提供数字孪生场景下的大规模合成操作数据，许可为 CC BY-NC-SA 4.0，供非商业研究使用。

平台

智元远征系列（仿真）

任务

仿真操作、数字孪生、Sim2Real

协议

CC BY-NC-SA 4.0

AGIBOT WORLD 2026 由智元机器人于 2026年4月7日开源，定位覆盖具身智能多研究主题的真实场景数据集，宣称数据采自真实环境，并同步开源数字孪生仿真数据，分阶段持续扩展。

任务

商业服务、酒店餐饮、家居

协议

以官方公开许可为准

ACRONYM 是英伟达发布的大规模仿真抓取数据集，含 8,872 个物体上的 1,770 万次抓取尝试，每条都带物理仿真验证结果，常用于抓取网络预训练与 Sim2Real 抓取研究。

平台

Franka 平行夹爪

任务

抓取合成、物理仿真抓取评估

协议

以官方页面为准

2020年AI2发布，含25,743条自然语言指令与5,856段专家演示，基于AI2-THOR的七类家务长程任务。

平台

仿真智能体、具身智能体

任务

指令跟随、长程操作、任务规划

协议

Apache-2.0

开源低成本双臂Leader-Follower遥操作硬件与演示数据,单日约千条(2024)

平台

ALOHA 2 (ViperX+WidowX)

任务

双臂抓取放置、双臂协调、模仿学习

协议

Apache-2.0

2023语言驱动连续状态操作基准,基于Isaac Sim的8个任务,提供模板生成语言描述专家示范。

平台

Franka、移动操作臂

任务

语言条件操作、连续状态操作

协议

以官方公开许可为准

2019年Mila发布，网格世界语言条件任务基准，含约700万演示样本，用于指令跟随与组合泛化研究。

平台

仿真智能体

任务

指令跟随、任务规划

协议

MIT

四足敏捷障碍赛基准，17,636 模拟 episode (约 57.58 小时)，结合 RL 与运动先验，Nature 2023 配套数据。

平台

Ghost Robotics Spirit40

任务

agile locomotion、parkour

协议

Apache-2.0 (code)

BEHAVIOR-1K 基于真人问卷筛出 1,000 项最需要机器人代劳的家务活动，配 50 个可交互场景与 9,000 多件物体，支持流体、柔体与状态变化，是最贴近真实家庭需求的具身仿真基准。

平台

Fetch、Tiago 等移动机器人（仿真）

任务

日常家务活动、长程任务规划、全身移动操作

协议

MIT

2023年多阶段电缆布线分层imitation数据集，含1442路由、11915选择与257端到端演示轨迹。

平台

Franka

任务

柔体操作、长程操作、布线

协议

以官方公开许可为准

官网开源资料页称 Booster Assets 是 Booster 机器人模型、数据等资源库，适合作为数据集/资源库节点关联 T1、K1 与开源生态。

平台

booster-t1、booster-k1

任务

机器人模型资源、数据资源、仿真与训练资源

协议

以官方公开仓库为准

UT Austin自底向上技能发现数据集，基于robosuite层次化模仿，分解长程任务为可复用基元，2023年。

平台

robosuite simulated arm

任务

bottom-up skill discovery、hierarchical imitation、long-horizon

协议

MIT

CALVIN 提供 4 个仿真环境、34 类任务与约 24 小时人类遥操作数据，核心考察「连续完成一串语言指令」的长程能力，是语言条件操作策略最经典的公开基准。

平台

Franka Panda（仿真）

任务

长程语言条件操作、多环境泛化

协议

MIT

5万+照片级透明物体合成渲染+286真实图，含法向/分割/深度，仅合成训练即提升真实抓取，ICRA2020。

平台

UR5、仿真

任务

合成到真实感知、透明物体、Sim2Real深度

协议

以官方公开许可为准

2021语言条件操作基准,融合CLIP语义与Transporter空间推理,基于Ravens在仿真生成桌面上千演示。

平台

UR5、吸盘夹爪(仿真/真实)

任务

语言条件抓取、堆叠、重排

协议

以官方公开许可为准

2023布料操作Sim2Real鸿沟评测数据集,真实与仿真动态/准静态任务,对比MuJoCo/Bullet/Flex/SOFA。

平台

机械臂

任务

布料操作、Sim2Real评测

协议

开源(以官方为准)

2023年Kinova Jaco2语言标注遥操作数据集，1085条桌面拾放轨迹，含多视角RGB与状态。

平台

Kinova Jaco2

任务

抓取、放置、语言指令

协议

CC BY 4.0

DEX-EE三指手灵巧操作,仿真+真实2753条,自动课程Sim2Real(2024)

平台

Kuka LBR iiwa + DEX-EE 三指手

任务

插头插拔、螺母螺纹、立方体重定向

协议

研究用途

500万+合成平行夹/吸盘抓取深度图，域随机化训练，真实ABB YuMi分拣成功率>95%，2019。

平台

仿真、YuMi

任务

合成到真实抓取、域随机化、bin picking

协议

以官方公开许可为准

2023年基于Isaac Gym的灵巧操作基准，用群体化训练学习重抓取、抛投与物体重定向等任务。

平台

灵巧手、机械臂

任务

灵巧操作、重抓取、抛投

协议

以官方公开许可为准

2022年港中文发布，扩展ALFRED支持智能体主动提问，含50类问句模板与对话引导的家务任务完成。

平台

仿真智能体、具身智能体

任务

对话引导、指令跟随、长程操作

协议

以官方公开许可为准

2024高保真机器人仿真框架，复杂多物体环境与精确动力学，支持真实到仿真对齐与Sim2Real策略评测。

平台

多种、仿真

任务

Sim2Real评测、虚实对齐、高保真仿真

协议

以官方公开许可为准

DriveMLM 自动驾驶仿真对话数据：CARLA中280小时驾驶数据5万路线，Apache-2.0，2023

平台

自动驾驶仿真车辆

任务

自动驾驶、决策、场景理解

协议

Apache-2.0

2020进化算法生成2282个可3D打印几何多样物体+49评估件，1:1 Sim2Real转移，含百万预计算抓取，Dex-Net格式。

平台

Franka、仿真

任务

合成物体生成、Sim2Real抓取、几何多样

协议

BSD-3

6.15万张照片级合成图，21个YCB物体，提供3D位姿/分割/深度，用于机器人检测与Sim2Real位姿估计，2018。

平台

仿真

任务

合成位姿估计、Sim2Real感知、物体检测

协议

CC BY-NC-SA 4.0

2023年真实家具组装长程操作基准，8种家具、219小时遥操作演示，含标准化配置与数据集。

平台

Franka

任务

长程操作、组装

协议

MIT

2025年灵巧手生成式仿真管线，用LLM/VLM闭环生成多样灵巧操作任务与环境及轨迹数据。

平台

灵巧手

任务

灵巧操作、抓取、开柜

协议

以官方公开许可为准

Gibson 数据库含 572 栋真实建筑、1,447 层楼的三维扫描，主打「真实感仿真」以缩小 Sim2Real 差距，是 iGibson 与后续室内具身仿真平台的场景基础。

平台

仿真移动机器人

任务

视觉导航、真实感仿真迁移

协议

Gibson 数据集许可（需签署）

Isaac仿真双臂与拟人操作轨迹,双臂9k+桌面240k(2025) GR00T-X 仿真双臂操作数据集 开源数据集，含公开可下载样本与官方评测。

平台

Franka (bimanual)、GR1 人形

任务

双臂穿线、托盘搬运、三件装配

协议

CC-BY-4.0

2022年Meta发布，高保真家庭重排仿真，含10.5万+重排episodes与200+任务类别，支持长程家务操作。

平台

移动机械臂、具身智能体

任务

长程操作、重排任务、任务规划

协议

Apache-2.0

HM3D 含 1,000 个建筑级真实空间的高保真三维重建，是 Habitat 仿真器上视觉导航研究的主力场景库，配套语义标注版本可直接做物体目标导航（ObjectNav）训练与评测。

平台

仿真移动机器人

任务

点目标导航、物体目标导航、场景重建

协议

HM3D 学术许可（需申请）

2019年马里兰大学发布，基于Matterport3D的找物导航，含约9,000条语言+视觉辅助指令，智能体可主动求助。

平台

仿真智能体、导航机器人

任务

对话引导、指令跟随、视觉导航

协议

以官方公开许可为准

高语义保真合成场景数据集，含 211 个场景、18,000+ 可交互物体、466 类，专为高效具身 AI 训练设计，2023 发布。

任务

视觉导航、物体交互

协议

HSSD 许可 (非商业)

RSS2024零样本Sim2Real人形RL框架，Isaac Gym训练+MuJoCo验证，域随机化实现真机零样本迁移行走。

平台

XBot-S/XBot-L人形、仿真

任务

Sim2Real迁移、域随机化、零样本

协议

MIT

2021年物体中心交互仿真环境，15个可交互场景支持温度/湿度等状态，含VR演示与BEHAVIOR。

平台

移动机械臂

任务

抓取、家庭任务、长程操作

协议

以官方公开许可为准

USC CLVR的层次化家具装配仿真环境，60+可装配模型、6类机械臂，长程多步装配，2021年发布。

平台

Sawyer、Baxter、Jaco

任务

hierarchical assembly、furniture assembly、long-horizon

协议

MIT

InternData-A1 是上海人工智能实验室 InternRobotics 体系开源的长程双臂操作数据集，面向多阶段复杂任务训练，与 InternManip 训练框架配套，可直接用于 VLA 模型预训练与微调。

平台

多款双臂平台

任务

长程双臂操作、多阶段任务、仿真合成

协议

以官方页面为准

2023/2024年基于Isaac Sim的GPU机器人学习框架，含30+基准任务与资产，支持RL与模仿学习。

平台

Franka、机械臂、四足

任务

抓取、移动操作、灵巧操作

协议

BSD-3-Clause

基于ShapeNet的合成抓取数据集，5.4万场景、496万抓取标注、11k物体，2018，用于Sim2Real抓取检测。

平台

仿真

任务

合成抓取检测、Sim2Real迁移、域随机化

协议

以官方公开许可为准

AIRI等基于Isaac Sim的厨房长程基准，563条4–8步语言指令、约2700条移动操作轨迹，Mobile ALOHA，2025年。

平台

Mobile ALOHA

任务

language-conditioned mobile manipulation、long-horizon planning、multi-step

协议

CC BY 4.0

RSS2024，提供仿真+真实Franka操作数据(抓取/绕线等)，用语义对齐弥合Sim2Real鸿沟，含域随机化集。

平台

Franka、仿真

任务

Sim2Real迁移、域随机化、语言条件操作

协议

以官方公开许可为准

长程语言导航+抓取放置移动操作,574轨迹真实与仿真(2024) LaNMP: 语言-导航-操作-感知移动操作数据集 开源数据集，含公开可下载样本与官方评测。

平台

移动机械臂

任务

长程语言导航+抓取放置、移动操作

协议

研究用途

LIBERO 含 130 项任务、划分为四个任务套件，专门用于评测机器人策略在空间、物体、目标与长程任务上的知识迁移与遗忘问题，是当前 VLA 模型论文最常用的仿真评测基准之一。

平台

Franka Panda（仿真）

任务

终身学习操作、知识迁移评测、语言条件操作

协议

MIT

四足/双足/肌肉骨骼运动模仿学习基准，22k+ 运动片段，基于 MuJoCo，覆盖 Unitree/ANYmal 等本体，2023。

平台

Unitree A1、ANYmal、Humanoid (MuJoCo)

任务

imitation learning、locomotion control

协议

MIT

CIS的层次化长程语言条件操作基准，10个长程任务，基于Ravens仿真、UR5e，需子目标规划，2023年。

平台

UR5e (Ravens sim)

任务

hierarchical language-conditioned、long-horizon、subgoal planning

协议

MIT

2021年Stanford与Google发布，含6,000条众包语言标注与1,699条独特指令，覆盖真实机械臂与仿真语言条件任务。

平台

机械臂、具身智能体

任务

指令跟随、语言条件奖励、任务规划

协议

以官方公开许可为准

2024年ETRI发布，面向语言任务规划器的基准，含ALFRED+AI2-THOR与WAH-NL+VirtualHome两套评测。

平台

仿真智能体、具身智能体

任务

任务规划、指令跟随、长程操作

协议

以官方公开许可为准

ManiSkill 是 GPU 并行化的机器人操作仿真平台与数据集，可同时跑数千环境实例，覆盖桌面操作、移动操作与灵巧手任务并提供大量演示数据，是强化学习大规模训练的主力工具链。

平台

Panda、XArm、Fetch

任务

GPU 并行仿真操作、移动操作、灵巧操作

协议

Apache-2.0

2025年基于ManiSkill3的家庭重排低级操作基准，含TidyHouse等三任务约3.3万任务计划，HF可下。

平台

移动机械臂

任务

重排、长程操作、抓取

协议

以官方公开许可为准

2024/2025年GPU并行化机器人仿真与渲染框架，含50+操作任务与可下载演示数据集，RSS 2025。

平台

Franka、机械臂、灵巧手

任务

抓取、关节操作、长程操作

协议

Apache-2.0 / MIT

Matterport3D 覆盖 90 栋真实建筑、10,800 个全景视角与 194,400 张 RGB-D 图像，是 R2R 视觉语言导航基准的底层场景，至今仍是室内三维理解与导航最常被引用的数据集。

平台

仿真移动机器人

任务

视觉语言导航、三维语义分割、法向与关键点匹配

协议

Matterport3D 学术许可（需签署）

2018年最大规模机器人演示数据集之一，含8260条人-机演示覆盖20类操作任务，配对视频与轨迹。

平台

Baxter

任务

抓取、堆叠、倒水

协议

以官方公开许可为准

2020年Farama发布，轻量网格世界强化学习环境，提供大量语言条件任务，用于指令跟随与规划研究。

平台

仿真智能体

任务

指令跟随、任务规划

协议

MIT

Nav-CoT-110K 提供约 11 万条视觉语言导航的思维链样本，把「下一步往哪走」的中间推理过程显式写成文本，采用 Apache-2.0 许可，用于训练导航模型的显式推理能力。

平台

仿真移动机器人

任务

视觉语言导航、思维链推理

协议

Apache-2.0

2023混合仿真+实体敏捷机器人Sim2Real策略学习框架，提出SFPL安全指标，举办RoboMaster Sim2Real挑战赛。

平台

敏捷移动机器人、仿真

任务

Sim2Real策略学习、导航、对抗

协议

以官方公开许可为准

nuPlan 提供约 1,200 小时来自四座城市的真实驾驶数据与闭环仿真评测框架，是首个面向「规划」而非仅感知的大规模自动驾驶基准，评测方式与端到端具身策略评测思路相通。

平台

自动驾驶车辆

任务

规划与决策、闭环仿真评测

协议

CC BY-NC-SA 4.0（非商业）

Objaverse 开放 80 万以上带标注三维模型，Objaverse-XL 进一步扩展到 1,000 万量级，是三维生成模型与具身仿真场景最主要的公开资产来源，规模比 ShapeNet 高两个数量级。

平台

仿真环境资产

任务

三维资产生成、仿真场景填充、三维视觉预训练

协议

ODC-BY 1.0（含各模型原始许可）

ObjectFolder 2.0 把 1,000 个日常物体做成「隐式神经表示」，可按需渲染任意视角的视觉、敲击声音与触觉信号，是多感官具身学习（看得见、听得到、摸得着）最常用的仿真数据源。

平台

仿真物体交互

任务

多感官物体识别、视听触跨模态检索、接触声音预测

协议

以官方页面为准

2021年云端桌面整理抓取与操作竞赛基准，含76场景6004张标注RGB-D图像及真实数据集。

平台

Franka

任务

抓取、重排、姿态估计

协议

以官方公开许可为准

OmniObject3D 用专业扫描设备采集 6,000 个真实物体、覆盖 190 个日常类别，同时提供高精网格、多视角图像与点云，弥补了 CAD 类资产库「不像真东西」的短板。

平台

仿真环境资产

任务

真实物体三维重建、新视角合成、点云感知

协议

以官方页面为准

ORS3D-60K 三维任务调度数据：6万复合任务覆盖4376真实室内场景，Apache-2.0，2025

平台

仿真智能体

任务

并行任务调度、空间理解、导航规划

协议

Apache-2.0

PartNet 对 26,671 个三维模型做了 57 万多个部件实例的细粒度层级标注，是「机器人要抓门把手而不是抓整扇柜门」这类部件级功能理解研究的核心数据集。

平台

仿真环境资产

任务

部件级分割、可动关节建模、功能性操作

协议

以官方页面为准

Meta的人机协作长程规划基准，10万条自然语言任务、60房屋、5819物体，Habitat 3.0，2024年。

平台

Habitat 3.0 simulated humanoid/robot

任务

human-robot collaboration、long-horizon planning、rearrangement

协议

CC BY-NC 4.0

2025，Isaac Sim生成1000条Franka三立方堆叠轨迹，经Cosmos做域适应增强，用于行为克隆与Sim2Real迁移。

平台

Franka、仿真

任务

合成数据、域适应、Sim2Real迁移

协议

CC BY 4.0

2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。

平台

Kinova Gen3双臂、仿真

任务

合成数据、程序化生成、Sim2Real迁移

协议

CC BY 4.0

2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。

平台

Kinova Gen3双臂、仿真

任务

合成数据、程序化生成、Sim2Real迁移

协议

CC BY 4.0

2025 IsaacSim程序化生成的Franka单臂操作运动集(堆叠/开关等)，场景与纹理程序随机，用于Sim2Real策略训练。

平台

Franka、仿真

任务

合成数据、程序化生成、Sim2Real迁移

协议

CC BY 4.0

2021年可微物理软体操作基准，含10类橡皮泥塑形任务50种配置，基于DiffTaichi。

平台

机械臂

任务

软体操作、塑形

协议

以官方公开许可为准

2022年程序生成的大规模具身AI室内数据集，含1万套房屋场景，支持导航与操作任务。

平台

移动机器人

任务

导航、重排、移动操作

协议

Apache-2.0

2025真实到仿真校验的操作泛化基准，7项技能×15类扰动×3500+物体，仿真与真实强相关，评测VLA模型。

平台

Franka/UR、仿真

任务

虚实对齐、Real2Sim、Sim2Real评测

协议

以官方公开许可为准

18 个高保真室内场景重建数据集，含网格、纹理、语义与实例标注，单场景达数亿面，2019 发布，用于视觉导航仿真。

任务

三维重建、导航仿真

协议

Replica 许可 (非商业)

DeepMind 2021堆叠基准,150个程序生成刚体,含仿真环境与真实机械臂单元CAD,支持技能掌握与泛化。

平台

4-DoF机械臂、平行夹爪

任务

堆叠、抓取、放置

协议

Apache 2.0

RoboCasa 构建 120 个厨房场景、2,509 件物体资产与 100 项任务，大量资产由生成模型批量产出，主张「用仿真合成数据把真机数据放大」，是当前合成数据扩增路线的代表性开源工作。

平台

移动机械臂（仿真）

任务

厨房场景日常任务、移动操作、合成数据扩增

协议

MIT

2023弹塑性物体操作用粒子表征基准,含仿真与10分钟真实交互数据,可变形为目标形状。

平台

Franka、刚性/柔性工具

任务

可形变操作、塑形

协议

以官方公开许可为准

2023年生成式仿真框架，用GPT-4自动生成百余种刚体操作与运动任务及轨迹数据。

平台

机械臂、移动机器人

任务

抓取、长程操作、运动

协议

以官方公开许可为准

RoboGround 视觉语言操作数据：2.4万仿真演示11.2万指令，1.02TB，MIT，CVPR2025

平台

Franka、GR-1仿真

任务

抓取、放置、视觉 grounding

协议

MIT

robomimic 提供标准化的机器人模仿学习数据集与完整基线实现，系统研究了「示教数据质量如何影响策略性能」，是离线学习类工作最常引用的对照套件。

平台

Panda（robosuite 仿真）

任务

模仿学习基线、离线强化学习、示教质量研究

协议

MIT

PyBullet 中 3500 万姿态扩散训练数据，经 Google Drive 发布，2024 年。

平台

Franka、仿真手臂

任务

姿态生成、抓取、运动规划

协议

以官方公开许可为准

AI2发布的视觉语义导航基准，99个仿真场景、约1.98万训练回合，支持LoCoBot sim-to-real迁移，2020年。

平台

LoCoBot

任务

visual semantic navigation、point-goal navigation、sim-to-real

协议

Apache-2.0

2018/2019年众包遥操作数据集，Pilot含3224条演示，真实集111小时、54名用户长程操作。

平台

Sawyer、机械臂

任务

抓取、装配、长程操作

协议

以官方公开许可为准

RoboTwin 2.0 提供双臂协同操作的仿真数据自动生成管线与配套数据集，靠大规模域随机化提升策略跨场景鲁棒性，是国内双臂仿真数据生成方向被引用最多的开源工作之一。

平台

多款双臂平台（仿真）

任务

双臂协同操作、仿真数据自动生成、域随机化

协议

以官方页面为准

RoboVQA 面向长程机器人任务收集大规模视频问答数据，覆盖任务可行性、剩余步骤、失败原因等提问类型，用于训练与评测具身模型的高层推理能力，而非只看单步动作。

平台

移动机械臂、人类操作者

任务

长程任务视觉问答、可行性判断、任务分解

协议

以官方页面为准

2024统一鲁棒RL基准，内置动力学/外观域随机化接口，量化Sim2Real迁移中的鲁棒性，支持多机器人任务。

平台

多种、仿真

任务

域随机化、鲁棒RL、Sim2Real泛化

协议

以官方公开许可为准

RxR 含约 12.6 万条多语言视觉语言导航指令，覆盖英语、印地语、泰卢固语三种语言，并记录标注者描述时的视觉注意轨迹，是 VLN 领域规模最大、标注最细的多语言基准。

平台

仿真移动机器人

任务

视觉语言导航、多语言指令跟随

协议

CC BY 4.0

2022年大规模真实机器人操作数据集，13万片段覆盖700+任务，含语言指令与多模态传感数据。

平台

Everyday Robot (EDR)

任务

抓取、放置、开关抽屉

协议

以官方公开许可为准

ScanNet++ 用激光扫描仪配合单反与手机采集 460 个室内场景，几何与纹理精度远高于上一代，同时支撑新视角合成与精细语义分割两类评测，是当前高保真室内三维数据的标杆。

平台

手持/固定扫描（用于三维感知训练）

任务

高保真三维重建、新视角合成、精细语义分割

协议

ScanNet++ 使用条款（需申请）

ShapeNetCore 含 51,300 个人工核验的三维 CAD 模型、覆盖 55 个常见类别，是点云与三维深度学习的奠基数据集；官网近期访问不稳，可从 Hugging Face 官方镜像获取。

平台

仿真环境资产

任务

三维形状分类、重建、点云学习

协议

ShapeNet 学术许可（需注册）

视触觉Sim2Real表面分类数据集，用扩散模型将仿真触觉图转真实域自动标注，ICRA2024，真实YCB验证。

平台

DIGIT触觉传感器、仿真

任务

Sim2Real触觉、域适应、表面分类

协议

以官方公开许可为准

SIMPLER 用仿真复刻真机评测场景，让 RT-1、Octo 等策略无需真实机器人也能得到与真机高度相关的评测结果，解决了具身研究「没机器人就无法复现评测」的老问题。

平台

Google Robot、WidowX（仿真复刻）

任务

真机策略仿真评测、视觉域差距量化

协议

以官方仓库为准

2020年基于NVIDIA FleX的柔体操作RL基准，含布料、绳、水流等12类任务，Gym接口。

平台

机械臂

任务

柔体操作、折叠、倒水

协议

BSD-3-Clause

USC CLVR层次化技能先验数据集，厨房等域约500条演示，自底向上发现可复用长程技能，2020年。

平台

Simulated manipulator

任务

skill priors、hierarchical imitation、kitchen manipulation

协议

Apache-2.0

2021开源dVRK兼容手术机器人学习仿真平台(PyBullet),含14个手术任务与物理交互,支持Sim2Real。

平台

dVRK PSM/ECM

任务

缝合、切割、操作

协议

MIT

动态拣选合成数据集，21个YCB物体、50万+帧、BOP格式，含抓/移序列，支持Sim2Real位姿估计，2021。

平台

仿真

任务

合成拣选、Sim2Real位姿估计、动态场景

协议

以官方公开许可为准

光学触觉传感器 TacTip 的 PyBullet RL 基准，含边缘跟随/物体抓取等任务，支持 TacTip/DIGIT/DigiTac，2021。

平台

TacTip、DIGIT、DigiTac (sim)

任务

tactile reinforcement learning、edge following、grasping

协议

MIT

2022年Amazon发布，对TEACh的3,000+对话标注18类对话行为，含3.95万话语，用于具身任务对话建模。

平台

仿真智能体、具身智能体

任务

对话引导、指令跟随

协议

CC BY 4.0

2024，20个操作任务×12类环境扰动的仿真泛化基准，仿真与真实扰动相关性R²=0.61，量化Sim2Real鲁棒性。

平台

Franka、仿真

任务

Sim2Real gap基准、域随机化、泛化评测

协议

以官方公开许可为准

2021年多模态物理仿真平台，支持视听渲染与刚体/柔体交互，含Transport挑战与物体数据集。

平台

Magnebot、移动机器人

任务

导航、操作、运输

协议

以官方公开许可为准

CMU提出的杂乱场景整理长程基准，8300个场景与任务，RGB+深度，需多步物体归位与重排，2021年。

平台

AI2-THOR simulated mobile manipulator

任务

tidying、rearrangement、long-horizon

协议

MIT

2023年离线训练在线测试真实机器人基准，含舀取与倾倒约1895条遥操作轨迹及仿真数据。

平台

Franka

任务

舀取、倾倒

协议

Apache-2.0

2025用Isaac Sim生成UR10随机6DoF姿态数据集，含域随机化(光照/纹理)，含真实仓库测试集，用于Sim2Real位姿。

平台

UR10、仿真

任务

域随机化、Sim2Real位姿、合成数据

协议

以官方公开许可为准

南加州大学在 Franka 上采集约 800 段布料操作演示，含沿对角线折叠、对折、拉直绳索等可变形物体任务（2022）。

平台

Franka Emika Panda

任务

布料折叠、绳索拉直、可变形物体

协议

CC BY 4.0

2025水下机器人操作VLA仿真数据集,Stonefish中2275条episode、20任务,BlueROV2+4-DoF臂,LeRobot格式。

平台

BlueROV2 + 4-DoF臂 + Robotiq夹爪

任务

水下抓取、导航、运输

协议

以官方公开许可为准

8000张真实RGB-D毛巾图像+12000合成图像,覆盖多配置与光照,用于布料抓取点检测基准。

平台

RGB-D相机(离线)

任务

布料抓取、抓取点检测

协议

CC-BY-NC-SA 4.0

2022年多模态提示机器人操作基准，程序化生成桌面任务，发布65万专家轨迹用于模仿学习。

平台

机械臂

任务

抓取、放置、组合泛化

协议

CC BY 4.0

UT Austin的视觉模仿长程数据集，含摆桌、冲咖啡等长程任务，仿真+真实演示，UR5，2023年。

平台

UR5

任务

vision-based imitation、long-horizon、table setting

协议

MIT

2018年MIT发布，程序化家庭活动仿真器，含2,500+活动程序与5,000+日常任务，支持自然语言到动作映射。

平台

仿真智能体、具身智能体

任务

指令跟随、长程操作、任务规划

协议

以官方公开许可为准

2021年中科大发布，基于VirtualHome-Social的社会协作基准，含10万+多智能体协作与助人轨迹。

平台

仿真智能体、具身智能体

任务

长程操作、社会协作、任务规划

协议

以官方公开许可为准

WRS 2018实际空间伙伴机器人挑战YOLO数据集,含真实与合成图像,标注41类目标物,用于物体识别。

平台

HSR等服务机器人

任务

目标识别、抓取前感知

协议

LGPL