RoboVQA 面向长程机器人任务收集大规模视频问答数据,覆盖任务可行性、剩余步骤、失败原因等提问类型,用于训练与评测具身模型的高层推理能力,而非只看单步动作。
- 机器人平台
- 移动机械臂、人类操作者
- 数据类型
- 仿真基准与合成数据集
- 协议
- 以官方页面为准
硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引,方便按任务、平台与协议筛选对照。
按场景进门
每个场景挑了策展代表,点进去 3 秒判断适不适合;下载与细筛是后一步。
叠衣、收桌、厨房家务。挑的是能接到家用机型、任务口径清楚的代表集。
北京人形 RoboMIND / 智元 AGIBOT WORLD 2026 / 智元 AGIBOT WORLD 数据集 1.0
抓起来、放下去,所有操作策略的第一课。经典基准与大规模真机都有。
DROID / GraspNet-1Billion / Fourier ActionNet
左右手配合、递送、双臂长程。ALOHA 系与国产真机大集为主。
ALOHA Unleashed: 双臂灵巧操作示范集 / Mobile ALOHA / 智源 RoboCOIN
多指抓握、手内旋转、手物交互。做灵巧手和多指末端先看这里。
DexGraspNet / ACRONYM / DexYCB
插接、装配、拧螺丝、线缆操作。对标产线工位的操作数据。
Assembly101 / RH20T / ALOHA Unleashed: 双臂灵巧操作示范集
多阶段任务连着做。评估策略的持续性与恢复能力先看这批。
CALVIN / BEHAVIOR-1K / Meta-World
人形真机训练集:AGIBOT WORLD、RoboMIND、ActionNet 这一档。
智元 AGIBOT WORLD 2026 / 智元 AGIBOT WORLD 数据集 1.0 / 北京人形 RoboMIND
室内导航、场景图、可达性理解。移动底盘与空间智能用。
vLAR PhysInOne / ARIO 全机器人统一数据集 / InternData-M1
轮式底盘 + 机械臂:边走边干。开放世界作业看这批。
Mobile ALOHA / Galaxea Open-World Dataset / ARIO 全机器人统一数据集
仿真基准、域随机化、合成数据。先跑通再迁真机。
Meta-World / RLBench / robosuite
RoboVQA 面向长程机器人任务收集大规模视频问答数据,覆盖任务可行性、剩余步骤、失败原因等提问类型,用于训练与评测具身模型的高层推理能力,而非只看单步动作。
TongSIM-Asset 是北京通用人工智能研究院随 TongSIM 仿真平台开放的三维资产库,基于 Unreal Engine 5 构建可交互场景与物体(关联论文 arXiv:2512.20206),用于批量搭建具身任务环境。
AgiBot Digital World 是智元与真机数据集并行开放的仿真数据集,配套 Genie 仿真平台,提供数字孪生场景下的大规模合成操作数据,许可为 CC BY-NC-SA 4.0,供非商业研究使用。
RoboTwin 2.0 提供双臂协同操作的仿真数据自动生成管线与配套数据集,靠大规模域随机化提升策略跨场景鲁棒性,是国内双臂仿真数据生成方向被引用最多的开源工作之一。
SIMPLER 用仿真复刻真机评测场景,让 RT-1、Octo 等策略无需真实机器人也能得到与真机高度相关的评测结果,解决了具身研究「没机器人就无法复现评测」的老问题。
robomimic 提供标准化的机器人模仿学习数据集与完整基线实现,系统研究了「示教数据质量如何影响策略性能」,是离线学习类工作最常引用的对照套件。
BEHAVIOR-1K 基于真人问卷筛出 1,000 项最需要机器人代劳的家务活动,配 50 个可交互场景与 9,000 多件物体,支持流体、柔体与状态变化,是最贴近真实家庭需求的具身仿真基准。
RoboCasa 构建 120 个厨房场景、2,509 件物体资产与 100 项任务,大量资产由生成模型批量产出,主张「用仿真合成数据把真机数据放大」,是当前合成数据扩增路线的代表性开源工作。
RLBench 提供 100 项手工设计的操作任务,每项都可无限量自动生成专家示教,是 PerAct、RVT、Act3D 等三维操作策略的标准评测环境,也是仿真示教数据的重要来源。
ManiSkill 是 GPU 并行化的机器人操作仿真平台与数据集,可同时跑数千环境实例,覆盖桌面操作、移动操作与灵巧手任务并提供大量演示数据,是强化学习大规模训练的主力工具链。
Meta-World 提供 50 项标准化机械臂操作任务与多套 ML/MT 评测协议,是多任务与元强化学习领域最通用的基准,现由 Farama 基金会持续维护,环境接口保持长期兼容。
CALVIN 提供 4 个仿真环境、34 类任务与约 24 小时人类遥操作数据,核心考察「连续完成一串语言指令」的长程能力,是语言条件操作策略最经典的公开基准。
LIBERO 含 130 项任务、划分为四个任务套件,专门用于评测机器人策略在空间、物体、目标与长程任务上的知识迁移与遗忘问题,是当前 VLA 模型论文最常用的仿真评测基准之一。
我是硅基参考 Agent,熟产品库、数据集、公司档案和近期资讯。你可以直接问,也可以先让我了解你是谁、在看什么——我会把库里的资料和你说的话对上号,像同事聊天那样一点点聊。