DexGraspNet 由北大 EPIC 实验室发布,含 132 万个 ShadowHand 灵巧抓取姿态、覆盖 5,355 个物体,规模比同期数据集高出两个量级,是多指灵巧抓取生成任务的标准训练集。
- 平台
- ShadowHand 五指灵巧手
- 任务
- 灵巧手抓取合成、多指抓取生成
- 协议
- 以官方页面为准
多指抓握、手内旋转、手物交互。做灵巧手和多指末端先看这里。
DexGraspNet 由北大 EPIC 实验室发布,含 132 万个 ShadowHand 灵巧抓取姿态、覆盖 5,355 个物体,规模比同期数据集高出两个量级,是多指灵巧抓取生成任务的标准训练集。
ACRONYM 是英伟达发布的大规模仿真抓取数据集,含 8,872 个物体上的 1,770 万次抓取尝试,每条都带物理仿真验证结果,常用于抓取网络预训练与 Sim2Real 抓取研究。
DexYCB 用 8 台 RGB-D 相机记录 10 名被试抓取 20 个 YCB 物体的 1,000 段序列、约 58.2 万帧,同步标注人手关键点与物体 6D 位姿,是手物位姿估计与人机物品交接研究的经典基准。
DexCanvas 由灵巧智能开源,把动作捕捉的人手操作与物理仿真结合,除视觉与手指关节外还提供接触力标注(关联论文 arXiv:2510.15786),采用 ODbL 开放数据库许可,适合做力感知灵巧操作。
UniHand 是 BeingBeyond 面向通用灵巧手操作发布的大规模数据集,HF 预览版即含约 285 万条样本、采用 webdataset 与 LeRobot 标签体系,关联论文 arXiv:2507.1559…
OpenLET 由乐聚与开放原子于 2026年3月17日开源,定位融合触觉灵巧操作与全身高动态运动的多模态具身数据集,含 LET-Body、LET-Dex、LET-Base 三个子集,面向全尺寸人形 Kuavo 系列真…
27.3K YouTube 视频 (131 天采集) 的 2D 手-物接触框标注,覆盖多样真实场景,ECCV 2020。
2024年发布的大规模灵巧手抓取仿真数据集,含1319个物体、8270个场景、约4.27亿条抓取姿态,基于LEAP手生成,CC BY-NC 4.0。
2023 CVPR发布的灵巧手抓取大规模数据集,含112万抓取、5519物体、133类,基于ShadowHand与Isaac Gym仿真验证。
2023 ICCV发布的灵巧手抓取扩展数据集,覆盖3000+真实物体实例,支持从视觉到抓取的端到端泛化研究。
RoboMIND 由北京人形机器人创新中心与北京大学等推出,定位国内具身智能标准范式数据集(RSS2025);公开整理称 V1.0 含 10 万+双臂轨迹,V2.0 扩展至 30 万+轨迹并新增带触觉数据与仿真资产。
Daimon-Infinity 由戴盟机器人联合多家机构于 2026年4月15日发布,定位为大规模含触觉的全模态物理世界具身数据集,依托二指夹爪与五指手套采集设备提供高密度视触觉与动作信息。
K2 页面将 EmbodiedDataSet 描述为具身智能数据集,数据源融合场景实测、实验室数据、合作伙伴训练场与仿真环境,并支撑算法训练。
Aligned DexWorld 是跨维智能公开的仿真合成机器人数据集,主张「对齐真机分布的合成数据可规模化扩展」,用仿真批量生成抓取与操作数据并对齐真实传感器特性,服务 Sim2Real 落地。
2024年发布的统一可扩展视觉-语言机器人交互仿真框架,基于Isaac Sim,含生成式3D资产与四类交互基准。
2022年发布的基于Unity的多物理场机器人仿真平台,支持87种原子动作与刚体/流体/热耦合,提供多类家庭任务基准。
OmniViTac 由它石智航联合六家机构于 2026年3月25日发布,定位大规模视触觉操作数据集;公开整理称已收录 2 万余条轨迹,覆盖近百类任务与百余种物体,并保证视触动高精度同步。
World In Your Hands 由它石智航于 2025年12月24日开源,公开口径称其为全球首个 VLTA 多模态真实世界数据集,用于填补互联网缺动作、仿真难泛化的缺口,并为具身基座模型提供 scaling 语…
同济多构型机器人运动数据:双臂/单臂/四足运动数据240GB,MIT,ScienceDB,2025
2025年8月开源的灵巧手多样抓取仿真数据集,含950万+抓取姿态、1万+物体、31种抓握类型,覆盖约94%人类抓握分类。
2025年发布的十亿帧合成抓取数据集,含1万+物体、240类,基于光线追踪渲染与物理仿真,支撑VLA抓取基础模型。
Reachy 2 夹爪搭载 5 个磁触觉传感器,覆盖 40 种物体的滑移检测数据,用于触觉滑移分类,Apache-2.0,2024。
EgoDex 是苹果公开的大规模第一视角灵巧操作数据集,含约 829 小时视频与配套三维手部/手指追踪,覆盖 194 类日常桌面任务,主打「用人类第一视角数据预训练灵巧手策略」。
ARCTIC 提供约 210 万帧双手操作可动关节物体的多视角数据,含精确的双手与物体网格标注及接触信息,是少数覆盖「双手同时改变物体自身关节状态」这类难例的公开数据集。
ARIO(All Robots In One)由鹏城实验室联合中山大学发布,主打统一数据格式标准,把不同本体、不同传感器配置的机器人数据规范到同一套 schema 下,目标是解决国内具身数据「各家格式互不兼容」的问题。
2023 ICRA发布的跨五只灵巧手的大规模抓取数据集,含58个家庭物体、43.6万抓取姿态,是已知最大多手抓取数据集。
CALVIN 提供 4 个仿真环境、34 类任务与约 24 小时人类遥操作数据,核心考察「连续完成一串语言指令」的长程能力,是语言条件操作策略最经典的公开基准。
ChingMu 千寻千小时动作捕捉数据:1000+小时光学动捕,15+场景500+任务,120Hz,2025
ContactPose 是首个把「手物接触区域」直接测出来的公开数据集,用热成像捕捉 50 名被试对 25 个物体的 2,306 次抓取所留下的接触印记,同步给出手姿态与多视角 RGB-D。
DEX-EE三指手灵巧操作,仿真+真实2753条,自动课程Sim2Real(2024)
500万+合成平行夹/吸盘抓取深度图,域随机化训练,真实ABB YuMi分拣成功率>95%,2019。
2023年基于Isaac Gym的灵巧操作基准,用群体化训练学习重抓取、抛投与物体重定向等任务。
在 Dobot X-Trainer 双臂平台上采集 152 段含触觉的插拔演示,分 USB 插入、齿轮装配与 peg-in-hole 三类(2025)。
2020进化算法生成2282个可3D打印几何多样物体+49评估件,1:1 Sim2Real转移,含百万预计算抓取,Dex-Net格式。
Ego4D 含 3,670 小时第一视角日常生活视频,来自 9 个国家、74 个地点的 931 名参与者,是具身视觉预训练规模最大的公开人类视频库,也是 R3M、VC-1 等视觉表征模型的主要训练来源。
ICCV 2015第一人称手势分割数据集,含48段视频4800帧像素级手部语义分割,用于手-物交互理解。
ECCV 2022第一人称手-物分割数据集,约11243张图像含像素级手与可操作物体分割及接触状态标注。
WACV 2024工业场景第一人称视频数据集,51段共约22小时视频,含螺母装配等手-物交互与步骤标注。
CVPR 2018第一人称手动作基准,约10.5万帧RGB-D视频与3D手姿态及物体6D位姿标注,覆盖日常动作。
Fourier ActionNet 是傅利叶正式开源的全尺寸人形机器人数据集。官网文章称首批上线超 3 万条高质量真机训练数据,包含多种自由度灵巧手训练数据和手部任务模仿学习数据,并配套采集、训练、部署工具链。
2025年灵巧手生成式仿真管线,用LLM/VLM闭环生成多样灵巧操作任务与环境及轨迹数据。
GRAB 用高精度动捕记录人「用全身去抓取和操作物体」的过程,输出 SMPL-X 全身参数与手物接触标注,是人形机器人全身抓取、抓取意图预测研究常用的动捕级数据源。
GraspM3 百万级灵巧抓取轨迹:136万灵巧手抓取轨迹,Shadow+Mano,邮件申请,2024
GraspNet-1Billion 含 97,280 张真实 RGB-D 图像与超过 10 亿个标注抓取位姿,覆盖 88 个物体在杂乱堆叠场景中的抓取,是通用物体抓取检测领域最主流的评测基准与训练数据来源。
4 人双手操作 + 6 序列,5 视角含 egocentric,提供 3D 手/物体位姿,支持双手重建,ICCV 2021。
视觉触觉双臂多指操作,4任务800条演示,UR5e+Ability Hand(2024)
2400 段多模态人体动作序列,Zenodo 下载,IEEE DataPort,2023 年。
CVPR 2020手-物3D姿态基准第3版,约10.3万帧RGB-D图像含右手与物体严重遮挡下的精确3D标注。
HOI4D 含 4,000 段第一视角序列、约 240 万帧 RGB-D,覆盖 800 个物体实例与 16 个类别,提供逐帧三维手物姿态与分割标注,是类别级手物交互与关节物体操作研究的核心数据集。
HORA(Human Object to Robotic Action)在 Hugging Face 公开约 13.6 万条样本,围绕「把人手操作重演成机器人动作」构建,采用 Apache-2.0 宽松许可,可商用,适…
833 分钟、19 人 33 物体,Aria 眼镜 + Quest3 同步采集 3D 手-物位姿,CVPR 2025。
人形双臂+全身移动10300条260任务,多模态含LiDAR(2025) Humanoid Everyday: 开放世界人形操作数据集 开源数据集,含公开可下载样本与官方评测。
CVPR 2020双手交互3D姿态数据集,约260万帧含单人双人交互手姿标注,支持双手重建与交互理解。
ManiSkill 是 GPU 并行化的机器人操作仿真平台与数据集,可同时跑数千环境实例,覆盖桌面操作、移动操作与灵巧手任务并提供大量演示数据,是强化学习大规模训练的主力工具链。
2024/2025年GPU并行化机器人仿真与渲染框架,含50+操作任务与可下载演示数据集,RSS 2025。
WACV 2021第一人称手-物交互数据集,20人组装摩托模型视频,含动作、手姿与物体接触标注。
GelSight/DIGIT 视触觉手内操作物体位姿跟踪,70 组实验、400+ 序列,Science Robotics 2024,含触觉-视觉对齐数据。
OakInk2(CVPR 2024)聚焦双手协同完成的复杂长程任务,把交互拆成「基元-任务」层级并给出完整双手与物体位姿标注,是研究双手协作操作与任务级模仿的重要公开数据集。
ObjectFolder 2.0 把 1,000 个日常物体做成「隐式神经表示」,可按需渲染任意视角的视觉、敲击声音与触觉信号,是多感官具身学习(看得见、听得到、摸得着)最常用的仿真数据源。
Open6DOR 六自由度物体重排数据:200+物体2400+六自由度重排任务,Apache-2.0,2024
昆士兰科技大学在 Franka 上采集约 800 段动态抓取演示,含餐具分拣、摆桌、抛垃圾等桌面操作(2023)。
RealDex 真机灵巧手抓取序列:2000+灵巧手抓取序列,IJCAI2024,gdown下载,2024
RH20T 由上海交大发布,含 11 万条以上接触密集型操作序列、147 类任务,同步记录力/力矩、音频与人手示教视频,是研究「靠触觉与力反馈完成精细操作」最重要的公开数据源之一。
视触觉Sim2Real表面分类数据集,用扩散模型将仿真触觉图转真实域自动标注,ICRA2024,真实YCB验证。
Something-Something V2 的 180,049 段视频逐帧手-物空间关系标注,支持组合动作推理,CVPR 2020。
斯坦福在 KUKA 上采集视觉+触觉多模态数据集,将不同形状插销插入不同孔位,公差约 2mm(2019)。
光学触觉传感器 TacTip 的 PyBullet RL 基准,含边缘跟随/物体抓取等任务,支持 TacTip/DIGIT/DigiTac,2021。
Touch and Go 由人手持 GelSight 触觉传感器在真实野外场景采集,含约 1.39 万次触摸样本与配对的视觉图像,是研究「看见材质就能预测手感」这类视触跨模态学习的代表性真实数据集。
43,741 对接触图像-触觉-语言三元组数据,DIGIT+网络摄像头采集,支持触觉语言模型训练,ICML 2024。
约 10 万触摸-语言-视觉对,基于 GelSight 采集,覆盖物体材质/几何描述,支持触觉多模态大模型,2024。
Unitree G1 Dex3 烤面包操作数据:G1七自由度双臂+Dex3灵巧手,418幕,Apache-2.0,2025
DIGIT 触觉传感器滑过 10 个 YCB 物体表面,含 50 条滑动轨迹,支持触觉/视觉滑动预测,CoRL2022 (MidasTouch)。
上面是按场景挑出的代表;要继续细筛可回 数据集总库 按数据类型 / 任务 / 模态过滤。
我是硅基参考 Agent,熟产品库、数据集、公司档案和近期资讯。你可以直接问,也可以先让我了解你是谁、在看什么——我会把库里的资料和你说的话对上号,像同事聊天那样一点点聊。