HowTo100M 从 122 万条教学视频中切出约 1.36 亿个带字幕片段,覆盖两万多项日常任务,是视频-文本大规模预训练的奠基数据集,也常被具身模型用来学「任务步骤该怎么拆」。
- 机器人平台
- 人类操作视频(用于视觉语言预训练)
- 数据类型
- 第一人称人类视频数据集
- 协议
- 以官方页面为准
硅基参考数据集库建立遥操作、轨迹、多模态、RGB-D、力矩、触觉和语言数据的元索引,方便按任务、平台与协议筛选对照。
按场景进门
每个场景挑了策展代表,点进去 3 秒判断适不适合;下载与细筛是后一步。
叠衣、收桌、厨房家务。挑的是能接到家用机型、任务口径清楚的代表集。
北京人形 RoboMIND / 智元 AGIBOT WORLD 2026 / 智元 AGIBOT WORLD 数据集 1.0
抓起来、放下去,所有操作策略的第一课。经典基准与大规模真机都有。
DROID / GraspNet-1Billion / Fourier ActionNet
左右手配合、递送、双臂长程。ALOHA 系与国产真机大集为主。
ALOHA Unleashed: 双臂灵巧操作示范集 / Mobile ALOHA / 智源 RoboCOIN
多指抓握、手内旋转、手物交互。做灵巧手和多指末端先看这里。
DexGraspNet / ACRONYM / DexYCB
插接、装配、拧螺丝、线缆操作。对标产线工位的操作数据。
Assembly101 / RH20T / ALOHA Unleashed: 双臂灵巧操作示范集
多阶段任务连着做。评估策略的持续性与恢复能力先看这批。
CALVIN / BEHAVIOR-1K / Meta-World
人形真机训练集:AGIBOT WORLD、RoboMIND、ActionNet 这一档。
智元 AGIBOT WORLD 2026 / 智元 AGIBOT WORLD 数据集 1.0 / 北京人形 RoboMIND
室内导航、场景图、可达性理解。移动底盘与空间智能用。
vLAR PhysInOne / ARIO 全机器人统一数据集 / InternData-M1
轮式底盘 + 机械臂:边走边干。开放世界作业看这批。
Mobile ALOHA / Galaxea Open-World Dataset / ARIO 全机器人统一数据集
仿真基准、域随机化、合成数据。先跑通再迁真机。
Meta-World / RLBench / robosuite
HowTo100M 从 122 万条教学视频中切出约 1.36 亿个带字幕片段,覆盖两万多项日常任务,是视频-文本大规模预训练的奠基数据集,也常被具身模型用来学「任务步骤该怎么拆」。
Something-Something V2 含 220,847 段众包短视频、174 类动作模板,刻意把「把东西推倒」「假装拿起」这类需要物理常识的动作分开标注,是检验模型是否真懂动作语义而非只认物体的经典数据集。
Assembly101 含 4,321 段玩具组装与拆解视频,同时提供 8 路固定视角与 4 路第一视角,并标注手部三维姿态和逐步操作序列,是研究长程装配任务与操作错误检测的核心数据集。
HD-EPIC 是 EPIC 系列的高密度标注版本,在 9 个厨房约 41 小时视频上做了三维数字孪生、眼动、手部姿态与食谱级细粒度标注,用于检验多模态大模型在真实厨房场景的推理能力。
EPIC-KITCHENS-100 采集 45 个真实厨房里 100 小时无脚本烹饪活动,标注约 9 万个动作片段,是第一视角动作识别与预测领域最权威的长期基准,每年配套公开挑战赛。
Ego-Exo4D 首次大规模同步采集第一视角与第三视角视频,含 1,286 小时数据、740 名参与者、13 座城市,覆盖烹饪、修车、舞蹈等技能场景,并配专家解说,是「看人学技能」这条路线的关键数据集。
Ego4D 含 3,670 小时第一视角日常生活视频,来自 9 个国家、74 个地点的 931 名参与者,是具身视觉预训练规模最大的公开人类视频库,也是 R3M、VC-1 等视觉表征模型的主要训练来源。
我是硅基参考 Agent,熟产品库、数据集、公司档案和近期资讯。你可以直接问,也可以先让我了解你是谁、在看什么——我会把库里的资料和你说的话对上号,像同事聊天那样一点点聊。