家居整理 · 代表数据集

10Kh RealOmni-Open DataSet 由简智机器人于 2026年1月5日开源，定位大规模无本体具身数据集；公开口径称累计时长超 10Kh、规模超 1Mil clips，专注 10 大家庭场景与 30 项…

任务

家庭场景双手长程操作、家务清洁

协议

以官方公开许可为准

GM-100 是蚂蚁灵波（Robbyant）在 Hugging Face 开源的家庭双臂操作数据集，围绕约 100 类家庭任务采集真机数据，用于验证通用家庭操作模型在长尾日常任务上的表现。

平台

灵波双臂机器人

任务

家庭双臂操作、整理、收纳

协议

以官方页面为准

2022年发布的基于Unity的多物理场机器人仿真平台，支持87种原子动作与刚体/流体/热耦合，提供多类家庭任务基准。

平台

Franka、UR5、各类机械臂

任务

抓取、折叠、切割

协议

CC BY 4.0

OmniViTac 由它石智航联合六家机构于 2026年3月25日发布，定位大规模视触觉操作数据集；公开整理称已收录 2 万余条轨迹，覆盖近百类任务与百余种物体，并保证视触动高精度同步。

任务

视触觉操作、接触模式学习、精细操作

协议

以官方公开许可为准

MIT日常活动数据集，以第一视角记录约百万帧无约束家居活动，含动作与对象交互时序标注。

任务

动作识别、活动检测、对象交互

协议

以官方公开许可为准

在 AgileX Cobot Magic 双臂上采集 1176 段毛巾收纳演示，含抓取、折叠、放置等原子动作，LeRobot 格式（2026）。

平台

AgileX Cobot Magic

任务

抓取、折叠、放置

协议

Apache 2.0

日本 AIRoA 在 Toyota HSR 上遥操作采集 23762 段家居服务演示（约 87 小时），含擦布、咖啡、洗碗等长程移动操作（2025）。

平台

Toyota Human Support Robot (HSR)

任务

长程操作、移动操作、擦布

协议

CC BY-NC-SA 4.0

2020年AI2发布，含25,743条自然语言指令与5,856段专家演示，基于AI2-THOR的七类家务长程任务。

平台

仿真智能体、具身智能体

任务

指令跟随、长程操作、任务规划

协议

Apache-2.0

AllenAI 于 2026年5月2日开源的 MolmoAct2-BimanualYAM 是约 720 小时双手遥操作数据集，覆盖桌面与家居任务，公开资料称其为当时开源最大双手遥操作数据集之一。

任务

双手遥操作、桌面操作、家居操作

协议

以官方公开许可为准

DeepMind 与 EMBL-EBI 合作发布，含 2 亿+ 蛋白质结构预测，覆盖 UniProt 全部序列。

UT Austin 在 UR5 上采集 365 段无分段长程厨房演示，用于无监督技能发现与层级模仿学习（2023）。

平台

Universal Robots UR5

任务

长程操作、技能发现、拾锅推具

协议

MIT

UT Austin 在 UR5 上采集 5000 段玩具厨房家务演示，含食物、锅具拾取与放置，用于层级模仿学习（2023）。

平台

Universal Robots UR5

任务

抓取、放置、家务

协议

以官方公开许可为准

UT Austin 在 Franka 上采集 570 段含人类干预的家务演示，含 kcup 插入与齿轮装配等精密插接任务（2023）。

平台

Franka Emika Panda

任务

插入、装配、插接

协议

MIT

BDRBench-20 字节机器人操作基准：字节单臂VLA操作基准，8000条真机轨迹，Apache-2.0，2025

平台

Franka、UR5、遥操作手臂

任务

抓取、放置、折叠

协议

Apache-2.0

BEHAVIOR-1K 基于真人问卷筛出 1,000 项最需要机器人代劳的家务活动，配 50 个可交互场景与 9,000 多件物体，支持流体、柔体与状态变化，是最贴近真实家庭需求的具身仿真基准。

平台

Fetch、Tiago 等移动机器人（仿真）

任务

日常家务活动、长程任务规划、全身移动操作

协议

MIT

2022年港中文发布，扩展ALFRED支持智能体主动提问，含50类问句模板与对话引导的家务任务完成。

平台

仿真智能体、具身智能体

任务

对话引导、指令跟随、长程操作

协议

以官方公开许可为准

Project Aria眼镜+低成本双臂,人机共训扩展模仿学习(2024) EgoMimic: 自我中心视频扩展模仿学习 开源数据集，含公开可下载样本与官方评测。

平台

ViperX 300 S 双臂、Project Aria

任务

杂货抓取、洗衣折叠、碗具放置

协议

MIT

EPIC-KITCHENS-100 采集 45 个真实厨房里 100 小时无脚本烹饪活动，标注约 9 万个动作片段，是第一视角动作识别与预测领域最权威的长期基准，每年配套公开挑战赛。

平台

人类头戴设备（用于具身预训练）

任务

动作识别、动作预测、跨域适应

协议

CC BY-NC 4.0

双臂衣物展开与折叠2100序列,多视角RGB-D与3D位姿(2024) Flat'n'Fold: 衣物感知与操作多模态数据集 开源数据集，含公开可下载样本与官方评测。

平台

Baxter 双臂、人类演示

任务

衣物展开、折叠、可变形体操作

协议

CC (研究)

Galaxea Open-World Dataset 是星海图随 G0 模型一并开放的真实开放场景数据集，全部由同一款移动双臂本体在家居、零售、办公等真实空间连续采集，强调「单一本体 + 真实场景」而非多机拼盘。

平台

星海图 R1 系列移动双臂机器人

任务

开放场景移动操作、家居、零售

协议

以官方页面为准

2022年Meta发布，高保真家庭重排仿真，含10.5万+重排episodes与200+任务类别，支持长程家务操作。

平台

移动机械臂、具身智能体

任务

长程操作、重排任务、任务规划

协议

Apache-2.0

HD-EPIC 是 EPIC 系列的高密度标注版本，在 9 个厨房约 41 小时视频上做了三维数字孪生、眼动、手部姿态与食谱级细粒度标注，用于检验多模态大模型在真实厨房场景的推理能力。

平台

人类头戴设备（用于具身预训练）

任务

细粒度动作理解、三维场景关联、物体追踪

协议

以官方页面为准

人类动作捕捉双臂日常家务操作,588条含手套与物体6D位姿(2021) KIT 双臂操作(动作捕捉)数据集 开源数据集，含公开可下载样本与官方评测。

平台

人类动作捕捉(可迁移机器人)

任务

双臂日常家务、人机演示学习

协议

需注册 (KIT)

AIRI等基于Isaac Sim的厨房长程基准，563条4–8步语言指令、约2700条移动操作轨迹，Mobile ALOHA，2025年。

平台

Mobile ALOHA

任务

language-conditioned mobile manipulation、long-horizon planning、multi-step

协议

CC BY 4.0

Labelbox 在双臂 xArm6/xArm7 站上遥操作采集的家居与桌面任务数据，以 MCAP 保存多相机与本体感知（2026）。

平台

UFACTORY xArm6、xArm7

任务

折叠、放置、双臂操作

协议

CC BY 4.0

AI2的移动机械臂操作基准，30个厨房场景、150+物体类，ArmPointNav长程导航+操作，2021年。

平台

AI2-THOR mobile manipulator

任务

arm point navigation、mobile manipulation、long-horizon

协议

Apache-2.0

2025年基于ManiSkill3的家庭重排低级操作基准，含TidyHouse等三任务约3.3万任务计划，HF可下。

平台

移动机械臂

任务

重排、长程操作、抓取

协议

以官方公开许可为准

NVIDIA自动生成大规模演示系统，4.8万+条跨12个操作任务的轨迹，含长程装配与厨房，2023年。

平台

Franka Emika Panda、Sawyer、UR5e

任务

demo generation、long-horizon、assembly

协议

CC-BY 4.0

Mobile ALOHA 开源了移动双臂遥操作硬件方案与配套示教数据，用 50 条示教即可让机器人完成炒虾、乘电梯等长程家务任务，是「低成本硬件 + 少量示教」路线影响力最大的公开工作之一。

平台

Mobile ALOHA 移动双臂平台

任务

移动双臂操作、炒虾、擦拭

协议

MIT（代码）/ 数据以官方页面为准

2022年Everyday Robot发布，开放词汇可查询场景表示，含55项真实厨房长程任务，用于LLM规划器落地 grounding。

平台

移动机械臂、具身智能体

任务

任务规划、长程操作、开放词汇感知

协议

以官方公开许可为准

ObjectFolder 2.0 把 1,000 个日常物体做成「隐式神经表示」，可按需渲染任意视角的视觉、敲击声音与触觉信号，是多感官具身学习（看得见、听得到、摸得着）最常用的仿真数据源。

平台

仿真物体交互

任务

多感官物体识别、视听触跨模态检索、接触声音预测

协议

以官方页面为准

2021年云端桌面整理抓取与操作竞赛基准，含76场景6004张标注RGB-D图像及真实数据集。

平台

Franka

任务

抓取、重排、姿态估计

协议

以官方公开许可为准

2025 IsaacSim程序化生成双臂厨房操作集(开关柜/冰箱/洗碗机)，LeRobot格式8任务，用于Sim2Real操作。

平台

Kinova Gen3双臂、仿真

任务

合成数据、程序化生成、Sim2Real迁移

协议

CC BY 4.0

2025 IsaacSim生成厨房拾取放置合成集(拾取/台面/橱柜)，Kinova双臂+程序化场景，LeRobot格式，支持Sim2Real。

平台

Kinova Gen3双臂、仿真

任务

合成数据、程序化生成、Sim2Real迁移

协议

CC BY 4.0

RoboCasa 构建 120 个厨房场景、2,509 件物体资产与 100 项任务，大量资产由生成模型批量产出，主张「用仿真合成数据把真机数据放大」，是当前合成数据扩增路线的代表性开源工作。

平台

移动机械臂（仿真）

任务

厨房场景日常任务、移动操作、合成数据扩增

协议

MIT

RoboSet 是 RoboAgent 项目开源的真机数据集，含 98,500 条轨迹、12 类技能与 38 项任务，主打「用有限数据量学会多技能泛化」，配套完整的采集与训练代码。

平台

Franka Emika

任务

厨房场景多技能、擦拭、盖盖子

协议

以官方页面为准

2020年基于NVIDIA FleX的柔体操作RL基准，含布料、绳、水流等12类任务，Gym接口。

平台

机械臂

任务

柔体操作、折叠、倒水

协议

BSD-3-Clause

USC CLVR层次化技能先验数据集，厨房等域约500条演示，自底向上发现可复用长程技能，2020年。

平台

Simulated manipulator

任务

skill priors、hierarchical imitation、kitchen manipulation

协议

Apache-2.0

CMU提出的杂乱场景整理长程基准，8300个场景与任务，RGB+深度，需多步物体归位与重排，2021年。

平台

AI2-THOR simulated mobile manipulator

任务

tidying、rearrangement、long-horizon

协议

MIT

全向移动底盘配可换机械臂,手机遥操作家庭移动操作数据(2024) TidyBot++: 开源全向移动操作机器人 开源数据集，含公开可下载样本与官方评测。

平台

TidyBot++ (全向底盘+可换臂)

任务

移动抓取放置、开关门、擦拭台面

协议

MIT

加州大学圣地亚哥分校在 Franka 上采集 150 段厨房任务演示，配自然语言指令，覆盖多样日常物体操作（2023）。

平台

Franka Emika Panda

任务

抓取、放置、厨房操作

协议

CC BY 4.0

UMI双臂衣物折叠子集,249条演示,zarr多视角可复现(2024) UMI 双臂衣物折叠数据集 开源数据集，含公开可下载样本与官方评测。

平台

并行夹爪双臂

任务

双臂折叠、衣物操作

协议

MIT

手持夹爪野外采集框架,含双臂折衣/洗碗等,多子集约千条(2024) UMI 通用操作接口: 野外手持夹爪数据采集 开源数据集，含公开可下载样本与官方评测。

平台

UR5e、Franka Emika、并行夹爪

任务

双臂折叠、动态抛接、洗碗

协议

MIT

南加州大学在 Franka 上采集约 800 段布料操作演示，含沿对角线折叠、对折、拉直绳索等可变形物体任务（2022）。

平台

Franka Emika Panda

任务

布料折叠、绳索拉直、可变形物体

协议

CC BY 4.0

东京大学在 xArm 双臂上采集毛巾操作数据，含取毛巾、展开皱毛巾等任务，用于模仿学习与多物体操作（2023）。

平台

UFACTORY xArm

任务

取放、毛巾展开、双臂操作

协议

CC BY 4.0

8000张真实RGB-D毛巾图像+12000合成图像,覆盖多配置与光照,用于布料抓取点检测基准。

平台

RGB-D相机(离线)

任务

布料抓取、抓取点检测

协议

CC-BY-NC-SA 4.0

UT Austin 在 Franka 上采集的 150 段厨房任务视觉模仿演示，覆盖摆桌、冲咖啡等 Household 任务（2022）。

平台

Franka Emika Panda

任务

抓取、放置、长程操作

协议

以官方公开许可为准