全球85个具身智能数据集盘点(附下载)
- 2026-11-01 20:46:51

在具身智能领域,产业的胜负手已从硬件与模型,全面转向真实数据。谁掌握了高质量具身数据,谁就掌握了具身智能时代的入场券。
当前全球高质量真实物理交互数据仅约50万小时,距离实现通用具身能力所需的千万小时级仍有95%以上缺口,数据尤其是可复用、可标注、可闭环迭代的具身数据,正成为物理AI最稀缺的底层资源。
从真实机器人操作轨迹、仿真合成、人类第一视角到触觉与多模态感知,具身智能训练正在从单一数据源走向跨本体、跨场景和多模态。
本文依据数据形态与主要用途,将85个公开数据集及集合分为真实机器人、仿真与合成、人类示范与第一视角、导航与三维场景、灵巧手与抓取、触觉与多模态六组。

收录口径:截至2026年10月19日,仅收录有明确数据发布、下载或申请入口,可用于具身感知、导航、操作或策略训练的数据集及数据集合;纯采集方法、仿真环境、算法项目和仅含评测题集的基准不计入。集合成员不重复计数,每项只归入一个主要类别,编号不构成排名。
数据集目录:




真实机器人数据集(22项)
01. Open X-Embodiment(OXE)·Google DeepMind
跨机构真机数据集合 · 统一格式与跨形态策略训练
Open X-Embodiment由Google DeepMind联合全球机器人研究团队于2023年发布,汇集21家机构、34个实验室贡献的60个既有数据集,形成超过100万条真实机器人轨迹,覆盖22种机器人形态、527项技能和160,266个任务实例,并统一转换为RLDS轨迹格式。基于该混合数据训练的RT-1-X在五家合作实验室的实机测试中,平均成功率较各机器人单独训练提高50%;RT-2-X在新技能测试中的成功率达到原RT-2的3倍,显示跨机器人数据能够提升通用策略的迁移能力。

Open X-Embodiment汇集不同数据集、机器人形态与操作技能的总览图。来源:Open X-Embodiment论文。
相关资源
项目主页:https://robotics-transformer-x.github.io/
论文地址:https://arxiv.org/abs/2310.08864
数据代码:https://github.com/google-deepmind/open_x_embodiment
02. DROID·Stanford University
分布式真机操作数据集 · 跨建筑真实场景采集
DROID(Distributed Robot Interaction Dataset)由斯坦福大学、加州大学伯克利分校等机构联合建设,于2024年发表于RSS。50名采集者使用18套统一的Franka机器人平台,在北美、亚洲和欧洲历时12个月采集76,000条示范轨迹、350小时交互数据,覆盖564个场景和86类任务。论文在6项任务、4个地点评估,用DROID共同训练的策略较次优方法在分布内、分布外的绝对成功率分别提高22和17个百分点,表明场景多样性能提升策略的鲁棒性与迁移能力。

DROID覆盖浴室、厨房、餐厅、卧室、实验室、洗衣房和办公室等真实采集场景。来源:DROID论文 Figure 1。
相关资源
项目主页:https://droid-dataset.github.io/
论文地址:https://arxiv.org/abs/2403.12945
数据代码:https://github.com/droid-dataset/droid
03. BridgeData V2·UC Berkeley
跨场景真机操作数据集 · 低成本示范规模化
BridgeData V2由加州大学伯克利分校团队于2023年8月发布,后发表于CoRL 2023,在公开可购的低成本WidowX 250机械臂上采集,包含60,096条真实机器人轨迹,覆盖24个环境、100余种物体和多类桌面操作技能,记录多视角图像、机器人状态、动作与自然语言指令。数据兼容以目标图像或语言指令为条件的开放词汇多任务学习方法;论文在其上训练6种模仿学习与离线强化学习方法,发现性能随数据量、模型容量和技能多样性提升而提高,并提供原始轨迹、TFDS版本和预训练模型。

BridgeData V2覆盖多种技能、24个环境、开放词汇任务与100余种物体。来源:BridgeData V2官方项目页。
相关资源
项目主页:https://rail-berkeley.github.io/bridgedata/
论文地址:https://arxiv.org/abs/2308.12952
数据代码:https://github.com/rail-berkeley/bridge_data_v2
04. LeRobot Community Dataset v3·Hugging Face
社区机器人数据标准 · 分片存储与流式读取
LeRobot Dataset v3由Hugging Face发布,是LeRobot机器人学习库的统一数据格式与社区分发体系。v3把多个episode合并存储,数据和视频分别保存为Parquet与MP4分片,再用元数据按episode索引定位,减少海量小文件带来的存储与加载负担;它支持多相机、多模态数据和流式读取,无需下载完整数据集即可训练。研究者可在Hugging Face Hub发布和加载兼容数据,并用LeRobot工具完成可视化、统计、格式转换和策略训练,降低跨机器人数据复用的工程成本。

LeRobot Dataset v3支持从分片数据源进行流式读取,无需预先下载完整数据集。来源:Hugging Face LeRobot文档。
相关资源
官方文档:https://huggingface.co/docs/lerobot/lerobot-dataset-v3
社区数据:https://huggingface.co/lerobot
代码仓库:https://github.com/huggingface/lerobot
05. AgiBot World(Colosseo / 2026)·智元机器人
大规模真机操作数据集 · 长程任务与灵巧操作
AgiBot World由智元机器人联合OpenDriveLab等团队于2025年3月发布,Beta版包含超过100万条真实机器人轨迹、累计2,976.4小时,覆盖五类部署场景、217项任务、87种技能和3,000余种物体,采集平台包括双臂移动机器人、6自由度灵巧手与视触觉传感器。在该数据上预训练的策略,在域内与分布外测试中平均较Open X-Embodiment提高30%;配套通用策略GO-1在复杂长程任务上的成功率超过60%,较RDT提高32%。2026年起,项目又以主题形式持续发布强化学习等新数据。

AgiBot World Colosseo的数据规模、人机协同采集、G1本体、GO-1模型与训练基础设施总览。来源:AgiBot World Colosseo论文。
相关资源
项目主页:https://agibot-world.com/
论文地址:https://arxiv.org/abs/2503.06669
数据下载:https://huggingface.co/datasets/agibot-world/AgiBotWorld2026
代码仓库:https://github.com/OpenDriveLab/AgiBot-World
06. RoboMIND(含 2.0)·北京人形机器人创新中心
多本体真机操作数据集 · 多模态与多任务覆盖
RoboMIND由北京人形机器人创新中心联合北京大学、北京智源人工智能研究院于2024年12月发布,并入选RSS 2025。首版在统一采集平台上按标准化流程遥操作采集10.7万条真实示范轨迹,覆盖Franka、UR5e、AgileX双臂和双灵巧手人形机器人4种本体、479项任务与96类物体,另含5,000条标注失败原因的失败示范,并在Isaac Sim中复刻了数字孪生环境。2025年12月发布的RoboMIND 2.0扩展到6种本体、739项任务和超过31万条双臂操作轨迹,新增1.2万条触觉增强数据和2万条移动操作轨迹。

RoboMIND首版的4类机器人本体、采集场景与数据规模总览。来源:RoboMIND项目页。
相关资源
项目主页:https://x-humanoid-robomind.github.io/
论文地址:https://arxiv.org/abs/2412.13877
数据下载:https://huggingface.co/datasets/x-humanoid-robomind/RoboMIND
代码仓库:https://github.com/x-humanoid-robomind/x-humanoid-robomind.github.io


来源 数据要素社整理自AI工业,转载请注明来源
