Meta联手CMU打造通用机器人智能体——RoboAgent

Meta 和 CMU 联合研究团队耗时两年，成功开发出了一款名为 RoboAgent 的通用机器人智能体。RoboAgent 仅仅通过7500个轨迹的训练就实现了12种不同的复杂技能，包括烘焙、拾取物品、上茶、清洁厨房等任务，并能在100种未知场景中泛化应用。

论文地址:https://robopen.github.io/media/roboagent.pdf

无论遇到多大的干扰，RoboAgent 都能坚持完成任务。该研究的目标是建立一个高效的机器人学习范例，解决数据集和场景多样性的挑战。研究人员提出了多任务动作分块 Transformer（MT-ACT）架构，通过语义增强和高效的策略表示来处理多模态多任务机器人数据集。

研究人员还开发了 RoboSet 数据集，其中包含7500条轨迹，涵盖12种不同的技能和多个任务和场景。通过离线添加不同变化的场景来增加数据集，并使用动作分块 Transformer 模型来处理多任务数据。实验结果显示，MT-ACT 策略在通用性和样本效率上表现出色，优于其他基线模型。这项研究对于推动通用机器人智能体的发展具有重要意义。