斯坦福开发机器人学习框架UMI 可直接复制人类操作给机器人

UMI是斯坦福开发的一个机器人数据收集和策略学习框架，通过手持式夹持器和精心设计的接口进行数据收集。该框架能够将人类在复杂环境下的操作技能直接转移给机器人，无需人类编写详细的编程指令。通过人类亲自操作演示然后收集数据，直接转移到机器人身上，使得机器人能够快速学习新任务。

UMI整合了精心设计的策略接口，包括推理时延匹配和相对轨迹动作表示，使得学习到的策略不受硬件限制，可跨多个机器人平台部署。

项目地址:https://top.aibase.com/tool/universal-manipulation-interface

UMI提供了一个便携、直观、低成本的数据收集和策略学习框架，允许直接将多样化的人类演示转化为有效的视觉运动策略。这一框架特别适用于传统遥操作难以完成的任务，如动态、精确、双手操作和长期视角任务。

UMI的主要特点和功能包括技能转移、数据收集、多平台部署、提高机器人操作能力、快速适应新任务、降低机器人学习成本以及推动机器人技术在各领域的应用。

UMI的关键技术和设计理念包括硬件设计、硬件无关的数据收集、推理时延匹配与相对轨迹动作表示，以及零次射泛化能力。硬件设计采用手持式夹持器和高质量摄像头，配备鱼眼镜头和侧面镜子，以及IMU感知追踪，保证数据收集的准确性和稳定性。

硬件无关的数据收集通过通用的手持式夹持器和视觉系统，实现了数据的灵活性和可用性。UMI在策略接口中实现了推理时延匹配和相对轨迹动作表示，确保动作的准确性和时间对齐。同时，UMI学习到的策略具有零次射泛化能力，能够在新环境和对象下执行任务。

UMI在现实世界的应用验证中展示了其方法的有效性，包括动态投掷、精确放置、双手协作任务等。这些实验不仅证明了UMI策略的泛化能力，也展示了其在真实世界环境中的应用潜力。通过UMI，机器人能够快速学习新任务，提高操作能力，降低学习成本，推动机器人技术在各领域的广泛应用。