首页站长资讯Meta AI实验室推三项新AI项目庆祝成立十周年：Ego-Exo4D、Audiobox等

Meta AI实验室推三项新AI项目庆祝成立十周年：Ego-Exo4D、Audiobox等

站长网2023-12-01 10:04:110阅

**划重点:**

1. 🌐 **Ego-Exo4D:** Meta发布支持视频学习和多模态感知的数据集，涵盖运动、音乐、烹饪等复杂人类活动，可用于增强现实、机器学习和社交网络。

2. 💬 **Seamless Communication:** 推出四个AI研究模型，旨在跨越语言界限实现更自然、真实的表达和快速翻译，包括保留语音表达和语境的SeamlessExpressive等功能。

3. 🎶 **Audiobox:** Meta的新音频生成模型，通过语音输入和自然语言文本提示生成声音和音效，以创造定制的音频文件，为研究人员和学术机构提供先进的音频生成研究支持。

为庆祝Meta基础人工智能研究（FAIR）团队成立十周年，公司隆重推出三个创新的人工智能项目，展示了引人注目的演示。

Ego-Exo4D:

官方项目介绍网址:https://ai.meta.com/blog/ego-exo4d-video-learning-perception/

该项目以数据集及基准测试的形式呈现，旨在支持视频学习和多模态感知的人工智能研究。由Meta的FAIR、Project Aria，以及来自全球15所大学的合作伙伴在两年内共同收集，Ego-Exo4D捕捉了佩戴Project Aria头戴设备的参与者的“自我中心”视角和周围摄像机的“外部中心”视角。

这一数据集聚焦于复杂的人类活动，如运动、音乐、烹饪、舞蹈和自行车维修。Meta认为，该数据集在增强现实系统、机器人学习以及社交网络等领域具有广泛应用前景。1，400多小时的视频数据将于12月以开源形式发布，并计划于明年进行Ego-Exo4D公开基准竞赛。

Seamless Communication:

官方项目介绍网址:https://ai.meta.com/blog/seamless-communication/

该项目旨在通过四个AI研究模型实现更自然、真实的跨语言交流。包括保留语音表达和语境的SeamlessExpressive，以及提供约两秒延迟的语音和文本翻译的SeamlessStreaming。此外，SeamlessM4T v2是一个多语言、多任务的模型，用于轻松实现语音和文本之间的交流。最终，Seamless将集成SeamlessExpressive、SeamlessStreaming和SeamlessM4T v2的功能于一个模型中。