中科院正打造“紫东太初”2.0全模态大模型 实现图像、文本、语音三模态相互生成

在今天的华为昇腾AI开发者峰会上，中国科学院自动化研究所“紫东太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥博士介绍了“紫东太初”2.0全模态大模型。

该模型由自动化所和武汉人工智能研究院联合打造，基于华为全栈国产化软硬件平台昇腾AI和开源AI框架昇思MindSpore。

2021年7月，自动化所发布了全球首个千亿参数多模态大模型“紫东太初”，实现了图像、文本、语音三模态数据间的“统一表示”与“相互生成”。

而新版的“紫东太初”2.0全模态大模型可以实现不同模态的统一表征和学习，包括文本、图片、语音、视频、3D点云和传感信号，同时优化了语音、视频和文本的融合认知以及常识计算等功能，进一步突破了感知、认知和决策的交互屏障。

此外，“紫东太初”大模型还开放了基于昇腾和昇思的3.8B图像-文本-语音多模态模型，并推出了紫东太初大模型服务平台。该模型已在多个行业场景领域显示出落地潜力，包括手语教学、法律咨询、交通出行、广电、医疗机器人和医学影像判读等。