首页站长资讯中科院正打造“紫东太初”2.0全模态大模型 实现图像、文本、语音三模态相互生成
1471

中科院正打造“紫东太初”2.0全模态大模型 实现图像、文本、语音三模态相互生成

站长网2023-05-08 15:20:441

在今天的华为昇腾AI开发者峰会上,中国科学院自动化研究所“紫东太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥博士介绍了“紫东太初”2.0全模态大模型。

该模型由自动化所和武汉人工智能研究院联合打造,基于华为全栈国产化软硬件平台昇腾AI和开源AI框架昇思MindSpore。

2021年7月,自动化所发布了全球首个千亿参数多模态大模型“紫东太初”,实现了图像、文本、语音三模态数据间的“统一表示”与“相互生成”。

而新版的“紫东太初”2.0全模态大模型可以实现不同模态的统一表征和学习,包括文本、图片、语音、视频、3D点云和传感信号,同时优化了语音、视频和文本的融合认知以及常识计算等功能,进一步突破了感知、认知和决策的交互屏障。

此外,“紫东太初”大模型还开放了基于昇腾和昇思的3.8B图像-文本-语音多模态模型,并推出了紫东太初大模型服务平台。该模型已在多个行业场景领域显示出落地潜力,包括手语教学、法律咨询、交通出行、广电、医疗机器人和医学影像判读等。

0001
评论列表
共(0)条