智源研究院开源18种语言文图生成模型 利好中文用户

智源研究院发布了新款模型AltDiffusion-m18，该模型支持18种语言的文图生成，包括中文、英文、日语、泰语、韩语、印地语、乌克兰语、阿拉伯语、土耳其语、越南语、波兰语、荷兰语、葡萄牙语、意大利语、西班牙语、德语、法语、俄语。

这是非常好的消息，因为现有的非英文模型选择非常有限，用户需要将prompt翻译成英语再输入模型，这使得整个过程非常复杂，同时也会影响生成图片的准确性。

智源研究院FlagAI团队采用高效的训练方式，使用多语言预训练模型和Stable Diffusion结合，成功训练出了这一多语言文图生成模型。

在客观评测中，AltDiffusion-m18模型在英语FID、IS、CLIP score方面达到了Stable Diffusion95~99% 效果，在中文、日文等方面也取得了最优水平，填补了其他15种语言的文图生成模型的空白，极大地满足了产业界对于多语言文图生成的强烈需求。

此外，相关的技术报告《AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities》已被Findings of ACL2023接收。