日本政府与科技巨头联手投资数亿美元开发日语语言模型

文章概要:

1. 日本政府与NEC、富士通、软银等主要科技公司正在合作投资数亿美元，旨在开发一款文化敏感的日语语言模型，超越现有的ChatGPT等模型，更好地体现日本文化和语言。

2. 这一新模型将在国家超级计算机Fugaku上进行训练，并计划于明年以开源形式发布，具备至少300亿个参数，预计性能明显优于现有模型。

3. 为了评估语言模型对日本文化的敏感度，研究人员开发了Rakuda排名，其中GPT-3.5目前排名第一，表现优异，但日本LLM在该排名中排名第四。

据最新报道，日本政府与NEC、富士通、软银等主要科技公司正共同投资数亿美元，旨在开发一款文化敏感的日语语言模型。这一举措旨在超越现有的ChatGPT等模型，更好地代表日本文化和语言，解决当前模型在日本市场上的一些不足之处。

由东京工业大学、东北大学、富士通和政府资助的 RIKEN 开发的日本 LLM 预计将于明年开源，并将拥有至少300亿个参数。

新的日语语言模型将使用国家超级计算机Fugaku进行训练，这将使其性能远远超越现有的模型。

研究人员指出，现有模型如ChatGPT存在一些问题，例如生成一些罕见的字符和未知单词，以及在文化上适当且礼貌的沟通规范方面存在不足。这些问题可能是由于日语具有多达48个字符的字母系统，以及汉字汉字的使用，每个字符都有不同的发音，以及大约50，000个很少使用的汉字。新模型的开发旨在解决这些问题，提供更准确和文化敏感的日语生成。

为了评估语言模型对日本文化的敏感度，研究人员还开发了Rakuda排名系统。根据排名结果，目前最优秀的开源日本LLM在该排名中排名第四，而GPT-3.5表现卓越，名列榜首。随着新模型的发布，预计其性能将明显超越目前的情况，使其成为更好的文化代表。

日本文部科学省正在建立一个更大的模型。该模型拥有至少1000亿个参数，也将基于日语并针对科学应用进行优化:根据已发表的研究，它将产生新的假设以加速研究。该模型将耗资约2亿美元，预计将于2031年向公众开放。

最近，日本文部科学省还发布了指导方针，允许小学、初中和高中有限地使用ChatGPT等生成式人工智能，以促进教育和研究领域的发展。这一举措显示了日本政府对人工智能领域的积极投资和支持。