印度首家IT公司推出“印度版ChatGPT” 支持40种印度方言

文章概要:

1. Tech Mahindra推出面向印度语言的开源语言模型Project Indus，这可能是该公司迄今最重要的项目。

2. 该模型最初将支持40种印地语言方言，参数规模预计达到70亿。模型有望为印度25%的人口提供服务。

3. 为不同语言和方言收集数据仍然是最大的挑战。Tech Mahindra正在通过语言捐献渠道收集数据集，并与各利益相关方合作。

最近，印度IT公司Tech Mahindra宣布推出了一个面向印度语言的开源基础语言模型“Project Indus”。该项目可能会成为该公司迄今为止最重要的项目。目前，像OpenAI的GPT模型这样的大型语言模型，尽管具有多语言能力，但在理解和生成印度语言内容方面受到英语数据集的限制。

图源备注：图片由AI生成，图片授权服务商Midjourney

Tech Mahindra首席执行官古尔纳尼表示，该模型将是最大的印度语言模型，可能为全球25%的人口提供服务。 Tech Mahindra尚未透露项目成本或预计发布时间，但目标是首先构建一个70亿参数的语言模型。

该模型最初将支持40种不同的印地语言方言，后续将逐步添加更多语言和方言。他们表示，尽管目前一些印度语言模型Bhashini和AI4Bharat等已经存在，但仍需开发一个基础模型。他们的接口可能具有语音和文本信息，但尚未考虑加入类似ChatGPT的聊天界面。

Tech Mahindra的首要目标是首先创建一个用于文本继续的语言模型，然后提供对话功能。一旦模型的性能和方言生成效果明确，他们将在开源中发布。

印地语言模型可以优先考虑文化敏感性，确保生成内容尊重当地习俗和规范。它还可以使AI普及，为该国更广泛的非英语使用者提供服务。

然而，采集不同语言和方言的数据仍然是Tech Mahindra面临的最大挑战。为此，该公司正在寻求不同方言使用者的贡献，以帮助构建数据集。他们已开设了一个门户网站，以获取印度人的语言捐献。