百度称文心一言完全自主研发 并解读其背后技术原理

近日，百度CTO王海峰在《中国经济大讲堂》节目上表示，文心一言完全是百度自主研发的大语言模型。百度早在2019年就发布文心大模型ERNIE1.0，经过近4年研发和迭代，文心大模型已经形成了产业级知识增强大模型技术体系，包括自然语言处理、视觉、跨模态、生物计算、行业大模型，以及支撑大模型应用的工具平台，蕴含了大量百度自主创新、并且在大规模产业应用中得到验证的技术。其中有些关键技术已申请专利或者发表论文，还有一些相关技术也已开源开放。

关于 “文心一言”名字由来，王海峰表示，“文”是语言文字，“心”是用心理解，“文心”指致力于理解和运用语言文字的自然语言理解模型，同时也呼应了《文心雕龙》，寓意用雕缕龙纹一样精细的功夫去研究语言文字的内涵和魅力;“一言”既有“一言为定、一言九鼎”的寓意，也有对人机之间“你一言我一语”流畅沟通的殷切期盼。文心“一言”既出，即可“一生二、二生三、三生万言”。

同时，王海峰以老师教学生为例，解读了大语言模型背后的技术原理。预训练大模型像博览群书的学生，记住了很多知识，但需要老师来指导如何运用，而有监督精调就是老师在教学生，将提炼出来的知识要点、典型范例等教给模型，让它知道该如何符合人类规范、习惯和价值观，去执行相应动作，生成相应内容。

文心一言训练了奖励模型，为每次输出的结果打分并给到反馈，进行强化学习，随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强。

此外，文心一言还融合了不同类型数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。

王海峰最后表示，未来，文心一言这类大语言模型会成为一个通用的赋能平台，金融、能源、媒体、政务等各行各业，都可以基于文心一言实现智能化变革，提高效率，创造巨大的商业价值。