MedChatZH:一款专为传统中医会诊设计的调校LLM模型

划重点:

⭐️ MedChatZH 是一个专门针对传统中医对话优化的 AI 系统，在中医会诊中表现出色。

⭐️ 通过收集大量中医文献构建了一个预训练语料库，并创建了一个结合一般对话和医学对话的高质量数据集。

⭐️ MedChatZH 在真实世界的中医问答基准数据集上表现优越，超越了其他基线模型。

Generative Large Language Models （LLMs） 在各种自然语言处理任务中取得了显著成功，包括问答和对话系统。然而，大多数模型是在英文数据上训练的，缺乏在提供中文答案方面的强大泛化能力。

为了解决这一问题，研究团队推出MedChatZH，这是一个专为中医问答优化的对话模型，基于 LLaMA 架构的 transformer 解码器。通过在精心筛选的医学指导数据集上进行微调，MedChatZH 在真实世界的医学对话数据集上显著优于几个中文对话基线模型。我们的模型、代码和数据集都在 GitHub 上公开可用，以鼓励进一步在传统中医和 LLMs 领域的研究和发展。

目前，大型语言模型在各种下游自然语言处理任务中表现出色，其中包括机器翻译和实体识别。在2023年，OpenAI 推出了 ChatGPT 系列生成式对话模型，在学术和工业领域引起了重大反响，显著推动了自然语言技术领域的发展。然而，大多数语言模型，包括 ChatGPT，主要是在英文数据集上训练和微调的。当应用于其他语言（如中文）时，由于词汇不匹配、语料上下文和回答习惯的差异，它们往往遇到限制，导致响应质量和泛化能力下降。此外，在通用语言模型中缺乏特定领域理解的问题在专业领域中尤为突出，如传统中医会诊。即使是像 ChatGPT 这样的模型在这一任务中也会遇到困难，原因有:医学领域中严格的道德和审查约束，导致拒绝提供医疗建议;中医训练数据的缺乏，导致对中医相关查询的理解不足。

为了解决 LLMs 在中文应用场景中的领域适应挑战，研究人员提出了一组新的基础模型，包括 Chinese-LLaMA 和 BLOOM，这些模型扩展并在中文词汇上进行训练，以及 GLM 等双语模型。然而，将通用语言模型直接应用于专业领域仍未达到期望的性能水平。与丰富多样的英文语料相比，中文语料往往被隔离在各种商业软件中，不易公开获取，或者在互联网上受到质量不佳和缺乏同行审查的困扰。这导致中文预训练语料和下游任务数据的稀缺，是训练通用中文 LLMs 的主要障碍。将通用语言模型应用于中文特定垂直领域的挑战更为突出，如中医会诊对话。即使是 ChatGPT 等模型在这一任务中也面临困难，原因有:医学领域中严格的道德和审查约束，通常导致拒绝提供医疗建议;中医训练数据的缺乏，导致对中医相关查询的理解不足。

为了解决中医 QA 领域的研究空白，增强对话能力，本文介绍了一个专门为中医患者对话优化的生成式 LLM，MedChatZH。首先在大量的中医文献上进行训练，使其获得了传统中医知识的全面可靠基础。然后在一个高质量的数据集上进行微调，该数据集结合了医学和一般对话，经过启发式和基于模型的过滤等复杂数据处理步骤，以去除不相关或敏感内容，例如个人信息和口语回复。MedChatZH 的表现在真实世界的中医问答基准数据集上得到了测试，评估指标涵盖了传统和基于奖励的模型评分。结果表明，MedChatZH 在中医对话 LLMs（如 BenTsao(原名:HuaTuo）和 HuatuoGPT)上表现优异。

论文的主要贡献如下:

1. 提出了 MedChatZH，一个专门针对传统中医会诊对话设计的生成式 AI 系统，表现良好。

2. 收集和整理了大量中医文献，构建了一个预训练语料库，并构建了一个结合一般对话和医学对话的高质量数据集。通过启发式和奖励评估，过滤掉敏感信息和质量低下的口语回复。

3. 在真实世界的中医问答基准数据集上评估了 MedChatZH 的性能，展示了其在多个评估指标上优于其他基线模型。

MedChatZH 在管理传统中医对话的独特复杂性方面表现出色，这可以归因于它在大量中医文献上的广泛预训练，以及在结合医学和一般对话的数据集上进行微调。MedChatZH 的有效性有望为特定于不同语言和文化背景的 LLMs 开辟新途径。

论文地址:https://www.sciencedirect.com/science/article/abs/pii/S0010482524003743?dgcid=rss_sd_all