中文聊天模型Llama3-8B-Chinese-Chat发布 减少中英混答的问题

Llama3-8B-Chinese-Chat 是一个基于 Meta-Llama-3-8B-Instruct 模型，通过 ORPO（无参照整体优选优化）方法进行微调的中文聊天模型。该模型在处理中文问题时，相较于原始模型，减少了使用英文回答和混合中英文回答的情况，同时减少了表情符号的使用，使得回答更加正式和专业。

ORPO 是一种优化模型偏好和性能的方法，它利用赔率比（Odds Ratio）的概念来调整模型的偏好设置，无需明确正确答案即可优化模型在特定任务中的表现。在 Llama3-8B-Chinese-Chat 模型中，ORPO 被用来优化模型对中文和英文的生成偏好，减少生成英文答案的倾向，以更好地适应中文对话环境。

模型的训练细节包括使用 DPO-En-Zh-20k 英汉数据集，经过3个周期的训练，学习率设置为5e-6，并采用余弦调度器调整。模型的上下文长度限制为8192字符，全局批次大小为64，使用的优化器为 paged_adamw_32bit，ORPO 参数（β）设置为0.05。

在实际应用中，Llama3-8B-Chinese-Chat 模型能够更准确地理解中文问题的意图，并以更恰当的方式响应。例如，它能够避免在回答中文问题时错误地使用英文或不必要的表情符号，提供更正式和专业的回答。

模型还展示了在安全和道德方面的应用，当用户提出不当请求时，模型能够坚持原则，拒绝提供有害或非法的信息，并引导用户参与安全和合法的活动。

此外，Llama3-8B-Chinese-Chat 模型在数学问题解答、写作和编程示例方面也表现出色，能够提供清晰、准确的解答和示例代码。

模型下载地址:https://top.aibase.com/tool/llama3-8b-chinese-chat