首页站长资讯去除对齐和偏见,多功能文本生成模型Dolphin Mixtral 1x22b
22796

去除对齐和偏见,多功能文本生成模型Dolphin Mixtral 1x22b

站长网2024-05-24 10:20:561

Dolphin2.9.1Mixtral1x22b是由Cognitive Computations团队创建的一个多功能文本生成模型。

这个模型具备以下特点:

多功能文本生成:它能够处理指令、对话和编码任务,具有广泛的应用能力。

高性能:模型基于Dolphin-2.9-Mixtral-8x22b,拥有64k上下文的基础模型,经过全权重微调,使用16k序列长度,在8xH100GPU上耗时27小时完成。

SLERP提取技术:通过SLERP提取方法组合所有8个专家,而不完全转换为密集模型,保持原始模型的性能。

初步代理能力:模型支持函数调用,具备初步的代理能力,能够处理更复杂的任务。

不受限制的模型:数据集经过过滤以去除对齐和偏见,模型设计为不受限制,具有高度符合性。这意味着在生成文本时,没有严格的限制或过滤机制,模型可能会遵循不道德的请求并生成相应的内容。

模型的设计理念是提供一个没有审查和道德限制的文本生成工具,但这种开放性也带来了一定的风险,特别是当用户提出不道德的请求时,模型可能会遵循这些请求。

模型地址:https://huggingface.co/cognitivecomputations/dolphin-2.9.1-mixtral-1x22b

0001
评论列表
共(0)条