去除对齐和偏见,多功能文本生成模型Dolphin Mixtral 1x22b
站长网2024-05-24 10:20:561阅
Dolphin2.9.1Mixtral1x22b是由Cognitive Computations团队创建的一个多功能文本生成模型。
这个模型具备以下特点:
多功能文本生成:它能够处理指令、对话和编码任务,具有广泛的应用能力。
高性能:模型基于Dolphin-2.9-Mixtral-8x22b,拥有64k上下文的基础模型,经过全权重微调,使用16k序列长度,在8xH100GPU上耗时27小时完成。
SLERP提取技术:通过SLERP提取方法组合所有8个专家,而不完全转换为密集模型,保持原始模型的性能。
初步代理能力:模型支持函数调用,具备初步的代理能力,能够处理更复杂的任务。
不受限制的模型:数据集经过过滤以去除对齐和偏见,模型设计为不受限制,具有高度符合性。这意味着在生成文本时,没有严格的限制或过滤机制,模型可能会遵循不道德的请求并生成相应的内容。
模型的设计理念是提供一个没有审查和道德限制的文本生成工具,但这种开放性也带来了一定的风险,特别是当用户提出不道德的请求时,模型可能会遵循这些请求。
模型地址:https://huggingface.co/cognitivecomputations/dolphin-2.9.1-mixtral-1x22b
0001
评论列表
共(0)条相关推荐
- 0000
- 0000
- 0000
- 0000
- 0001