Nvidia发布开源工具包NeMo Guardrails，使文本生成式AI“更安全”

为了追求“更安全”的文本生成模型，Nvidia 日前发布了开源工具包NeMo Guardrails，旨在使基于 AI 应用程序更加“准确、合理、切合主题和安全”。

Nvidia 应用研究副总裁 Jonathan Cohen 表示，该公司“多年来”一直致力于 Guardrails 的底层系统，但大约一年前才意识到它非常适用于 GPT-4和ChatGPT等模型。

Guardrails 包括代码、示例和文档，可为生成文本和语音的 AI 应用程序“增加安全性”。Nvidia 声称该工具包旨在与大多数生成语言模型一起使用，允许开发人员使用几行代码创建规则。

具体来说，Guardrails 可用于防止——或至少试图防止——模型偏离主题、以不准确的信息或极为负面的语言做出响应，以及与“不安全”的外部来源建立联系。例如，阻止搜索引擎聊天机器人链接到声名狼藉的学术期刊等等。

Cohen 还指出，Guardrails 最适用于“很擅长执行指令”的模型，例如 ChatGPT，并且使用流行的LangChain框架来构建 AI 驱动的应用程序。然而，Nvidia 承认该工具包并不完美，也无法涵盖所有问题。

虽然 Guardrails 是一个开源版本，但 Nvidia 更希望其它公司为其托管版本付费。