英伟达推出 NeMo Guardrails 帮助企业指导和控制 AI 回应

生成式人工智能和大型语言模型（LLMs）的一个主要挑战是用户可能得到不适当或不准确的回应的风险。

英伟达非常了解保护组织及其用户的需要，日前它发布了新的 NeMo Guardrails 开源框架以帮助解决这一挑战。NeMo Guardrails 项目提供了一种方法，使为不同用例（包括聊天机器人）构建和部署 LLM 的组织能够确保响应保持在正轨上。

Guardrails 提供了一套用新的政策语言定义的控制措施，以帮助定义和执行限制，确保人工智能的回应是有主题的、安全的，不会引入任何安全风险。

「我们认为，每个企业都将能够利用生成式人工智能来支持他们的业务，」英伟达应用研究副总裁 Jonathan Cohen 在一次新闻和分析师简报会上说。「但为了在生产中使用这些模型，以安全可靠的方式部署它们非常重要。」

Cohen 解释说， Guardrails （护栏）是一个指南，帮助人类和人工智能之间的对话保持在正轨上。

英伟达对人工智能护栏的思考方式，有三个主要类别，其中有特定的需求。第一类是主题护栏，这都是为了确保人工智能的回应真正保持在主题上。主题护栏也是为了确保回应保持正确的语气。

安全护栏是第二个主要类别，旨在确保回应是准确的，并经过事实检验。还需要对回应进行检查，以确保它们是符合道德的，不包括任何形式的有害内容或错误信息。Cohen 承认人工智能「幻觉」的一般概念，即为什么需要安全护栏。对于人工智能的幻觉，如果 LLM 在其知识库中没有正确的信息，就会产生错误的反应。

英伟达认为需要的第三类护栏是安全。Cohen 表示，随着 LLM 被允许连接到第三方 API 和应用程序，它们可能成为网络安全威胁的一个有吸引力的攻击面。

Cohen 说：「每当你允许一个语言模型在世界范围内实际执行一些行动时，你要监控哪些请求被发送到该语言模型」。

通过 NeMo Guardrails，英伟达正在做的是为组织在部署人工智能驱动的应用程序时考虑的工具和模型的堆栈添加另一层。

Guardrails 框架是部署在用户和支持 LLM 的应用程序之间的代码。NeMo Guardrails 可以直接与 LLM 或 LangChain 一起工作。Cohen 指出，许多现代人工智能应用都使用开源的 LangChain 框架，以帮助建立将来自 LLM 的不同组件连锁起来的应用。

Cohen 解释说，NeMo Guardrails 通过一个复杂的上下文对话引擎，监控与 LLM 驱动的应用程序之间的对话。该引擎跟踪对话的状态，并为开发者提供一种可编程的方式来实现护栏。

NeMo Guardrails 的可编程性是通过英伟达创建的新 Colang 策略语言实现的。Cohen 说，Colang 是一种特定领域的语言，用于描述对话流。

Cohen 称：「Colang 源代码读起来非常像自然语言。这是一个非常容易使用的工具，它非常强大，它让你在本质上用看起来几乎像英语的东西来编写语言模型。」

在推出时，英伟达正在为预建的通用政策提供一套模板，以实现专题、安全和安保护栏。该技术以开源的形式免费提供，英伟达还将为企业提供商业支持，作为 Nvidia AI 企业套装软件工具的一部分。

「我们的目标实际上是使大型语言模型的生态系统能够以安全、有效和有用的方式发展，」Cohen 说。「如果你害怕他们可能说什么，就很难使用语言模型，因此我认为护栏解决了一个重要的问题。」