在AI代理能够自主运作的时代，最大的担忧之一便是“失控”。偏离话题、输出不当内容、产生“幻觉”（看似合理但实为错误的信息）——如何防范这些风险？NVIDIA针对这一课题的解答，正是本文将深入探讨的专利申请 US 2024/0354319 A1《对话式AI系统中语言模型的运行时对齐（Runtime alignment of language models in conversational AI systems）》。
在本系列文章中，我们此前探讨了保护智能体“运行基础”、“本体”、“学习”、“协作”和“构建”的专利。本文将探讨与上述内容不同的“安全护栏（Guardrails）”这一新层级。此外，该专利与NVIDIA以开源形式发布的“NeMo Guardrails”相对应，这一点也使其成为一个引人入胜的案例。精通AI知识产权的专利代理人将结合具体的权利要求进行解读。
💡 要点：本文是AI智能体专利系列文章之一。各公司的比较分析，请参阅《Anthropic战略篇》及《日美欧案例篇》。
目录
| 项目 | 内容 |
|---|---|
| 公开号 | US 2024/0354319 A1 |
| 发明名称 | 对话式人工智能系统及应用中语言模型的运行时对齐 |
| 公开日 | 2024年10月24日 |
| 申请日／优先权日 | 2023年4月20日 |
| 申请人 | NVIDIA Corporation |
| 发明人 | Razvan Dinu、Jonathan M. Cohen、Christopher M. Parisien、Traian-Eugen Rebedea |
| 权利要求数 | 20（独立权利要求3项：权利要求1、11、19） |
| 状态 | 公开申请（审查中） |
| 相关技术 | NeMo Guardrails／Colang |
尽管大型语言模型（LLM）功能强大，但其输出结果无法完全控制。偏离话题、发表不当言论、断言不实内容（幻觉）——这些风险是将AI融入实际服务和业务时面临的重大障碍。
特别是对于自主行动的AI代理而言，失控的影响更为严重。“如何让AI更聪明”与“如何将AI控制在安全范围内”同样重要。本专利正是解决后者的技术。
传统上，为了使AI的行为更符合预期，通常采用微调（Fine-tuning）或RLHF等“对模型本身进行再学习”的方法。然而，这些方法成本高、耗时长，不适合频繁调整。
本专利的方法截然不同。说明书中明确指出：“无需训练或重新训练语言模型，即可在运行时控制输出。”保持模型原样，在其“周围”设置控制层（防护栏）——这一思路正是核心所在。
💡 要点：“不改变模型，而是在其外部进行控制”的设计，具有仅通过更改设置即可快速、灵活地提升AI安全性的优势。无需进行重新学习这一繁重的处理——这一技术效果，正是支撑其进步性主张的关键所在。
那么，如何在执行时进行控制呢？权利要求1所示的处理包括以下3个步骤。
关键在于首先将输入转换为“规范形式”这种标准化的语义表达。通过这种方式，可以将“告诉我天气”和“今天的天气怎么样？”等多样化的输入归纳为统一的形式，并与预先定义的对话流程（即允许的行为脚本）进行比对。
说明书中指出，为了定义对话流程和规范形式，将使用“形式化（会话或自然语言）建模语言”。这对应于NVIDIA的“Colang”。
Colang是一种能够描述“当用户这样说时，AI将这样行为”的规则、允许的对话流程（流程或子流程）以及结构化编程语法的语言。其特点在于能够像编写代码一样，明确地写出AI的“行为规范”。
根据说明书，防护栏在入口（ingress）和出口（egress）两端均发挥作用。
| 阶段 | 作用 |
|---|---|
| 入口（ingress） | 控制用户输入。在入口处拦截不恰当或危险的输入 |
| 出口（egress） | 验证模型输出。在出口处拦截不良输出 |
通过在“输入端”和“输出端”两端设置防护措施，实现多层次的安全保障。该框架能够同时处理针对提示注入等攻击性输入的防御（输入端）以及对有害或错误输出的遏制（输出端）。
US 2024/0354319 A1｜权利要求1（原文／英语）
一种方法，包括：至少基于用户输入，生成一种规范形式，该规范形式包含对用户输入的受限语义表示；至少基于该规范形式，确定一种控制语言模型输出的对话流程；以及执行一项或多项操作以执行该对话流程，从而生成输出。
专利代理人参考译文（日语）
与本系列中探讨过的其他专利相比，该权利要求1的特点是相当简洁且范围广泛。其内容浓缩为“生成规范形式→确定对话流程→执行”这三个步骤。
💡 要点：范围宽泛的权利要求一旦获准注册，效力便十分强大，但相应地也面临因现有技术而被驳回的风险。本案目前处于审查中（A1），这一简洁的权利要求1最终将以何种范围获准注册，取决于今后的审查结果。在实务中，通常的做法是同时设置范围较广的独立权利要求（1、11、19）以及添加具体限定的从属权利要求，从而在风险与保护范围之间取得平衡。
除独立权利要求1（方法）外，权利要求11和19也被作为独立权利要求提出。
若将本系列中探讨过的专利作为“AI代理人的构成要素”进行梳理，本案的定位便会变得清晰。
| 层级 | 代表性专利（本系列） | 保护对象 |
|---|---|---|
| 学习 | OpenAI VPT（US 11,887,367） | 操作的学习方法 |
| 本体·执行 | Anthropic（US 12,430,150 等） | 运行时·智能体 |
| 协作 | OpenAI／Salesforce | 多智能体 |
| 构建 | OpenAI／Anthropic | 智能体创建 |
| 安全（本文） | NVIDIA（美国 2024/0354319） | 安全防护措施·输出控制 |
💡 要点：不仅“智能”，“安全性与控制”也是独立的专利保护对象。随着AI治理作为社会需求日益凸显，安全层的专利预计今后将变得愈发重要。如果企业拥有独特的控制与安全技术，那么考虑申请专利具有很高的价值。
值得注意的是，NVIDIA已将与本专利对应的技术“NeMo Guardrails”作为开源项目发布。您可能会疑惑：“既然是开源，为何还要申请专利？”，但这并不矛盾。
由于权利要求1简洁且范围广泛，其是否会被Alice/Mayo测试认定为“抽象概念（信息整理、规则应用）”可能成为争议焦点。关键在于“规范形式”、“对话流程”和“运行时控制”等具体处理方式在技术实现层面能被认可到何种程度，目前该申请正在审查中。
由于记载了将输入转换为规范形式、确定并执行交互流程等具体数据处理内容，该构成为主张软件相关发明的专利适格性提供了有利条件。关于创造性，关键在于“无需重新学习”这一效果以及“防护栏”的具体机制。
该构架易于定位为针对“LLM输出的安全控制”这一技术课题的技术解决方案，即使在COMVIK框架下，也容易作为技术特征获得认可。
① 将“安全与控制”也纳入专利保护范围。不仅AI的智能（模型）本身，对其输出进行控制和安全保障的技术也是重要的专利对象。
② 将“无需重新学习”作为技术效果突出强调。降低成本和节省时间的效果，是证明发明具有显著进步性的有力依据。
③ 具体化独特的描述语言和形式。类似Colang的“行为描述机制”，是摆脱抽象论述的切入点。
④ 开源与专利可以兼顾。应考虑将普及战略（OSS）与防御战略（专利）相结合。
⑤ 同时配置范围广泛的独立权利要求和具体的从属权利要求。由于正在审理中的广泛权利要求也伴随着风险，因此构建多层次的防御体系至关重要。
何不将贵公司的AI、安全性及控制技术一并纳入专利保护范围呢？
精通IT、软件及AI领域的专利代理人将为您提供全方位支持，包括涵盖AI安全与治理技术的权利要求设计、专利可获授权性的免费诊断、与开源战略的兼容性，以及在日本、美国和欧洲的申请策略。
预约首次免费咨询 IT·AI知识产权服务Q. US 2024/0354319 A1是一项什么样的专利？
A. 这是NVIDIA的一项美国专利申请，涉及在“运行时（Runtime）”对大规模语言模型（LLM）的输出进行控制和安全保障的“Guardrails”技术。该技术将用户输入转换为“规范形式（受限的语义表达）”，并据此确定和执行控制输出的“对话流程”。其特点在于无需对LLM进行重新训练即可控制其行为，该专利于2024年10月24日公开，目前正在审查中。该专利对应NVIDIA的开源项目“NeMo Guardrails”。
Q. 什么是“护栏”？
A. 这是为了防止AI输出内容不恰当、有害或偏离主题而进行“约束与引导”的机制。正如道路护栏能防止车辆偏离车道一样，它将LLM的输出控制在期望范围内。本专利并非通过模型再训练，而是通过对话流程在运行时进行控制来实现这一目标。
Q. “无需重新训练即可控制”是什么意思？
A. 改变 AI 行为的传统方法（如微调和 RLHF）需要对模型本身进行重新训练，这会消耗大量成本和时间。本专利的方法则是在不改变模型本身的情况下，在其“周围”设置控制层（护栏），从而在运行时控制输出。其优势在于仅需调整设置，即可快速、灵活地提升安全性。
Q. 什么是“规范形式（canonical form）”？
A. 它是将用户输入转换为标准化的“受限语义表达”（例如：摘要、意图定义）的形式。通过将多种表述方式的输入规范化为统一形式，使其更容易与预先定义的对话流程进行匹配。
Q. AI的安全性与控制技术也能申请专利吗？
A. 可以。如本专利所示，只要将正则形式、对话流程、运行时控制等具体机制明确记载，无论在日本、美国还是欧洲，均可考虑申请专利。AI的安全性与治理是今后将日益重要的领域，也是极具潜力的专利申请领域。
本文注意事项：本文基于已公开的专利申请公报，对技术和制度进行一般性说明。US 2024/0354319 A1是一项正在审查中的公开申请，尚未注册。由于权利要求可能因修正而发生变更，因此最终的权利范围尚未确定。文中引用的权利要求、摘要及说明书内容虽基于公开公报数据（Google Patents／FreePatentsOnline等），但在涉及法律重要用途（FTO、侵权分析、申请等）时，请务必查阅USPTO正本及最新审查进展信息，并咨询专家进行个别评估。日语译文仅供理解参考，正文以英文原文为准。