In einer Zeit, in der KI-Agenten autonom agieren, ist eines der größten Bedenken das „Aus-der-Kontrolle-Geraten“. Vom Thema abweichen, unangemessene Inhalte ausgeben, Halluzinationen (plausibel erscheinende Fehler) erzeugen – wie lassen sich solche Risiken verhindern?NVIDIAs Antwort auf diese Herausforderung ist die Patentanmeldung US 2024/0354319 A1 mit dem Titel „Runtime alignment of language models in conversational AI systems“ (Laufzeitausrichtung von Sprachmodellen in dialogorientierten KI-Systemen), auf die wir in diesem Artikel näher eingehen werden.
In dieser Serie haben wir uns bisher mit Patenten befasst, die die „Ausführungsplattform“, den „Kern“, das „Lernen“, die „Kooperation“ und den „Aufbau“ von Agenten schützen.Dieser Artikel befasst sich mit einer neuen Ebene, die sich von den bisherigen unterscheidet: den „Sicherheitsgeländern“ (Guardrails). Zudem ist dies ein interessantes Beispiel, da es sich um ein Patent handelt, das mit „NeMo Guardrails“ korrespondiert, einer von NVIDIA als Open Source veröffentlichten Technologie. Ein auf KI-geistiges Eigentum spezialisierter Patentanwalt erläutert dies unter Bezugnahme auf die konkreten Patentansprüche.
💡 Wichtig: Dieser Artikel ist Teil einer Reihe über KI-Agenten-Patente. Einen Vergleich verschiedener Unternehmen finden Sie in den Artikeln zur Anthropic-Strategie sowie zu Fallbeispielen aus Japan, den USA und Europa.
Inhaltsverzeichnis
| Punkt | Inhalt |
|---|---|
| Veröffentlichungsnummer | US 2024/0354319 A1 |
| Bezeichnung der Erfindung | Laufzeitausrichtung von Sprachmodellen in dialogorientierten KI-Systemen und -Anwendungen |
| Veröffentlichungsdatum | 24. Oktober 2024 |
| Anmeldetag/Prioritätstag | 20. April 2023 |
| Anmelder | NVIDIA Corporation |
| Erfinder | Razvan Dinu, Jonathan M. Cohen, Christopher M. Parisien, Traian-Eugen Rebedea |
| Anzahl der Ansprüche | 20 (3 unabhängige: Ansprüche 1, 11 und 19) |
| Status | Veröffentlichte Anmeldung (Prüfung läuft) |
| Bezugnehmende Technik | NeMo Guardrails／Colang |
LLMs sind zwar leistungsstark, ihre Ausgaben lassen sich jedoch nicht vollständig kontrollieren. Abweichen vom Thema, unangemessene Äußerungen, die Behauptung von Unwahrheiten (Halluzinationen) – solche Risiken stellen große Hindernisse bei der Integration von KI in reale Dienste und Arbeitsabläufe dar.
Insbesondere bei autonom handelnden KI-Agenten sind die Auswirkungen eines „Aus-der-Kontrolle-Gerätens“ erheblich. Genauso wichtig wie die Frage „Wie macht man KI intelligenter?“ ist die Frage „Wie hält man KI in einem sicheren Rahmen?“. Dieses Patent beschreibt eine Technologie, die genau diese zweite Herausforderung löst.
Bisherige Methoden zur Optimierung des KI-Verhaltens basierten auf dem „Neutraining des Modells selbst“, wie beispielsweise durch Feinabstimmung oder RLHF. Dies ist jedoch kostspielig und zeitaufwendig und eignet sich nicht für häufige Anpassungen.
Der Ansatz dieses Patents unterscheidet sich grundlegend davon. In der Beschreibung heißt es ausdrücklich: „Die Ausgabe kann zur Laufzeit gesteuert werden, ohne das Sprachmodell zu trainieren oder neu zu trainieren.“ Das Modell bleibt unverändert, während um es herum eine Kontrollschicht (eine Art Leitplanke) platziert wird – das ist der Kern dieses Ansatzes.
💡 Kernpunkt: Das Design, bei dem „das Modell unverändert bleibt und stattdessen von außen gesteuert wird“, bietet den Vorteil, dass die KI schnell und flexibel allein durch Konfigurationsänderungen sicherer gemacht werden kann. Der Verzicht auf den aufwendigen Prozess des Neu-Trainings – dieser technische Effekt ist ein wichtiger Punkt, der die Behauptung der Neuheit stützt.
Wie erfolgt nun die Steuerung während der Ausführung? Der in Anspruch 1 beschriebene Prozess umfasst die folgenden drei Schritte.
Der entscheidende Punkt besteht darin, die Eingabe zunächst in eine standardisierte semantische Darstellung, die sogenannte „kanonische Form“, umzuwandeln. Dadurch lassen sich vielfältige Eingaben wie „Wie ist das Wetter?“ oder „Wie ist das Wetter heute?“ in eine einheitliche Form zusammenfassen und mit einem vordefinierten Dialogablauf (d. h. einem Skript für zulässiges Verhalten) abgleichen.
In der Beschreibung wird erläutert, dass zur Definition von Dialogabläufen und der kanonischen Form eine „formale (konversationelle oder natursprachliche) Modellierungssprache“ verwendet wird. Dies entspricht „Colang“ von NVIDIA.
Colang ist eine Sprache, mit der Regeln wie „Wenn der Nutzer dies sagt, verhält sich die KI so“ sowie zulässige Dialogabläufe (Flows und Subflows) und strukturierte Programmiersyntax beschrieben werden können. Ihr charakteristisches Merkmal ist, dass sich der „Verhaltenskodex“ der KI explizit wie Code schreiben lässt.
Laut der Beschreibung funktioniert die Schutzvorrichtung sowohl am Eingang (Ingress) als auch am Ausgang (Egress).
| Stufen | Rolle |
|---|---|
| Eingabe (Ingress) | Kontrolle der Benutzereingaben. Unangemessene oder gefährliche Eingaben werden am Eingang abgewehrt |
| Ausgang (egress) | Überprüfung der Modellausgabe. Unerwünschte Ausgaben werden am Ausgang blockiert |
Durch die Einrichtung von Schutzmaßnahmen sowohl auf der „Eingangsseite“ als auch auf der „Ausgangsseite“ wird die Sicherheit auf mehreren Ebenen gewährleistet. Der Schutz vor Angriffen durch böswillige Eingaben wie Prompt-Injection (Eingangsseite) und die Unterbindung schädlicher oder fehlerhafter Ausgaben (Ausgangsseite) können in einem einzigen Rahmen behandelt werden.
US 2024/0354319 A1 | Anspruch 1 (Originaltext/Englisch)
Ein Verfahren, das Folgendes umfasst: Erzeugen, zumindest auf der Grundlage einer Benutzereingabe, einer kanonischen Form, die eine eingeschränkte semantische Darstellung der Benutzereingabe umfasst; Bestimmen, zumindest auf der Grundlage der kanonischen Form, eines Dialogablaufs, der die Ausgabe eines Sprachmodells steuert; und Ausführen einer oder mehrerer Operationen zur Durchführung des Dialogablaufs, um eine Ausgabe zu erzeugen.
Referenzübersetzung durch einen Patentanwalt (Japanisch)
Dieser Anspruch 1 zeichnet sich dadurch aus, dass er im Vergleich zu den anderen Patenten, die wir in dieser Serie betrachtet haben, recht prägnant und weit gefasst ist. Er lässt sich auf drei Schritte verdichten: „Erzeugung einer kanonischen Form → Festlegung des Dialogablaufs → Ausführung“.
💡 Kernpunkt: Breit gefasste Ansprüche sind zwar nach ihrer Eintragung sehr wirkungsvoll, bergen aber entsprechend auch ein höheres Risiko einer Zurückweisung aufgrund des Standes der Technik. Da das Verfahren noch anhängig ist (A1), hängt es von der weiteren Prüfung ab, in welchem Umfang dieser prägnante Anspruch 1 letztendlich eingetragen wird.In der Praxis ist es üblich, weit gefasste unabhängige Ansprüche (1, 11, 19) mit abhängigen Ansprüchen zu kombinieren, die konkrete Einschränkungen enthalten, um ein Gleichgewicht zwischen Risiko und Schutzumfang herzustellen.
Neben Anspruch 1 (Verfahren) wurden auch die Ansprüche 11 und 19 als unabhängige Ansprüche formuliert.
Wenn man die in dieser Serie behandelten Patente als „Bestandteile eines KI-Agenten“ anordnet, wird die Positionierung dieses Falls deutlich.
| Schicht | Repräsentatives Patent (diese Serie) | Schutzgegenstand |
|---|---|---|
| Lernen | OpenAI VPT (US 11.887.367) | Verfahren zum Erlernen von Operationen |
| Hauptteil und Ausführung | Anthropic (US 12.430.150 usw.) | Laufzeitumgebung und Agenten |
| Kooperation | OpenAI/Salesforce | Multi-Agent |
| Entwicklung | OpenAI/Anthropic | Agentenerstellung |
| Sicherheit (dieser Artikel) | NVIDIA (US 2024/0354319) | Sicherheitsmaßnahmen und Ausgabekontrolle |
💡 Kernpunkt: Nicht nur „Intelligenz“, sondern auch „Sicherheit und Kontrolle“ sind eigenständige Schutzgegenstände. Angesichts der zunehmenden gesellschaftlichen Forderung nach einer Regulierung der KI werden Patente im Bereich der Sicherheitsschichten künftig voraussichtlich weiter an Bedeutung gewinnen. Verfügt Ihr Unternehmen über eigene Kontroll- und Sicherheitstechnologien, lohnt es sich auf jeden Fall, eine Patentierung in Betracht zu ziehen.
Interessant ist, dass NVIDIA die diesem Patent zugrunde liegende Technologie „NeMo Guardrails“ als Open Source veröffentlicht hat. Man könnte sich fragen: „Warum wird ein Patent angemeldet, obwohl es sich um Open Source handelt?“, doch dies stellt keinen Widerspruch dar.
Da Anspruch 1 prägnant und weit gefasst ist, könnte es zum Streitpunkt werden, ob er im Rahmen des Alice-/Mayo-Tests als „abstrakte Idee“ (Organisation von Informationen, Anwendung von Regeln) eingestuft wird. Entscheidend ist, inwieweit konkrete Verarbeitungsschritte wie die kanonische Form, der Dialogablauf und die Laufzeitsteuerung als technische Umsetzung anerkannt werden; das Verfahren befindet sich derzeit in der Prüfung.
Da konkrete Datenverarbeitungsschritte wie die Umwandlung der Eingaben in die kanonische Form sowie die Festlegung und Ausführung des Dialogablaufs beschrieben sind, lässt sich die Patentierbarkeit als softwarebezogene Erfindung leicht geltend machen. Für die Erfindungshöhe sind der Effekt, dass „ein erneutes Lernen überflüssig wird“, sowie der konkrete Mechanismus der „Guardrails“ entscheidend.
Die Konstruktion lässt sich leicht als technische Lösung für die technische Aufgabe der „sicheren Steuerung von LLM-Ausgaben“ positionieren und wird auch im Rahmen des COMVIK-Ansatzes leicht als technisches Merkmal bewertet.
① „Sicherheit und Steuerung“ ebenfalls als Schutzgegenstand geltend machen. Nicht nur die Intelligenz der KI (das Modell), sondern auch die Technologien zur Steuerung und Sicherung ihrer Ausgaben sind wichtige Patentgegenstände.
② „Keine erneute Einlernung erforderlich“ als technischen Vorteil hervorheben. Der Vorteil der Kosten- und Zeitersparnis ist ein starkes Argument für die Erfindungshöhe.
③ Konkretisieren Sie eigene Beschreibungssprachen und -formate. „Mechanismen zur Beschreibung von Verhaltensweisen“ wie Colang bieten einen Ansatz, um sich von der Abstraktion zu lösen.
④ Open Source und Patente lassen sich miteinander vereinbaren. Man sollte die Option prüfen, eine Verbreitungsstrategie (OSS) mit einer Verteidigungsstrategie (Patente) zu kombinieren.
⑤ Kombinieren Sie weit gefasste Hauptansprüche mit konkreten Unteransprüchen. Da weit gefasste, anhängige Ansprüche auch Risiken bergen, ist eine mehrschichtige Verteidigungsstrategie wichtig.
Möchten Sie Ihre eigenen KI-, Sicherheits- und Steuerungstechnologien rechtlich absichern?
Patentanwälte mit fundierten Kenntnissen in den Bereichen IT, Software und KI unterstützen Sie umfassend – von der Ausgestaltung von Ansprüchen, die auch Sicherheits- und Governance-Technologien für KI umfassen, über eine kostenlose Einschätzung der Schutzfähigkeit bis hin zur Vereinbarkeit mit Open-Source-Strategien und Anmeldestrategien in Japan, den USA und Europa.
Kostenlose Erstberatung vereinbaren – Dienstleistungen im Bereich IT- und KI-geistiges EigentumF. Um was für ein Patent handelt es sich bei US 2024/0354319 A1?
A. Es handelt sich um eine US-Patentanmeldung von NVIDIA, die sich auf die „Guardrails“-Technologie bezieht, mit der die Ausgabe von Large Language Models (LLM) zur „Laufzeit“ gesteuert und sicherer gemacht wird. Dabei werden Benutzereingaben in eine „kanonische Form“ (eine eingeschränkte semantische Darstellung) umgewandelt, und auf dieser Grundlage wird ein „Dialogablauf“ festgelegt und ausgeführt, der die Ausgabe steuert.Das Besondere daran ist, dass das Verhalten des LLM gesteuert werden kann, ohne dass das Modell neu trainiert werden muss. Die Anmeldung wurde am 24. Oktober 2024 veröffentlicht und befindet sich derzeit in der Prüfung. Sie ist kompatibel mit NVIDIAs Open-Source-Projekt „NeMo Guardrails“.
Frage: Was sind „Guardrails“?
A. Es handelt sich um einen Mechanismus, der die Ausgabe der KI „einschränkt und lenkt“, um zu verhindern, dass diese unangemessen, schädlich oder themenfremd wird. So wie Leitplanken auf Straßen das Abkommen von Fahrzeugen verhindern, hält dieser Mechanismus die Ausgabe des LLM innerhalb eines wünschenswerten Rahmens. Das vorliegende Patent realisiert dies nicht durch ein erneutes Training des Modells, sondern durch eine Laufzeitsteuerung mittels eines Dialogablaufs.
F. Was bedeutet „Steuerung ohne erneutes Training“?
A. Herkömmliche Methoden zur Änderung des KI-Verhaltens (wie Feinabstimmung oder RLHF) erfordern ein erneutes Training des Modells selbst, was kostspielig und zeitaufwendig ist. Der Ansatz dieses Patents besteht darin, das Modell unverändert zu lassen und stattdessen eine Kontrollschicht (Leitplanke) um das Modell herum zu platzieren, um die Ausgabe zur Laufzeit zu steuern. Der Vorteil besteht darin, dass die Sicherheit schnell und flexibel allein durch eine Änderung der Einstellungen erhöht werden kann.
F. Was ist eine „kanonische Form“ (canonical form)?
A. Dabei handelt es sich um die Umwandlung von Benutzereingaben in eine standardisierte „eingeschränkte semantische Darstellung“ (z. B. Zusammenfassung, Definition der Absicht). Durch die Normalisierung unterschiedlich formulierter Eingaben in eine einheitliche Form lassen sich diese leichter mit vordefinierten Dialogabläufen abgleichen.
F. Können Technologien zur Sicherheit und Steuerung von KI ebenfalls patentiert werden?
A. Ja. Wenn sie wie in diesem Patent als konkrete Mechanismen wie kanonische Form, Dialogablauf und Laufzeitsteuerung beschrieben werden, kann eine Patentierung sowohl in Japan als auch in den USA und Europa in Betracht gezogen werden. Die Sicherheit und Governance von KI sind Bereiche, die in Zukunft immer wichtiger werden, und stellen ein vielversprechendes Gebiet für die Patentierung dar.
Hinweise zu diesem Artikel: Dieser Artikel ist eine allgemeine Erläuterung der Technik und des Systems auf der Grundlage veröffentlichter Patentanmeldungsbekanntmachungen. US 2024/0354319 A1 ist eine veröffentlichte Anmeldung, die sich derzeit in der Prüfung befindet und noch nicht eingetragen ist. Da sich die Ansprüche durch Änderungen noch ändern können, steht der endgültige Schutzumfang noch nicht fest.Die zitierten Ansprüche, die Zusammenfassung und die Angaben in der Beschreibung basieren auf Daten aus veröffentlichten Bekanntmachungen (z. B. Google Patents/FreePatentsOnline); für rechtlich wichtige Zwecke (FTO, Verletzungsanalyse, Anmeldungen usw.) sollten Sie jedoch unbedingt die Originalunterlagen des USPTO sowie die aktuellsten Verfahrensinformationen überprüfen und eine individuelle Prüfung durch einen Experten in Anspruch nehmen.Die japanische Übersetzung dient lediglich als Hilfestellung zum Verständnis; der maßgebliche Text ist die englische Originalfassung.