Der in diesem Patent beschriebene Ansatz von OpenAI lässt sich kurz gesagt so zusammenfassen: „Der KI werden zahlreiche Videos gezeigt, in denen Menschen den Computer bedienen, damit sie sich diese Bedienungsabläufe einprägt.“ Dabei kommt ein ausgeklügeltes Verfahren zum Einsatz, bei dem Videos, die keine Bedienungsbeschriftungen enthalten, mithilfe einer eigens entwickelten Methode automatisch beschriftet werden. Es handelt sich um ein kontrastreiches Beispiel, bei dem dasselbe Ziel auf einem völlig anderen Weg als bei den „Computer Use“-Patenten von Anthropic angestrebt wird.Ein auf KI-geistiges Eigentum spezialisierter Patentanwalt erläutert dies unter Bezugnahme auf die konkreten Patentansprüche.
💡 Wichtig: Dieser Artikel ist Teil einer Reihe über Patente für KI-Agenten. Der kontrastierende Ansatz von Anthropic wird in den Artikeln zu den „Data-Flow“-Patenten und den Kernpatenten zur „Computer Use“ erläutert.
Inhaltsverzeichnis
| Punkt | Inhalt |
|---|---|
| Patentnummer | US 11.887.367 B1 |
| Bezeichnung der Erfindung | Verwendung von maschinellem Lernen zum Trainieren und Einsatz eines Modells zur Durchführung automatischer Schnittstellenaktionen auf der Grundlage von Video- und Eingabedatensätzen |
| Anmeldetag | 30. Januar 2024 |
| Anmeldetag / Prioritätstag | 19. April 2023 |
| Anmelder | OpenAI OpCo, LLC |
| Erfinder | Bowen Baker, Jeffrey Clune u. a. (insgesamt 9 Personen) |
| Anzahl der Ansprüche | 20 (3 unabhängige: Ansprüche 1, 13 und 20) |
| Allgemein bekannter Name | VPT (Video PreTraining) |
| Status | Eingetragenes Patent (erteilt) |
Die naheliegendste Methode, einer KI die Bedienung von Benutzeroberflächen beizubringen, besteht darin, ihr eine große Menge an Daten mit den richtigen Antworten (beschriftete Daten) zur Verfügung zu stellen, nach dem Motto: „Auf diesem Bildschirm drückst du diese Taste“, und sie damit trainieren zu lassen. Die manuelle Annotation von Videos mit Angaben dazu, „wann welche Taste gedrückt oder wo geklickt wurde“, ist jedoch mit enormen Kosten verbunden.
Andererseits gibt es im Internet unzählige Videos, in denen Menschen Software oder Spiele bedienen. Das Problem ist, dass diese Videos keine Bedienungsbeschriftungen enthalten. Die technische Herausforderung, die dieses Patent löst, besteht darin, diese „in großer Zahl vorhandenen, aber unbeschrifteten Videos“ nutzbar zu machen.
Das Herzstück der Lösung dieses Patents ist das Inverse-Dynamics-Modell (IDM).
Der Ablauf ist wie folgt:
💡 Kernpunkt: Der entscheidende Punkt besteht darin, das aus einer „kleinen Menge korrekter Daten“ erstellte IDM als „Beschriftungsmaschine“ zu nutzen, um riesige Mengen unbeschrifteter Videos auf einen Schlag in Trainingsdaten umzuwandeln. Dies senkt die Kosten für manuelle Annotationen drastisch und ebnet den Weg für das Training von Computer-Agenten in großem Maßstab.
In Anspruch 1 wird ausdrücklich darauf hingewiesen, dass die Vorhersagen des IDM „auf einer nicht-kausalen Kombination aus vergangenen und zukünftigen Informationen basieren“. Dies ist das technische Highlight.
Tatsächlich können „Strategiemodelle“, die von der KI in Echtzeit gesteuert werden, nur die Vergangenheit berücksichtigen (die Zukunft ist noch nicht eingetreten = kausal). Da IDM jedoch eine Nachbearbeitung zur Annotation darstellt, kann es auch auf Zeitpunkte vor und nach einem bestimmten Zeitpunkt – also zukünftige Frames – zurückgreifen.
💡 Kernpunkt: Dank der Bedingung, dass „auch die Zukunft berücksichtigt werden darf“, kann IDM weitaus genauer vorhersagen, „welche Aktion in diesem Moment ausgeführt wurde“.Beispielsweise lässt sich aus der Zukunftsinformation „Der Cursor hat sich im nächsten Frame nach rechts bewegt“ mit hoher Genauigkeit ableiten: „Die Maus wurde gerade nach rechts bewegt.“ Die Nutzung dieser „Nicht-Kausalität“ für die Beschriftung ist der intellektuelle Kern der vorliegenden Erfindung.
Laut der Beschreibung umfassen die vom Modell generierten Aktionen (automatic interface actions) Tastendrücke, Knopfdrücke, Touchscreen-Eingaben, Joystick-Bedienung, Mausklicks, Scrollen und Mausbewegungen. Als Anwendungsbereiche werden Videospiele, verschiedene Bearbeitungsanwendungen, Webbrowser, Tabellenkalkulationen und Datei-Explorer genannt.
Das Ziel besteht also darin, dass die KI alle Bedienvorgänge, die ein Mensch über eine grafische Benutzeroberfläche (GUI) ausführt, ohne menschliches Eingreifen (without human intervention) ausführen kann. Dies ist genau die Basistechnologie für „Computer-Use“-Agenten.
US 11,887,367 B1 | Anspruch 1 (Originaltext/Englisch)
Ein Verfahren zum Trainieren eines maschinellen Lernmodells zur Ausführung automatisierter Aktionen, umfassend: Empfangen von unbeschrifteten digitalen Videodaten; Erzeugen von Pseudo-Labels für die unbeschrifteten digitalen Videodaten, wobei das Erzeugen umfasst: Empfangen von beschrifteten digitalen Videodaten; Trainieren eines ersten maschinellen Lernmodells, das ein inverses Dynamikmodell (IDM) umfasst, unter Verwendung der beschrifteten digitalen Videodaten; sowie das Erzeugen mindestens einer Pseudo-Kennzeichnung für die unmarkierten digitalen Videodaten, wobei: die mindestens eine Pseudo-Kennzeichnung auf einer vom IDM erzeugten Vorhersage einer oder mehrerer Aktionen basiert, die mindestens einen Zeitschritt der unmarkierten digitalen Videodaten nachahmen, und die Vorhersage der einen oder mehreren Aktionen auf der Grundlage einer nicht-kausalen Kombination aus vergangenen und zukünftigen Informationen innerhalb der unbeschrifteten digitalen Videodaten generiert wird, wobei sich die vergangenen und zukünftigen Informationen auf einen oder mehrere Referenzframes innerhalb der unbeschrifteten digitalen Videodaten beziehen; Hinzufügen der mindestens einen Pseudo-Kennzeichnung zu den unmarkierten digitalen Videodaten, um pseudo-markierte digitale Videodaten zu bilden; und weiteres Trainieren des ersten maschinellen Lernmodells oder eines zweiten maschinellen Lernmodells unter Verwendung der pseudo-markierten digitalen Videodaten, um mindestens eine zusätzliche Pseudo-Kennzeichnung für das unmarkierte digitale Video zu erzeugen.
Referenzübersetzung durch einen Patentanwalt (Japanisch)
| Beschränkungen | Technische Bedeutung | Grund für die Wirksamkeit |
|---|---|---|
| IDM (Inverse-Dynamik-Modell) | Ableitung der Bedienung aus den vorherigen und nachfolgenden Bildschirmen | Konkrete Algorithmen = Abkehr von abstrakten Ideen |
| Nicht-kausale (Vergangenheit + Zukunft) Vorhersage | Höhere Genauigkeit durch Berücksichtigung zukünftiger Frames | Kern der Einzigartigkeit und des Fortschritts der vorliegenden Erfindung |
| Pseudo-Labeling | Umwandlung unmarkierter Videos in Trainingsdaten | Lösung des technischen Problems (Annotationsaufwand) |
| Weiteres Training | Training des Betriebsmodells mit Pseudo-Daten | Abgeschlossener Verarbeitungsablauf als Lernmethode |
Dieses Patent umfasst insgesamt 20 Ansprüche und folgt mit der Aufteilung der unabhängigen Ansprüche in die drei Kategorien „Verfahren“ (Anspruch 1), „System“ (Anspruch 13) und „nicht vorübergehendes computerlesbares Medium“ (Anspruch 20) der klassischen Struktur eines Softwarepatents.Dadurch werden verschiedene potenzielle Rechtsverletzer abgedeckt: diejenigen, die das Verfahren anwenden, diejenigen, die die Vorrichtung herstellen oder nutzen, sowie diejenigen, die das Programm vertreiben.
Trotz des gleichen Ziels, „einen PC durch KI steuern zu lassen“, haben OpenAI und Anthropic Patente mit unterschiedlichen technischen Ansätzen erworben. Ein Vergleich der Patente beider Unternehmen, die wir in dieser Serie betrachtet haben, verdeutlicht die strategischen Unterschiede.
| OpenAI (dieser Artikel) | Anthropic (bereits erläutert) | |
|---|---|---|
| Repräsentatives Patent | US 11,887,367 B1 (VPT) | US 12,430,150 B1 u. a. |
| Schutzgegenstand | Trainingsmethode zum Erlernen von Bedienungsabläufen anhand von Videos | Ausführungsplattform für Agenten, DSL, Datenfluss |
| Ansatz | Große Mengen unmarkierter Videos + automatische Markierung mittels IDM | Laufzeitarchitektur und dedizierte Sprache |
| Herkunft der Technologie | Eigene Forschung (VPT) | Übernahme von Adept |
| Beispiel | man die „Lehrmethode (Lernmethode)“ beherrscht | „Die Art und Weise der Ausführung (Ausführungsarchitektur)“ sichern |
💡 Kernpunkt: OpenAI konzentriert sich bei der Patentierung auf „wie man trainiert (Trainierungsmethoden und Daten)“, während Anthropic den Schwerpunkt auf „wie man die Systeme steuert (Ausführungsarchitektur)“ legt.Dies ist ein gutes Beispiel dafür, dass Unternehmen selbst innerhalb desselben Produktbereichs Patente auf den Ebenen anmelden, in denen ihre jeweiligen Stärken liegen. Auch bei eigenen Patentanmeldungen ist es wichtig, genau zu bestimmen, „auf welcher Ebene man konkurrieren will“.
Da Trainingsmethoden für maschinelles Lernen als abstrakte mathematische Verfahren angesehen werden können, stehen die Alice-/Mayo-Tests im Mittelpunkt der Diskussion.Da dieser Fall konkrete Algorithmen wie IDM, nicht-kausale Vorhersagen und Pseudo-Labeling sowie konkrete Aktionen wie Tastendrücke und Mausbewegungen umfasst, lässt sich leicht argumentieren, dass es sich um eine „konkrete Lösung für ein technisches Problem“ handelt, und das Patent ist derzeit eingetragen.
Auch in Japan sind Trainingsverfahren und trainierte Modelle patentierbar. In den KI-Fallbeispielen des Patentamts wird jedoch die Erfindungshöhe verneint, wenn „lediglich menschliche Arbeit durch KI ersetzt wurde“.In diesem Fall sind sowohl die technische Idee, „Nicht-Kausalität für die Annotation zu nutzen“, als auch der Effekt einer „drastischen Reduzierung der Annotationskosten“ klar erkennbar, sodass sich die Erfindungshöhe leicht geltend machen lässt.
Zwar sind mathematische Methoden an sich vom Patentschutz ausgeschlossen, doch ist in diesem Fall der technische Beitrag zur Lösung der technischen Aufgabe „effiziente Umwandlung von unmarkierten Videos in Trainingsdaten“ eindeutig, sodass sich die Struktur auch im Rahmen des COMVIK-Ansatzes leicht als technisches Merkmal bewerten lässt.
① Sichern Sie sich die Rechte an Lernmethoden und der Datengenerierung. Nicht nur das Modell selbst, sondern auch „wie es trainiert wird“ und „wie Trainingsdaten erstellt werden“, können zu starken Patenten führen.
② Stellen Sie eigene technische Lösungen in den Vordergrund. Stellen Sie konkrete Ideen, die zur Lösung von Problemen beitragen – wie beispielsweise die „Nutzung nicht-kausaler Vorhersagen“ – in den Mittelpunkt der Patentansprüche.
③ Lösen Sie sich von abstrakter Mathematik. Beschreiben Sie konkrete Algorithmen und konkrete Ausgaben (z. B. Maus- und Tastatureingaben), um die Patentierbarkeit sicherzustellen.
④ Setzen Sie auf die Stärken Ihres Unternehmens. Selbst wenn Sie dasselbe Ziel wie die Konkurrenz verfolgen, ist es sinnvoll, Patente in den Bereichen zu erwerben, in denen Ihr Unternehmen besonders stark ist (Lernmethoden, Ausführungssysteme, Daten usw.).
Möchten Sie Ihre eigene KI, Ihre Lernmethoden und sogar Ihre Daten patentieren lassen?
Patentanwälte mit fundierten Kenntnissen in den Bereichen IT, Software und KI unterstützen Sie umfassend – von der Ausarbeitung von Ansprüchen, die Lernmethoden, Daten und Modelle umfassen, über eine kostenlose Bewertung der Patentierbarkeit bis hin zu Anmeldestrategien in Japan, den USA und Europa.
Kostenlose Erstberatung vereinbaren – Dienstleistungen zum geistigen Eigentum in den Bereichen IT und KIF. Was ist das Patent US 11,887,367 B1?
A. Es handelt sich um ein in den USA eingetragenes Patent von OpenAI, das ein Verfahren schützt, mit dem eine KI das „automatische Bedienen von Bildschirmen“ erlernt.Dabei handelt es sich um eine Technologie, bei der riesige Mengen an unmarkierten Videos (z. B. Aufnahmen von Menschen bei der Bedienung von Software) mithilfe eines „Inverse Dynamics Model (IDM)“, das mit einer geringen Menge an markierten Daten trainiert wurde, automatisch markiert (pseudo-markiert) werden, um das Bedienungsmodell anhand dieser großen Datenmengen zu trainieren.Das Patent entspricht dem von OpenAI als „VPT (Video PreTraining)“ bezeichneten Verfahren und wurde am 30. Januar 2024 erteilt.
Frage: Was ist ein „Inverse-Dynamics-Modell (IDM)“?
A. Es handelt sich um ein Modell, das anhand der Bildsequenz (Beobachtung) vor und nach einem bestimmten Zeitpunkt abschätzt, „welche Bedienungsschritte (Aktionen) in diesem Zeitraum durchgeführt wurden“. Während herkömmliche KI-Modelle (Strategiemodelle) vorhersagen, „was als Nächstes zu tun ist“, schätzt das IDM im Nachhinein ab, „was geschehen ist“.Da nicht nur vergangene, sondern auch zukünftige Frames herangezogen werden können, ist die Genauigkeit der Aktionsschätzung hoch, und es lassen sich kostengünstig große Mengen an Labels generieren.
F. Warum ist es wichtig, „aus Videos zu lernen“?
A. Im Internet gibt es unzählige Videos, in denen Menschen Software oder Spiele bedienen. Diese sind jedoch nicht mit Bedienungslabels versehen, die angeben, „wann welche Taste gedrückt wurde“.Die vorliegende Erfindung hat den Weg geebnet, um Agenten für die Computernutzung kostengünstig und in großem Maßstab zu trainieren, indem IDM anhand einer geringen Menge an beschrifteten Daten trainiert wird und anschließend riesige Mengen unbeschrifteter Videos automatisch beschriftet werden.
F. Worin unterscheidet sich diese Erfindung von Anthropics „Computer-Use“-Patent?
A. Der Ansatz unterscheidet sich grundlegend. Anthropic (ursprünglich von Adept) schützt die „Ausführungsplattform, die DSL und den Datenfluss des Agenten“.Das vorliegende Patent von OpenAI hingegen schützt das „Trainingsverfahren, bei dem aus Videos Bedienungsabläufe gelernt werden“. Es ist interessant, dass beide Unternehmen für dieselbe Herausforderung – „die Steuerung eines PCs durch KI“ – Patente mit unterschiedlichen technischen Ansätzen erhalten haben.
F. Können auch Lernmethoden (Trainingsmethoden) patentiert werden?
A. Ja. So wie bei diesem Patent ist eine Patentierung sowohl in Japan als auch in den USA und Europa möglich, sofern konkrete Algorithmen (IDM, nicht-kausale Vorhersage, Pseudo-Labeling) und die daraus resultierenden technischen Wirkungen (kostengünstiges Labeling in großem Maßstab) klar beschrieben werden.Die Methoden zur Datengenerierung und zum Training sind die Quelle der Wettbewerbsfähigkeit von KI und stellen wichtige Schutzgegenstände dar.
Hinweis zu diesem Artikel: Dieser Artikel ist eine allgemeine Erläuterung der Technik und des Systems auf der Grundlage veröffentlichter Patentanzeigen. US 11,887,367 B1 ist ein eingetragenes Patent, doch der tatsächliche Schutzumfang wird durch den Wortlaut der einzelnen Ansprüche, den Grundsatz der Äquivalenz und Informationen zum Anmeldeverlauf bestimmt.Die zitierten Ansprüche, Zusammenfassungen und Beschreibungen basieren auf Daten aus veröffentlichten Patentblättern (z. B. FreePatentsOnline); für rechtlich wichtige Zwecke (FTO, Verletzungsanalyse, Nichtigkeitsverfahren, Anmeldungen usw.) sollten Sie jedoch unbedingt die Originaldokumente des USPTO sowie die aktuellsten Verfahrensinformationen überprüfen und eine individuelle Prüfung durch einen Experten in Anspruch nehmen.Die japanische Übersetzung dient lediglich als Hilfestellung zum Verständnis; der maßgebliche Text ist die englische Originalfassung.