L’approche d’OpenAI décrite dans ce brevet peut se résumer ainsi : « lui faire regarder un grand nombre de vidéos montrant des personnes en train d’utiliser un ordinateur pour qu’elle apprenne ». De plus, elle utilise un mécanisme ingénieux qui consiste à étiqueter automatiquement, à l’aide d’une méthode propriétaire, des vidéos qui ne comportent pas d’étiquettes d’utilisation. Il s’agit d’un cas contrasté, où l’on vise le même objectif en empruntant une voie totalement différente de celle des brevets « Computer Use » d’Anthropic.Un avocat spécialisé en propriété intellectuelle et expert en IA vous l’explique en s’appuyant sur des citations tirées des revendications du brevet.
💡 Point clé : cet article fait partie d’une série consacrée aux brevets sur les agents IA. L’approche contrastée d’Anthropic est expliquée dans les articles consacrés au brevet sur le flux de données et au brevet central « Computer Use ».
Sommaire
| Rubrique | Contenu |
|---|---|
| Numéro de brevet | US 11 887 367 B1 |
| Intitulé de l'invention | Utilisation de l'apprentissage automatique pour entraîner et utiliser un modèle permettant d'effectuer des actions d'interface automatiques à partir de vidéos et d'ensembles de données d'entrée |
| Date d'enregistrement | 30 janvier 2024 |
| Date de dépôt / Date de priorité | 19 avril 2023 |
| Demandeur | OpenAI OpCo, LLC |
| Inventeurs | Bowen Baker, Jeffrey Clune et autres (9 personnes au total) |
| Nombre de revendications | 20 (3 revendications indépendantes : revendications 1, 13 et 20) |
| Nom courant | VPT (Video PreTraining) |
| Statut | Brevet délivré |
La méthode la plus simple pour enseigner des opérations à l’IA consiste à lui fournir une grande quantité de données de référence (données étiquetées) du type « sur cet écran, appuyez sur cette touche » afin qu’elle puisse apprendre. Cependant, le travail consistant à annoter manuellement les vidéos pour indiquer « quand, quelle touche et quel clic ont été effectués » engendre des coûts considérables.
D’un autre côté, il existe sur Internet une multitude de vidéos montrant des personnes utilisant des logiciels ou jouant à des jeux. Le problème est que ces vidéos ne sont pas accompagnées de labels d’interaction. Le défi technique que résout ce brevet consiste à déterminer comment exploiter ces « vidéos disponibles en grande quantité, mais non étiquetées ».
Le modèle de dynamique inverse (Inverse Dynamics Model, IDM) est au cœur de la solution proposée par ce brevet.
Le déroulement du traitement est le suivant.
💡 Point clé : l’idée est d’utiliser l’IDM, créé à partir d’une « petite quantité de données correctes », comme « machine d’étiquetage » afin de transformer d’un seul coup une quantité massive de vidéos non étiquetées en données d’apprentissage. Cela a permis de réduire considérablement le coût de l’annotation manuelle et d’ouvrir la voie à l’apprentissage à grande échelle d’agents informatiques.
La revendication 1 précise que les prédictions de l’IDM « reposent sur une combinaison non causale d’informations passées et futures ». C’est là le point fort technique.
En réalité, les « modèles de stratégie » pilotés en temps réel par l’IA ne peuvent prendre en compte que le passé (l’avenir n’ayant pas encore eu lieu = relation causale). Cependant, l’IDM, en tant que traitement postérieur destiné à l’étiquetage, peut également se référer aux images situées avant et après un moment donné, c’est-à-dire aux images futures.
💡 Point clé : grâce à la condition « pouvant prendre en compte l’avenir », l’IDM est capable de déterminer avec une précision bien supérieure « quelle action a été effectuée à cet instant précis ».Par exemple, à partir d’une information future telle que « le curseur s’est déplacé vers la droite dans l’image suivante », il est possible d’estimer avec une grande précision que « la souris a été déplacée vers la droite à cet instant ». L’exploitation de cette « non-causalité » pour l’étiquetage constitue le cœur intellectuel de la présente invention.
Selon le descriptif, les actions générées par le modèle (automatic interface actions) comprennent notamment les frappes au clavier, les pressions sur des boutons, les saisies sur écran tactile, les manipulations de manette, les clics de souris, le défilement et les déplacements de souris. Parmi les domaines d’application cités figurent les jeux vidéo, diverses applications de traitement, les navigateurs Web, les tableurs et les explorateurs de fichiers.
En d’autres termes, l’objectif est de permettre à l’IA d’exécuter, sans intervention humaine (without human intervention), toutes les opérations qu’un être humain effectue via une interface graphique (GUI). Il s’agit là précisément de la technologie de base d’un agent de « computer use ».
US 11 887 367 B1 | Revendication 1 (texte original / anglais)
Procédé d’entraînement d’un modèle d’apprentissage automatique pour effectuer des actions automatisées, comprenant : la réception de données vidéo numériques non étiquetées ; la génération de pseudo-étiquettes pour les données vidéo numériques non étiquetées, la génération comprenant : la réception de données vidéo numériques étiquetées ; l’entraînement d’un premier modèle d’apprentissage automatique comprenant un modèle de dynamique inverse (IDM) à l’aide des données vidéo numériques étiquetées ; et la génération d’au moins une pseudo-étiquette pour les données vidéo numériques non étiquetées, dans laquelle : ladite au moins une pseudo-étiquette est basée sur une prédiction, générée par l’IDM, d’une ou plusieurs actions qui imitent au moins un pas de temps des données vidéo numériques non étiquetées, et la prédiction de cette ou ces actions est générée sur la base d’une combinaison non causale d’informations passées et d’informations futures contenues dans les données vidéo numériques non étiquetées, les informations passées et futures se rapportant à une ou plusieurs images de référence au sein des données vidéo numériques non étiquetées ; ajouter ladite au moins une pseudo-étiquette aux données vidéo numériques non étiquetées afin de former des données vidéo numériques pseudo-étiquetées ; et entraîner davantage le premier modèle d’apprentissage automatique ou un deuxième modèle d’apprentissage automatique à l’aide des données vidéo numériques pseudo-étiquetées afin de générer au moins une pseudo-étiquette supplémentaire pour la vidéo numérique non étiquetée.
Traduction de référence par un conseil en brevets (en japonais)
| Limitations | Signification technique | Raison de la validité |
|---|---|---|
| IDM (modèle de dynamique inverse) | Estimation des opérations à partir des écrans précédents et suivants | Algorithmes concrets = sortie du cadre des idées abstraites |
| Prédiction non causale (passé + futur) | Amélioration de la précision grâce à la prise en compte des images futures | Cœur de l’originalité et du caractère novateur de la présente invention |
| Étiquetage simulé | Transformation de vidéos non étiquetées en données d’apprentissage | Solution au défi technique (coût de l'annotation) |
| Entraînement supplémentaire | Apprentissage du modèle opérationnel à partir de données simulées | Flux de traitement complet en tant que méthode d’apprentissage |
Avec un total de 20 revendications, ce brevet présente la structure classique d’un brevet logiciel, avec des revendications indépendantes réparties en trois catégories : méthode (revendication 1), système (revendication 13) et support informatique non temporaire (revendication 20).Elle couvre ainsi différents types d’auteurs de contrefaçon : ceux qui mettent en œuvre le procédé, ceux qui fabriquent ou utilisent le dispositif, et ceux qui distribuent le programme.
Pour atteindre le même objectif, à savoir « faire utiliser un PC par l’IA », OpenAI et Anthropic ont obtenu des brevets en adoptant des approches techniques différentes. La comparaison des brevets des deux entreprises, telle que présentée dans cette série d’articles, met clairement en évidence leurs stratégies divergentes.
| OpenAI (cet article) | Anthropic (déjà présenté) | |
|---|---|---|
| Brevet représentatif | US 11 887 367 B1 (VPT) | US 12,430,150 B1, entre autres |
| Objet de la protection | Méthode d’apprentissage par observation d’actions à partir de vidéos | Plateforme d'exécution des agents, DSL, flux de données |
| Approche | Vidéos non étiquetées en grande quantité + étiquetage automatique via IDM | Architecture d'exécution et langage dédié |
| Origine de la technologie | Recherche interne (VPT) | Acquisition de la société Adept |
| Parabole | maîtriser la « méthode d’enseignement (méthode d’apprentissage) » | Maîtriser la « manière de faire fonctionner (système d’exécution) » |
💡 Point clé : OpenAI concentre ses brevets sur « comment faire apprendre (méthodes d’entraînement et données) », tandis qu’Anthropic se concentre sur « comment faire fonctionner (architecture d’exécution) ».C’est un excellent exemple illustrant comment, même dans un même domaine de produits, chaque entreprise dépose des brevets sur la couche correspondant à ses propres atouts. Lors d’un dépôt de brevet, il est essentiel de déterminer « sur quelle couche se positionner ».
Les méthodes d’entraînement en apprentissage automatique pouvant être considérées comme des techniques mathématiques abstraites, les tests d’Alice et de Mayo constituent un point litigieux.Dans le cas présent, comme la demande porte sur des algorithmes concrets (IDM, prédiction non causale, étiquetage pseudo) et implique des actions concrètes (appuis sur les touches, manipulations de la souris), il est plus facile de faire valoir qu’il s’agit d’une « solution concrète à un problème technique » ; le brevet est d’ailleurs déjà enregistré.
Au Japon également, les méthodes d’apprentissage et les modèles pré-entraînés sont brevetables. Toutefois, selon les exemples relatifs à l’IA fournis par l’Office japonais des brevets, le fait de « se contenter de remplacer une tâche humaine par l’IA » est considéré comme dépourvu de caractère inventif.Dans le cas présent, l’astuce technique consistant à « exploiter la non-causalité pour l’étiquetage » et l’effet d’une « réduction spectaculaire du coût d’annotation » sont clairement établis, ce qui facilite la démonstration de l’activité inventive.
Bien que les méthodes mathématiques en elles-mêmes soient exclues, la présente demande apporte une contribution technique claire à la résolution du problème technique consistant à « transformer efficacement des vidéos non étiquetées en données d’apprentissage », ce qui en fait une structure facile à évaluer en tant que caractéristique technique, même dans le cadre de l’approche COMVIK.
① Protégez les méthodes d’apprentissage et de création de données. Non seulement le modèle lui-même, mais aussi « comment l’entraîner » et « comment créer des données d’apprentissage » constituent des brevets solides.
② Mettez en avant vos innovations techniques propres. Placez au cœur de vos revendications des idées concrètes efficaces pour résoudre des problèmes, telles que « l’utilisation de la prédiction non causale ».
③ S’éloigner des mathématiques abstraites. Décrivez des algorithmes concrets et des résultats concrets (mouvements de souris, frappes au clavier, etc.) afin de garantir l’admissibilité au brevet.
④ Mener la bataille sur les points forts de votre entreprise. Même si l’objectif est le même que celui de vos concurrents, il est efficace d’adopter une stratégie visant à obtenir des droits sur les domaines dans lesquels votre entreprise excelle (méthodes d’apprentissage, systèmes d’exécution, données, etc.).
Pourquoi ne pas protéger vos droits, y compris sur votre IA, vos méthodes d’apprentissage et vos données ?
Des conseils en propriété industrielle spécialisés dans les domaines de l’informatique, des logiciels et de l’IA vous apportent un accompagnement complet : conception de revendications incluant les méthodes d’apprentissage, les données et les modèles, diagnostic gratuit de la brevetabilité, et stratégie de dépôt de brevets au Japon, aux États-Unis et en Europe.
Prendre rendez-vous pour une première consultation gratuite Services de propriété intellectuelle en informatique et IAQ. En quoi consiste le brevet US 11 887 367 B1 ?
R. Il s’agit d’un brevet américain délivré à OpenAI qui protège une méthode permettant à une IA d’apprendre à « effectuer des opérations automatiques à l’écran ».Il s’agit d’une technologie qui consiste à étiqueter automatiquement (pseudo-étiquetage) une quantité considérable de vidéos non étiquetées (montrant par exemple des personnes utilisant un logiciel) à l’aide d’un « modèle de dynamique inverse (IDM) » entraîné sur une petite quantité de données étiquetées, puis à entraîner le modèle d’interaction à partir de ces données massives.Cette technologie correspond à la méthode appelée « VPT (Video PreTraining) » par OpenAI et a été enregistrée le 30 janvier 2024.
Q. Qu’est-ce qu’un « modèle de dynamique inverse (IDM) » ?
R. Il s’agit d’un modèle qui estime « quelles opérations (actions) ont été effectuées » entre deux images (observations) prises à un moment donné. Alors que l’IA classique (modèle de stratégie) prédit « ce qu’il faut faire ensuite », l’IDM estime a posteriori « ce qui a été fait ».Comme il peut se référer non seulement aux images passées, mais aussi aux images futures, la précision de l’estimation des actions est élevée et il permet de générer un grand nombre d’étiquettes à moindre coût.
Q. Pourquoi est-il important d’« apprendre à partir de vidéos » ?
R. Il existe sur Internet une multitude de vidéos montrant des personnes utilisant des logiciels ou jouant à des jeux. Cependant, celles-ci ne sont pas accompagnées de labels d’action indiquant « quand et quelle touche a été enfoncée ».La présente invention a ouvert la voie à l’apprentissage à grande échelle et à moindre coût d’agents spécialisés dans l’utilisation d’ordinateurs (computer use), en entraînant l’IDM à partir d’une petite quantité de données étiquetées, puis en étiquetant automatiquement une quantité considérable de vidéos non étiquetées.
Q. En quoi cela diffère-t-il du brevet d’Anthropic sur l’utilisation de l’ordinateur ?
R. L’approche est fondamentalement différente. Anthropic (issu d’Adept) protège « la base d’exécution de l’agent, le DSL et le flux de données ».En revanche, le présent brevet d’OpenAI protège la « méthode d’entraînement permettant d’apprendre des opérations à partir de vidéos ». Il est intéressant de noter que, face au même défi consistant à « faire utiliser un PC par l’IA », les deux entreprises ont obtenu des brevets en adoptant des approches techniques différentes.
Q. Les méthodes d’apprentissage (méthodes d’entraînement) peuvent-elles également faire l’objet d’un brevet ?
R. Oui. Comme dans le cas de ce brevet, si l’on décrit clairement les algorithmes spécifiques (IDM, prédiction non causale, étiquetage pseudo) et les effets techniques qui en découlent (étiquetage à grande échelle et à faible coût), il est possible d’obtenir un brevet au Japon, aux États-Unis ou en Europe.Les méthodes de création de données et d’apprentissage constituent la source de la compétitivité de l’IA et représentent des objets de protection importants.
Remarque concernant cet article : cet article est une explication générale de la technologie et du système basée sur des bulletins de brevets publiés. Le brevet US 11 887 367 B1 est un brevet enregistré, mais l’étendue réelle des droits est déterminée par le libellé de chaque revendication, la doctrine de l’équivalence et les informations relatives à l’historique du dossier.Les citations des revendications, du résumé et du descriptif sont basées sur les données des publications officielles (FreePatentsOnline, etc.), mais pour toute utilisation juridiquement importante (FTO, analyse de contrefaçon, nullité, dépôt de demande, etc.), veuillez impérativement vérifier l’original de l’USPTO et les dernières informations sur l’historique de la procédure, puis faire appel à l’expertise d’un spécialiste pour une analyse au cas par cas.La traduction en japonais est fournie à titre indicatif pour faciliter la compréhension ; le texte de référence est la version originale en anglais.