.png?width=500&height=250&name=%E7%9F%A5%E7%9A%84%E8%B2%A1%E7%94%A3%E4%BA%8B%E5%8B%99%E6%89%80%E3%82%A8%E3%83%9C%E3%83%AA%E3%82%AF%E3%82%B9%20(500%20%C3%97%20250%20px).png)
Créer son propre assistant IA doté d'une expertise spécifique sans avoir à écrire une seule ligne...
Pour « faire utiliser un ordinateur par l’IA », il faut d’abord lui apprendre « comment s’en servir ».Nous avons déjà présenté dans cette série les brevets qui sous-tendent la technologie « Computer Use » d’Anthropic, mais comment OpenAI enseigne-t-il à l’IA à utiliser un écran ? La réponse se trouve dans le brevet US 11,887,367 B1, que nous allons examiner en détail dans cet article.
L’approche d’OpenAI décrite dans ce brevet peut se résumer ainsi : « lui faire regarder un grand nombre de vidéos montrant des personnes en train d’utiliser un ordinateur pour qu’elle apprenne ». De plus, elle utilise un mécanisme ingénieux qui consiste à étiqueter automatiquement, à l’aide d’une méthode propriétaire, des vidéos qui ne comportent pas d’étiquettes d’utilisation. Il s’agit d’un cas contrasté, où l’on vise le même objectif en empruntant une voie totalement différente de celle des brevets « Computer Use » d’Anthropic.Un avocat spécialisé en propriété intellectuelle et expert en IA vous l’explique en s’appuyant sur des citations tirées des revendications du brevet.
💡 Point clé : cet article fait partie d’une série consacrée aux brevets sur les agents IA. L’approche contrastée d’Anthropic est expliquée dans les articles consacrés au brevet sur le flux de données et au brevet central « Computer Use ».
Sommaire
- Résumé en 30 secondes | Une IA qui « apprend à fonctionner en regardant des vidéos »
- Informations de base sur le brevet
- Contexte | La création de « labels de bonnes réponses pour les interactions à l’écran » coûte cher
- Technologie clé | Modèle de dynamique inverse (IDM) et étiquetage pseudo-automatique
- Principale innovation | Prédiction « non causale (anticipant l’avenir) »
- Quelles opérations sont générées ?
- Lecture point par point de la revendication indépendante n° 1
- Structure des revendications | Le trio « méthode, système, support »
- OpenAI vs Anthropic | Deux voies vers l’« utilisation informatique »
- Les méthodes d’apprentissage peuvent-elles faire l’objet d’un brevet ? L’examen au Japon, aux États-Unis et en Europe
- Leçons à tirer pour nos propres demandes de brevet
- Foire aux questions (FAQ)
Résumé en 30 secondes | Une IA qui « apprend à effectuer des opérations en regardant des vidéos »
● Objet du brevet : méthode d’entraînement permettant à l’IA d’apprendre à « effectuer automatiquement des opérations à l’écran ».
● Principe : entraînement du « modèle de dynamique inverse (IDM) » à partir d’une petite quantité de vidéos étiquetées → étiquetage automatique (pseudo-étiquetage) d’une quantité massive de vidéos non étiquetées → entraînement du modèle d’opération à partir de ces données massives.
● Principale innovation : l’IDM utilise une prédiction « non causale » capable de prendre en compte les images futures, ce qui garantit une grande précision dans l’estimation des manipulations.
● Titulaire du brevet : OpenAI OpCo, LLC (développeur de ChatGPT).
● Statut : brevet déposé aux États-Unis (enregistré le 30 janvier 2024, 20 revendications au total). Méthode appelée « VPT » par OpenAI.
● Principe : entraînement du « modèle de dynamique inverse (IDM) » à partir d’une petite quantité de vidéos étiquetées → étiquetage automatique (pseudo-étiquetage) d’une quantité massive de vidéos non étiquetées → entraînement du modèle d’opération à partir de ces données massives.
● Principale innovation : l’IDM utilise une prédiction « non causale » capable de prendre en compte les images futures, ce qui garantit une grande précision dans l’estimation des manipulations.
● Titulaire du brevet : OpenAI OpCo, LLC (développeur de ChatGPT).
● Statut : brevet déposé aux États-Unis (enregistré le 30 janvier 2024, 20 revendications au total). Méthode appelée « VPT » par OpenAI.
Informations de base sur le brevet
| Rubrique | Contenu |
|---|---|
| Numéro de brevet | US 11 887 367 B1 |
| Intitulé de l'invention | Utilisation de l'apprentissage automatique pour entraîner et utiliser un modèle permettant d'effectuer des actions d'interface automatiques à partir de vidéos et d'ensembles de données d'entrée |
| Date d'enregistrement | 30 janvier 2024 |
| Date de dépôt / Date de priorité | 19 avril 2023 |
| Demandeur | OpenAI OpCo, LLC |
| Inventeurs | Bowen Baker, Jeffrey Clune et autres (9 personnes au total) |
| Nombre de revendications | 20 (3 revendications indépendantes : revendications 1, 13 et 20) |
| Nom courant | VPT (Video PreTraining) |
| Statut | Brevet délivré |
Contexte | La création de « données étiquetées indiquant les bonnes réponses pour les interactions à l’écran » coûte cher
La méthode la plus simple pour enseigner des opérations à l’IA consiste à lui fournir une grande quantité de données de référence (données étiquetées) du type « sur cet écran, appuyez sur cette touche » afin qu’elle puisse apprendre. Cependant, le travail consistant à annoter manuellement les vidéos pour indiquer « quand, quelle touche et quel clic ont été effectués » engendre des coûts considérables.
D’un autre côté, il existe sur Internet une multitude de vidéos montrant des personnes utilisant des logiciels ou jouant à des jeux. Le problème est que ces vidéos ne sont pas accompagnées de labels d’interaction. Le défi technique que résout ce brevet consiste à déterminer comment exploiter ces « vidéos disponibles en grande quantité, mais non étiquetées ».
Technologie clé | Modèle de dynamique inverse (IDM) et pseudo-étiquetage
Le modèle de dynamique inverse (Inverse Dynamics Model, IDM) est au cœur de la solution proposée par ce brevet.
Qu’est-ce que l’IDM ? Il s’agit d’un modèle qui, à partir des images (observations) avant et après un moment donné, estime « quelles actions ont été effectuées » pendant cet intervalle. Alors que l’IA classique (modèle de stratégie) prédit « ce qu’il faut faire ensuite », l’IDM effectue une estimation en sens inverse, en devinant a posteriori « ce qui a été fait ».
Le déroulement du traitement est le suivant.
[VPT : processus d’apprentissage des actions à partir de vidéos] ① Petite quantité de vidéos étiquetées (annotées par des humains) │ Entraînement ▼ ② Entraînement du modèle de dynamique inverse (IDM) ・Permet d’estimer les « actions effectuées » à partir des images précédentes et suivantes │ Application ▼ ③ Application de l’IDM à une immense quantité de vidéos non étiquetées ・Estimation automatique des actions à chaque instant = génération de « pseudo-étiquettes » │ ▼ ④ Obtention d’une grande quantité de données vidéo pseudo-étiquetées │ Entraînement ▼ ⑤ Entraînement à grande échelle du modèle d’action (agent)
💡 Point clé : l’idée est d’utiliser l’IDM, créé à partir d’une « petite quantité de données correctes », comme « machine d’étiquetage » afin de transformer d’un seul coup une quantité massive de vidéos non étiquetées en données d’apprentissage. Cela a permis de réduire considérablement le coût de l’annotation manuelle et d’ouvrir la voie à l’apprentissage à grande échelle d’agents informatiques.
Principale innovation | Prédiction « non causale (tenant compte de l’avenir) »
La revendication 1 précise que les prédictions de l’IDM « reposent sur une combinaison non causale d’informations passées et futures ». C’est là le point fort technique.
En réalité, les « modèles de stratégie » pilotés en temps réel par l’IA ne peuvent prendre en compte que le passé (l’avenir n’ayant pas encore eu lieu = relation causale). Cependant, l’IDM, en tant que traitement postérieur destiné à l’étiquetage, peut également se référer aux images situées avant et après un moment donné, c’est-à-dire aux images futures.
💡 Point clé : grâce à la condition « pouvant prendre en compte l’avenir », l’IDM est capable de déterminer avec une précision bien supérieure « quelle action a été effectuée à cet instant précis ».Par exemple, à partir d’une information future telle que « le curseur s’est déplacé vers la droite dans l’image suivante », il est possible d’estimer avec une grande précision que « la souris a été déplacée vers la droite à cet instant ». L’exploitation de cette « non-causalité » pour l’étiquetage constitue le cœur intellectuel de la présente invention.
Quelles actions sont générées ?
Selon le descriptif, les actions générées par le modèle (automatic interface actions) comprennent notamment les frappes au clavier, les pressions sur des boutons, les saisies sur écran tactile, les manipulations de manette, les clics de souris, le défilement et les déplacements de souris. Parmi les domaines d’application cités figurent les jeux vidéo, diverses applications de traitement, les navigateurs Web, les tableurs et les explorateurs de fichiers.
En d’autres termes, l’objectif est de permettre à l’IA d’exécuter, sans intervention humaine (without human intervention), toutes les opérations qu’un être humain effectue via une interface graphique (GUI). Il s’agit là précisément de la technologie de base d’un agent de « computer use ».
Lecture article par article de la revendication indépendante 1
Synthèse des limitations à la base de la revendication
| Limitations | Signification technique | Raison de la validité |
|---|---|---|
| IDM (modèle de dynamique inverse) | Estimation des opérations à partir des écrans précédents et suivants | Algorithmes concrets = sortie du cadre des idées abstraites |
| Prédiction non causale (passé + futur) | Amélioration de la précision grâce à la prise en compte des images futures | Cœur de l’originalité et du caractère novateur de la présente invention |
| Étiquetage simulé | Transformation de vidéos non étiquetées en données d’apprentissage | Solution au défi technique (coût de l'annotation) |
| Entraînement supplémentaire | Apprentissage du modèle opérationnel à partir de données simulées | Flux de traitement complet en tant que méthode d’apprentissage |
Structure des revendications | Ensemble de trois éléments : méthode, système et support
Avec un total de 20 revendications, ce brevet présente la structure classique d’un brevet logiciel, avec des revendications indépendantes réparties en trois catégories : méthode (revendication 1), système (revendication 13) et support informatique non temporaire (revendication 20).Elle couvre ainsi différents types d’auteurs de contrefaçon : ceux qui mettent en œuvre le procédé, ceux qui fabriquent ou utilisent le dispositif, et ceux qui distribuent le programme.
OpenAI vs Anthropic | Deux voies vers l’« utilisation par ordinateur »
Pour atteindre le même objectif, à savoir « faire utiliser un PC par l’IA », OpenAI et Anthropic ont obtenu des brevets en adoptant des approches techniques différentes. La comparaison des brevets des deux entreprises, telle que présentée dans cette série d’articles, met clairement en évidence leurs stratégies divergentes.
| OpenAI (cet article) | Anthropic (déjà présenté) | |
|---|---|---|
| Brevet représentatif | US 11 887 367 B1 (VPT) | US 12,430,150 B1, entre autres |
| Objet de la protection | Méthode d’apprentissage par observation d’actions à partir de vidéos | Plateforme d'exécution des agents, DSL, flux de données |
| Approche | Vidéos non étiquetées en grande quantité + étiquetage automatique via IDM | Architecture d'exécution et langage dédié |
| Origine de la technologie | Recherche interne (VPT) | Acquisition de la société Adept |
| Parabole | maîtriser la « méthode d’enseignement (méthode d’apprentissage) » | Maîtriser la « manière de faire fonctionner (système d’exécution) » |
💡 Point clé : OpenAI concentre ses brevets sur « comment faire apprendre (méthodes d’entraînement et données) », tandis qu’Anthropic se concentre sur « comment faire fonctionner (architecture d’exécution) ».C’est un excellent exemple illustrant comment, même dans un même domaine de produits, chaque entreprise dépose des brevets sur la couche correspondant à ses propres atouts. Lors d’un dépôt de brevet, il est essentiel de déterminer « sur quelle couche se positionner ».
Les méthodes d’apprentissage peuvent-elles faire l’objet d’un brevet ? L’examen des demandes au Japon, aux États-Unis et en Europe
États-Unis (USPTO)
Les méthodes d’entraînement en apprentissage automatique pouvant être considérées comme des techniques mathématiques abstraites, les tests d’Alice et de Mayo constituent un point litigieux.Dans le cas présent, comme la demande porte sur des algorithmes concrets (IDM, prédiction non causale, étiquetage pseudo) et implique des actions concrètes (appuis sur les touches, manipulations de la souris), il est plus facile de faire valoir qu’il s’agit d’une « solution concrète à un problème technique » ; le brevet est d’ailleurs déjà enregistré.
Japon (JPO)
Au Japon également, les méthodes d’apprentissage et les modèles pré-entraînés sont brevetables. Toutefois, selon les exemples relatifs à l’IA fournis par l’Office japonais des brevets, le fait de « se contenter de remplacer une tâche humaine par l’IA » est considéré comme dépourvu de caractère inventif.Dans le cas présent, l’astuce technique consistant à « exploiter la non-causalité pour l’étiquetage » et l’effet d’une « réduction spectaculaire du coût d’annotation » sont clairement établis, ce qui facilite la démonstration de l’activité inventive.
Europe (OEB)
Bien que les méthodes mathématiques en elles-mêmes soient exclues, la présente demande apporte une contribution technique claire à la résolution du problème technique consistant à « transformer efficacement des vidéos non étiquetées en données d’apprentissage », ce qui en fait une structure facile à évaluer en tant que caractéristique technique, même dans le cadre de l’approche COMVIK.
La comparaison des pratiques d’examen des brevets relatifs aux agents IA au Japon, aux États-Unis et en Europe est expliquée en détail dans « Exemples de brevets et pratiques d’examen au Japon, aux États-Unis et en Europe ».
Leçons à tirer pour vos propres demandes de brevet
① Protégez les méthodes d’apprentissage et de création de données. Non seulement le modèle lui-même, mais aussi « comment l’entraîner » et « comment créer des données d’apprentissage » constituent des brevets solides.
② Mettez en avant vos innovations techniques propres. Placez au cœur de vos revendications des idées concrètes efficaces pour résoudre des problèmes, telles que « l’utilisation de la prédiction non causale ».
③ S’éloigner des mathématiques abstraites. Décrivez des algorithmes concrets et des résultats concrets (mouvements de souris, frappes au clavier, etc.) afin de garantir l’admissibilité au brevet.
④ Mener la bataille sur les points forts de votre entreprise. Même si l’objectif est le même que celui de vos concurrents, il est efficace d’adopter une stratégie visant à obtenir des droits sur les domaines dans lesquels votre entreprise excelle (méthodes d’apprentissage, systèmes d’exécution, données, etc.).
Pourquoi ne pas protéger vos droits, y compris sur votre IA, vos méthodes d’apprentissage et vos données ?
Des conseils en propriété industrielle spécialisés dans les domaines de l’informatique, des logiciels et de l’IA vous apportent un accompagnement complet : conception de revendications incluant les méthodes d’apprentissage, les données et les modèles, diagnostic gratuit de la brevetabilité, et stratégie de dépôt de brevets au Japon, aux États-Unis et en Europe.
Prendre rendez-vous pour une première consultation gratuite Services de propriété intellectuelle en informatique et IAFoire aux questions (FAQ)
Q. En quoi consiste le brevet US 11 887 367 B1 ?
R. Il s’agit d’un brevet américain délivré à OpenAI qui protège une méthode permettant à une IA d’apprendre à « effectuer des opérations automatiques à l’écran ».Il s’agit d’une technologie qui consiste à étiqueter automatiquement (pseudo-étiquetage) une quantité considérable de vidéos non étiquetées (montrant par exemple des personnes utilisant un logiciel) à l’aide d’un « modèle de dynamique inverse (IDM) » entraîné sur une petite quantité de données étiquetées, puis à entraîner le modèle d’interaction à partir de ces données massives.Cette technologie correspond à la méthode appelée « VPT (Video PreTraining) » par OpenAI et a été enregistrée le 30 janvier 2024.
Q. Qu’est-ce qu’un « modèle de dynamique inverse (IDM) » ?
R. Il s’agit d’un modèle qui estime « quelles opérations (actions) ont été effectuées » entre deux images (observations) prises à un moment donné. Alors que l’IA classique (modèle de stratégie) prédit « ce qu’il faut faire ensuite », l’IDM estime a posteriori « ce qui a été fait ».Comme il peut se référer non seulement aux images passées, mais aussi aux images futures, la précision de l’estimation des actions est élevée et il permet de générer un grand nombre d’étiquettes à moindre coût.
Q. Pourquoi est-il important d’« apprendre à partir de vidéos » ?
R. Il existe sur Internet une multitude de vidéos montrant des personnes utilisant des logiciels ou jouant à des jeux. Cependant, celles-ci ne sont pas accompagnées de labels d’action indiquant « quand et quelle touche a été enfoncée ».La présente invention a ouvert la voie à l’apprentissage à grande échelle et à moindre coût d’agents spécialisés dans l’utilisation d’ordinateurs (computer use), en entraînant l’IDM à partir d’une petite quantité de données étiquetées, puis en étiquetant automatiquement une quantité considérable de vidéos non étiquetées.
Q. En quoi cela diffère-t-il du brevet d’Anthropic sur l’utilisation de l’ordinateur ?
R. L’approche est fondamentalement différente. Anthropic (issu d’Adept) protège « la base d’exécution de l’agent, le DSL et le flux de données ».En revanche, le présent brevet d’OpenAI protège la « méthode d’entraînement permettant d’apprendre des opérations à partir de vidéos ». Il est intéressant de noter que, face au même défi consistant à « faire utiliser un PC par l’IA », les deux entreprises ont obtenu des brevets en adoptant des approches techniques différentes.
Q. Les méthodes d’apprentissage (méthodes d’entraînement) peuvent-elles également faire l’objet d’un brevet ?
R. Oui. Comme dans le cas de ce brevet, si l’on décrit clairement les algorithmes spécifiques (IDM, prédiction non causale, étiquetage pseudo) et les effets techniques qui en découlent (étiquetage à grande échelle et à faible coût), il est possible d’obtenir un brevet au Japon, aux États-Unis ou en Europe.Les méthodes de création de données et d’apprentissage constituent la source de la compétitivité de l’IA et représentent des objets de protection importants.
Remarque concernant cet article : cet article est une explication générale de la technologie et du système basée sur des bulletins de brevets publiés. Le brevet US 11 887 367 B1 est un brevet enregistré, mais l’étendue réelle des droits est déterminée par le libellé de chaque revendication, la doctrine de l’équivalence et les informations relatives à l’historique du dossier.Les citations des revendications, du résumé et du descriptif sont basées sur les données des publications officielles (FreePatentsOnline, etc.), mais pour toute utilisation juridiquement importante (FTO, analyse de contrefaçon, nullité, dépôt de demande, etc.), veuillez impérativement vérifier l’original de l’USPTO et les dernières informations sur l’historique de la procédure, puis faire appel à l’expertise d’un spécialiste pour une analyse au cas par cas.La traduction en japonais est fournie à titre indicatif pour faciliter la compréhension ; le texte de référence est la version originale en anglais.
À lire également (série sur les brevets relatifs aux agents IA) :・Brevet
clé d’Anthropic « Computer Use » US 12,430,150 B1 (infrastructure d’exécution)
・Brevet d’Anthropic sur les flux de données (pipeline apprentissage ↔ inférence) ・Cas de brevets et pratiques
d’examen au Japon, aux États-Unis et en Europe (cas concrets) ・La
technologie des agents IA peut-elle faire l’objet d’une demande de brevet ?(Partie fondamentale)
clé d’Anthropic « Computer Use » US 12,430,150 B1 (infrastructure d’exécution)
・Brevet d’Anthropic sur les flux de données (pipeline apprentissage ↔ inférence) ・Cas de brevets et pratiques
d’examen au Japon, aux États-Unis et en Europe (cas concrets) ・La
technologie des agents IA peut-elle faire l’objet d’une demande de brevet ?(Partie fondamentale)
Source
- US 11 887 367 B1 (Google Patents) : https://patents.google.com/patent/US11887367B1/en
- Revendications et description (FreePatentsOnline) : https://www.freepatentsonline.com/11887367.html
