Saltar al contenido
Español
お問い合わせ

[Explicación detallada de un agente de patentes] Análisis de la patente de OpenAI «Agente de IA que aprende a partir de vídeos», US 11.887.367 B1 (VPT) | Cómo crear…

Picture of 弁理士 杉浦健文

Gemini_Generated_Image_862ths862ths862tPara que «la IA maneje el ordenador», primero es necesario enseñarle «cómo hacerlo».En esta serie ya hemos explicado el conjunto de patentes que sustentan la función «Computer Use» de Anthropic, pero ¿cómo enseña OpenAI a la IA a manejar la pantalla? La respuesta se encuentra en la patente registrada US 11,887,367 B1, que analizaremos en profundidad en este artículo.

El enfoque de OpenAI que muestra esta patente se puede resumir en una frase: «enseñarle a través de una gran cantidad de vídeos en los que una persona realiza las operaciones». Además, utiliza un ingenioso mecanismo que, mediante una técnica propia, etiqueta automáticamente los vídeos que carecen de etiquetas de operación. Se trata de un caso contrastado que persigue el mismo objetivo por un camino totalmente distinto al de las patentes «Computer Use» de Anthropic.Un agente de la propiedad industrial especializado en propiedad intelectual relacionada con la IA lo explicará citando las reivindicaciones reales.

💡 Punto clave: este artículo forma parte de la serie sobre patentes de agentes de IA. El enfoque contrastado de Anthropic se explica en las patentes sobre flujo de datos y en la patente central de «Computer Use».

Resumen de 30 segundos | IA que «aprende a manejar dispositivos viendo vídeos»

● De qué trata la patente: Método de entrenamiento para que la IA aprenda a «manejar automáticamente la pantalla».
● Esencia: Entrenamiento del «modelo de dinámica inversa (IDM)» con una pequeña cantidad de vídeos etiquetados → Etiquetado automático (etiquetado simulado) de una enorme cantidad de vídeos sin etiquetar → Entrenamiento del modelo de manejo con esos datos masivos.
● Principal innovación: el IDM realiza predicciones «no causales» que pueden referir a fotogramas futuros, lo que proporciona una alta precisión en la estimación de las operaciones.
● Titular de la patente: OpenAI OpCo, LLC (desarrollador de ChatGPT).
● Estado: Patente registrada en EE. UU. (registrada el 30 de enero de 2024, con un total de 20 reivindicaciones). Método denominado «VPT» por OpenAI.

Información básica de la patente

Concepto Contenido
N.º de patente US 11.887.367 B1
Denominación de la invención Uso del aprendizaje automático para entrenar y utilizar un modelo que realice acciones automáticas en la interfaz basadas en vídeos y conjuntos de datos de entrada
Fecha de registro 30 de enero de 2024
Fecha de solicitud/Fecha de prioridad 19 de abril de 2023
Solicitante OpenAI OpCo, LLC
Inventores Bowen Baker, Jeffrey Clune y otros (9 personas en total)
Número de reivindicaciones 20 (3 independientes: reivindicaciones 1, 13 y 20)
Nombre común VPT (Video PreTraining)
Estado Patente registrada (concedida)

Antecedentes | Crear «etiquetas de respuestas correctas para las operaciones en pantalla» resulta muy costoso

La forma más sencilla de enseñar a una IA a manejar una pantalla es proporcionarle una gran cantidad de datos correctos (datos etiquetados) del tipo «en esta pantalla, pulsa esta tecla» para que aprenda. Sin embargo, la tarea de anotar manualmente en los vídeos «cuándo, qué tecla y en qué lugar se hizo clic» conlleva un coste enorme.

Por otro lado, en Internet existen innumerables vídeos en los que personas manejan programas o videojuegos. El problema es que estos vídeos no llevan etiquetas de manejo. El reto técnico que resuelve esta patente es cómo aprovechar estos «vídeos, que existen en gran cantidad pero carecen de etiquetas».

Tecnología clave | Modelo de dinámica inversa (IDM) y etiquetado simulado

El núcleo de la solución de esta patente es el modelo de dinámica inversa (Inverse Dynamics Model, IDM).

¿Qué es el IDM? Es un modelo que, al observar las pantallas (observaciones) antes y después de un momento determinado, estima «qué operaciones se llevaron a cabo» durante ese intervalo. Mientras que la IA convencional (modelo de estrategia) predice «qué se debe hacer a continuación», el IDM realiza una estimación, por así decirlo, en sentido inverso, es decir, «adivina a posteriori qué se ha hecho».

El flujo del proceso es el siguiente.

[VPT: Proceso de aprendizaje de las acciones a partir de vídeos] ① Pequeña cantidad de vídeos etiquetados (anotados por personas) │ Entrenamiento ▼ ② Entrenamiento del modelo de dinámica inversa (IDM) ・Se consigue estimar las «acciones realizadas» a partir de las pantallas anteriores y posteriores │ Aplicación ▼ ③ Aplicación del IDM a una gran cantidad de vídeos sin etiquetar ・Estimación automática de las operaciones en cada momento = Generación de «etiquetas simuladas» │ ▼ ④ Se obtiene una gran cantidad de datos de vídeo con etiquetas simuladas │ Entrenamiento ▼ ⑤ Entrenamiento a gran escala del modelo de operaciones (agente)

💡 Punto clave: La clave está en utilizar el IDM, creado a partir de «una pequeña cantidad de datos correctos», como «máquina de etiquetado» para convertir de una sola vez una enorme cantidad de vídeos sin etiquetar en datos de entrenamiento. Esto ha reducido drásticamente el coste de la anotación manual y ha abierto el camino para el aprendizaje a gran escala de agentes basados en el uso de ordenadores.

La principal innovación｜Predicción «no causal (que también mira hacia el futuro)»

En la reivindicación 1 se especifica que las predicciones del IDM «se basan en una combinación no causal de información pasada y futura». Este es el aspecto técnico más destacado.

De hecho, los «modelos de estrategia» que la IA maneja en tiempo real solo pueden ver el pasado (el futuro aún no ha ocurrido = causal). Sin embargo, dado que el IDM es un proceso de posprocesamiento para el etiquetado, puede consultar también los fotogramas anteriores y posteriores a un momento determinado, es decir, los fotogramas futuros.

💡 Punto clave: gracias a la condición de que «se puede tener en cuenta el futuro», el IDM puede predecir con mucha mayor precisión «qué operación se llevó a cabo en ese instante».Por ejemplo, a partir de la información futura de que «el cursor se ha desplazado hacia la derecha en el siguiente fotograma», se puede estimar con gran precisión que «ahora se ha movido el ratón hacia la derecha». Aprovechar esta «no causalidad» para el etiquetado constituye el núcleo intelectual de la presente invención.

¿Qué tipo de acciones genera?

Según la descripción técnica, las acciones generadas por el modelo (automatic interface actions) incluyen pulsaciones de teclas, pulsaciones de botones, entradas en pantallas táctiles, manejo de joysticks, clics del ratón, desplazamiento y movimientos del ratón, entre otras. Como ámbitos de aplicación se citan los videojuegos, diversas aplicaciones de procesamiento, navegadores web, hojas de cálculo y exploradores de archivos, entre otros.

En otras palabras, el objetivo es que la IA pueda ejecutar, sin intervención humana (without human intervention), cualquier operación que un ser humano realice en una interfaz gráfica de usuario (GUI). Esta es, precisamente, la tecnología fundamental de los agentes de «uso de ordenadores».

Lectura detallada de la reivindicación independiente 1

US 11.887.367 B1 | Reivindicación 1 (texto original / inglés)

Método para entrenar un modelo de aprendizaje automático para realizar acciones automatizadas, que comprende: recibir datos de vídeo digital sin etiquetar; generar pseudoetiquetas para los datos de vídeo digital sin etiquetar, en el que la generación comprende: recibir datos de vídeo digital etiquetados; entrenar un primer modelo de aprendizaje automático que incluye un modelo de dinámica inversa (IDM) utilizando los datos de vídeo digital etiquetados; y generar al menos una pseudoetiqueta para los datos de vídeo digital sin etiquetar, en la que: la al menos una pseudoetiqueta se basa en una predicción, generada por el IDM, de una o más acciones que imitan al menos un paso temporal de los datos de vídeo digital sin etiquetar, y la predicción de una o más acciones se genera basándose en una combinación no causal de información pasada e información futura dentro de los datos de vídeo digital sin etiquetar, siendo la información pasada y futura relativa a uno o más fotogramas de referencia dentro de los datos de vídeo digital sin etiquetar; añadir la al menos una pseudoetiqueta a los datos de vídeo digital sin etiquetar para formar datos de vídeo digital pseudoetiquetados; y entrenar adicionalmente el primer modelo de aprendizaje automático o un segundo modelo de aprendizaje automático utilizando los datos de vídeo digital pseudoetiquetados para generar al menos una pseudoetiqueta adicional para el vídeo digital sin etiquetar.

Traducción de referencia realizada por un agente de patentes (en japonés)

Método para entrenar un modelo de aprendizaje automático que ejecuta acciones automatizadas, que comprende
:・una etapa de recepción de datos de vídeo digital sin etiquetar, y・una etapa de generación de
pseudoetiquetas (pseudo-labels) para dichos datos de vídeo sin etiquetar (que incluye lo siguiente):
　- recibir datos de vídeo digital etiquetados;
- entrenar, utilizando dichos datos etiquetados, un primer modelo de aprendizaje automático que incluye un modelo de dinámica inversa (IDM);
- generar al menos una pseudoetiqueta para el vídeo sin etiquetar.Dichas pseudoetiquetas se basan en predicciones del IDM de una o más acciones que imitan al menos un instante de tiempo del vídeo sin etiquetar; dichas predicciones se generan a partir de una combinación «no causal» de información pasada y futura con respecto a un fotograma de referencia;
・un paso para formar datos de vídeo con etiquetas simuladas añadiendo las etiquetas simuladas mencionadas anteriormente
, y ・un paso para entrenar adicionalmente el primer o el segundo modelo con los datos con etiquetas simuladas mencionados anteriormente, con el fin de generar etiquetas simuladas adicionales.

Recopilación de las limitaciones que sustentan la protección de los derechos

Limitaciones Significado técnico Motivo por el que es válido
IDM (modelo de dinámica inversa) Deducción de la operación a partir de las pantallas anteriores y posteriores Algoritmo concreto = alejamiento de las ideas abstractas
Predicción no causal (pasado + futuro) Mayor precisión gracias a la referencia a fotogramas futuros La esencia de la originalidad y el carácter innovador de la presente invención
Etiquetado simulado Conversión de vídeos sin etiquetar en datos de entrenamiento Solución a los retos técnicos (coste de anotación)
Entrenamiento adicional Entrenamiento del modelo de predicción con datos simulados Flujo de procesamiento completo como método de aprendizaje

Estructura de las reivindicaciones: conjunto de tres elementos (método, sistema y soporte)

Esta patente consta de un total de 20 reivindicaciones y presenta la estructura clásica de una patente de software, con reivindicaciones independientes agrupadas en tres categorías: método (reivindicación 1), sistema (reivindicación 13) y soporte informático no transitorio (reivindicación 20).De este modo, abarca a los distintos sujetos que pueden infringir la patente: quienes aplican el método, quienes fabrican o utilizan el dispositivo y quienes distribuyen el programa.

OpenAI frente a Anthropic | Dos caminos hacia el «uso informático»

A pesar de compartir el mismo objetivo —«que la IA maneje un ordenador»—, OpenAI y Anthropic han obtenido patentes mediante enfoques técnicos distintos. Al comparar las patentes de ambas empresas que hemos analizado en esta serie, las diferencias estratégicas se hacen evidentes.

  OpenAI (este artículo) Anthropic (ya analizada)
Patentes representativas US 11,887,367 B1 (VPT) US 12,430,150 B1, entre otras
Objeto de protección Método de entrenamiento para aprender operaciones a partir de vídeos Plataforma de ejecución de agentes, DSL y flujo de datos
Enfoque Gran volumen de vídeos sin etiquetar + etiquetado automático mediante IDM Arquitectura de tiempo de ejecución y lenguaje específico
Origen de la tecnología Investigación propia (VPT) Adquisición de Adept
Por ejemplo se domine la «forma de enseñar (método de aprendizaje)» «Dominar la forma de ponerlo en práctica (sistema de ejecución)»

💡 Punto clave: OpenAI registra sus derechos centrándose en «cómo hacer que aprenda (métodos de entrenamiento y datos)», mientras que Anthropic lo hace en «cómo hacerlo funcionar (arquitectura de ejecución)».Es un buen ejemplo de cómo, incluso en el mismo sector de productos, cada empresa obtiene patentes en el ámbito en el que tiene sus puntos fuertes. A la hora de presentar una solicitud propia, es fundamental determinar «en qué ámbito competir».

¿Se pueden patentar los métodos de aprendizaje? El examen en Japón, EE. UU. y Europa

Estados Unidos (USPTO)

Dado que los métodos de entrenamiento del aprendizaje automático pueden considerarse técnicas matemáticas abstractas, el punto clave es la aplicación de las pruebas de Alice y Mayo.En este caso, dado que se trata de algoritmos concretos —como IDM, predicción no causal y etiquetado simulado— y que implican acciones concretas —como pulsar teclas y manejar el ratón—, resulta más fácil argumentar que se trata de una «solución concreta a un problema técnico», por lo que actualmente está registrada.

Japón (JPO)

En Japón, los métodos de aprendizaje y los modelos ya entrenados también son objeto de patente. Sin embargo, según los casos de IA de la Oficina de Patentes, se niega la actividad inventiva cuando «simplemente se sustituye el trabajo humano por IA».En este caso, la estructura permite alegar fácilmente la actividad inventiva, ya que presenta claramente el ingenio técnico de «aprovechar la no causalidad para el etiquetado» y el efecto de una «reducción drástica del coste de anotación».

Europa (EPO)

Aunque los métodos matemáticos en sí mismos quedan excluidos, en este caso la contribución técnica al reto de «convertir de forma eficiente vídeos sin etiquetar en datos de entrenamiento» es clara, por lo que su estructura permite que se evalúe fácilmente como característica técnica incluso bajo el enfoque COMVIK.

La comparación de las prácticas de examen de las patentes de agentes de IA en Japón, EE. UU. y Europa se explica detalladamente en «Casos de patentes y prácticas de examen en Japón, EE. UU. y Europa».

Lecciones para las solicitudes de la propia empresa

① Proteja con derechos de propiedad intelectual los métodos de aprendizaje y la forma de generar datos. No solo el modelo en sí, sino también «cómo se entrena» y «cómo se crean los datos de entrenamiento» pueden constituir una patente sólida.

② Poner de relieve las soluciones técnicas propias. Situemos en el centro de las reivindicaciones ideas concretas que contribuyan a resolver el problema, como «el uso de la predicción no causal».

③ Alejarse de las matemáticas abstractas. Describa algoritmos concretos y resultados específicos (como movimientos del ratón o pulsaciones de teclas) para garantizar la elegibilidad de la patente.

④ Competir en el ámbito de las fortalezas de la empresa. Aunque el objetivo sea el mismo que el de la competencia, resulta eficaz una estrategia que consista en obtener derechos en el ámbito en el que la empresa destaca (métodos de aprendizaje, sistemas de ejecución, datos, etc.).

¿Por qué no proteger con derechos de propiedad intelectual su IA, sus métodos de aprendizaje e incluso sus datos?

Nuestros agentes de la propiedad industrial, expertos en los campos de las tecnologías de la información, el software y la IA, le ofrecen un apoyo integral que abarca desde el diseño de reivindicaciones que incluyan métodos de aprendizaje, datos y modelos, hasta un diagnóstico gratuito de la viabilidad de la protección y estrategias de presentación de solicitudes en Japón, EE. UU. y Europa.

Reserva tu primera consulta gratuita Servicios de propiedad intelectual en TI e IA

Preguntas frecuentes (FAQ)

P. ¿En qué consiste la patente US 11,887,367 B1?

R. Es una patente registrada en EE. UU. por OpenAI que protege un método para enseñar a la IA a realizar «operaciones automáticas en pantalla».Se trata de una tecnología que permite etiquetar automáticamente (etiquetado simulado) una enorme cantidad de vídeos sin etiquetar (como vídeos en los que se ve a personas manejando un software) mediante un «modelo de dinámica inversa (IDM)» entrenado con una pequeña cantidad de datos etiquetados, y entrenar el modelo de manejo con esos datos masivos.Esta tecnología es compatible con el método que OpenAI denomina «VPT (Video PreTraining)» y se registró el 30 de enero de 2024.

P. ¿Qué es el «modelo de dinámica inversa (IDM)»?

R. Es un modelo que estima «qué operaciones (acciones) se llevaron a cabo» durante un intervalo de tiempo a partir de las imágenes (observaciones) anteriores y posteriores a un momento determinado. Mientras que la IA convencional (modelo de políticas) predice «qué se debe hacer a continuación», el IDM estima a posteriori «qué se ha hecho».Dado que puede consultar no solo los fotogramas pasados, sino también los futuros, la precisión en la estimación de las operaciones es elevada y permite generar una gran cantidad de etiquetas a bajo coste.

P. ¿Por qué es importante «aprender a partir de vídeos»?

R. En Internet existen innumerables vídeos de personas manejando programas o juegos. Sin embargo, estos no incluyen etiquetas de operación que indiquen «cuándo y qué tecla se pulsó».Esta invención ha abierto el camino para entrenar a agentes de «uso de ordenadores» de forma económica y a gran escala, entrenando el IDM a partir de una pequeña cantidad de datos etiquetados y etiquetando automáticamente una enorme cantidad de vídeos sin etiquetar.

P. ¿En qué se diferencia de la patente de uso informático de Anthropic?

R. El enfoque es radicalmente diferente. Anthropic (procedente de Adept) protege «la plataforma de ejecución del agente, el DSL y el flujo de datos».Por su parte, la presente patente de OpenAI protege el «método de entrenamiento para que se aprendan operaciones a partir de vídeos». Resulta interesante que, ante el mismo reto de «hacer que la IA maneje un ordenador», ambas empresas hayan obtenido patentes con enfoques técnicos diferentes.

P. ¿Se pueden patentar también los métodos de aprendizaje (métodos de entrenamiento)?

R. Sí. Tal y como ocurre con esta patente, si se describen claramente los algoritmos concretos (IDM, predicción no causal, etiquetado simulado) y los efectos técnicos que estos generan (etiquetado a gran escala y de bajo coste), es posible obtener la protección de los derechos tanto en Japón como en Estados Unidos y Europa.La forma de generar datos y los métodos de aprendizaje son la fuente de la competitividad de la IA y constituyen un importante objeto de protección mediante patente.

Notas sobre este artículo: Este artículo es una explicación general de la tecnología y el sistema basada en boletines de patentes publicados. La patente US 11,887,367 B1 es una patente registrada, pero el alcance real de los derechos viene determinado por la redacción de cada reivindicación, la doctrina de la equivalencia y la información sobre la historia de la patente.Las citas de las reivindicaciones, el resumen y la descripción se basan en datos de boletines publicados (como FreePatentsOnline, etc.), pero para usos de importancia jurídica (análisis de libertad para actuar, análisis de infracción, nulidad, solicitudes, etc.), es imprescindible que consulte el original de la USPTO y la información más reciente sobre el historial de la patente, y que recurra al análisis individual de un experto.La traducción al japonés es una traducción de referencia para facilitar la comprensión; el texto oficial es el original en inglés.

Fuente
, , , , , , , , , ,