Pular para o conteúdo
Português
お問い合わせ

[Explicação detalhada do advogado de patentes] Analisando a patente US 11.887.367 B1 (VPT) da OpenAI sobre o “agente de IA que aprende com vídeos” | Como definir o “uso de…

Picture of 弁理士 杉浦健文

Gemini_Generated_Image_862ths862ths862tPara que a IA “opere um computador”, é necessário, em primeiro lugar, ensiná-la a “como operar”.Já explicamos nesta série as patentes que sustentam o “Computer Use” da Anthropic, mas como a OpenAI ensina a IA a operar a tela? A resposta está na patente registrada US 11.887.367 B1, que analisaremos em profundidade neste artigo.

A abordagem da OpenAI apresentada nessa patente pode ser resumida em uma frase: “mostrar uma grande quantidade de vídeos de pessoas operando o computador para que a IA aprenda”. Além disso, ela utiliza um mecanismo engenhoso que, por meio de uma técnica própria, atribui automaticamente rótulos a vídeos que não possuem rótulos de operação. Trata-se de um caso contrastante, que busca o mesmo objetivo por um caminho totalmente diferente das patentes “Computer Use” da Anthropic.Um advogado especializado em propriedade intelectual de IA fará a explicação, citando as reivindicações reais.

💡 Ponto-chave: este artigo faz parte da série sobre patentes de agentes de IA. A abordagem contrastante da Anthropic é explicada nas patentes de fluxo de dados e na patente central de “Computer Use”.

Resumo em 30 segundos | IA que “aprende a operar assistindo a vídeos”

● Do que se trata a patente: método de treinamento para ensinar a IA a realizar “operações automáticas na tela”.
● Essência: treinar o “Modelo de Dinâmica Inversa (IDM)” com uma pequena quantidade de vídeos rotulados → rotular automaticamente (pseudo-rotulagem) uma enorme quantidade de vídeos não rotulados → treinar o modelo de operação com esses dados em massa.
● Principal inovação: o IDM utiliza previsões “não causais”, capazes de consultar quadros futuros, o que proporciona alta precisão na estimativa de operações.
● De quem é a patente: OpenAI OpCo, LLC (desenvolvedora do ChatGPT).
● Status: Patente registrada nos EUA (registrada em 30 de janeiro de 2024, com 20 reivindicações no total). Método denominado “VPT” pela OpenAI.

Informações básicas da patente

Item Conteúdo
Número da patente US 11.887.367 B1
Nome da invenção Uso de aprendizado de máquina para treinar e utilizar um modelo para realizar ações automáticas na interface com base em vídeos e conjuntos de dados de entrada
Data de registro 30 de janeiro de 2024
Data do pedido/Data de prioridade 19 de abril de 2023
Requerente OpenAI OpCo, LLC
Inventores Bowen Baker, Jeffrey Clune e outros (total de 9 pessoas)
Número de reivindicações 20 (3 independentes: reivindicações 1, 13 e 20)
Nome comum VPT (Video PreTraining)
Status Patente registrada (concedida)

Contexto | Criar “rótulos de respostas corretas para operações na tela” é caro

A maneira mais direta de ensinar a IA a operar uma tela é preparar uma grande quantidade de dados de respostas corretas (dados rotulados) do tipo “nesta tela, pressione esta tecla” e fazer com que ela aprenda a partir deles. No entanto, o trabalho de anotar manualmente em vídeos “quando, qual tecla e qual clique foram realizados” acarreta um custo enorme.

Por outro lado, existe na internet uma quantidade incontável de vídeos em que pessoas operam softwares ou jogos. O problema é que esses vídeos não possuem rótulos de operação. Como aproveitar esses “vídeos que existem em grande quantidade, mas não possuem rótulos” é o desafio técnico que esta patente vem resolver.

Tecnologia central | Modelo de Dinâmica Inversa (IDM) e pseudo-rotulagem

O núcleo da solução desta patente é o Modelo de Dinâmica Inversa (Inverse Dynamics Model, IDM).

O que é o IDM: um modelo que, ao analisar as telas (observações) antes e depois de um determinado momento, estima “quais operações foram realizadas” nesse intervalo. Enquanto a IA convencional (modelo de estratégia) prevê “o que deve ser feito a seguir”, o IDM realiza uma estimativa, por assim dizer, na direção oposta, ou seja, “adivinha a posteriori o que foi feito”.

O fluxo do processamento é o seguinte.

【VPT: Fluxo de aprendizagem de operações a partir de vídeos】 ① Pequena quantidade de vídeos rotulados (com anotações feitas por pessoas) │ Treinamento ▼ ② Treinamento do Modelo de Dinâmica Inversa (IDM) ・Torna-se capaz de estimar as “operações realizadas” a partir dos quadros anteriores e posteriores │ Aplicação ▼ ③ Aplicação do IDM a uma enorme quantidade de vídeos sem rótulos ・Estimativa automática das operações em cada momento = geração de “pseudo-rótulos” │ ▼ ④ Conclusão de uma grande quantidade de dados de vídeo com pseudo-rótulos │ Treinamento ▼ ⑤ Treinamento em grande escala do modelo de operação (agente)

💡 Ponto-chave: O segredo está em usar o IDM, criado a partir de “uma pequena quantidade de dados corretos”, como uma “máquina de rotulagem” para transformar, de uma só vez, uma enorme quantidade de vídeos sem rótulos em dados de treinamento. Isso reduziu drasticamente o custo da anotação manual e abriu caminho para o treinamento em grande escala de agentes de uso de computador.

A maior inovação | Previsão “não causal (que antecipa o futuro)”

A reivindicação 1 especifica que a previsão do IDM se baseia em “uma combinação não causal de informações passadas e futuras”. Esse é o destaque técnico.

Na prática, o “modelo de estratégia” operado pela IA em tempo real só pode enxergar o passado (o futuro ainda não aconteceu = causal). No entanto, como o IDM é um pós-processamento para fins de rotulagem, ele pode consultar os quadros antes e depois de um determinado momento — ou seja, os quadros futuros.

💡 Ponto-chave: graças à condição de que “é permitido considerar o futuro”, o IDM consegue prever com muito mais precisão “qual operação foi realizada naquele instante”.Por exemplo, a partir da informação futura de que “o cursor se moveu para a direita no quadro seguinte”, é possível estimar com alta precisão que “o mouse foi movido para a direita neste momento”. Aproveitar essa “não causalidade” para a rotulagem é o cerne intelectual da presente invenção.

Que tipo de ação é gerada?

De acordo com a descrição técnica, as operações geradas pelo modelo (automatic interface actions) incluem pressionamento de teclas, pressionamento de botões, entradas em telas sensíveis ao toque, manobras com joystick, cliques do mouse, rolagem e movimentação do mouse, entre outras. Como áreas de aplicação, são citados videogames, diversos aplicativos de processamento, navegadores da Web, planilhas e exploradores de arquivos, entre outros.

Em outras palavras, o objetivo é permitir que a IA execute, sem intervenção humana (without human intervention), todas as operações que um ser humano realiza na GUI. Essa é, precisamente, a tecnologia fundamental do agente de “uso do computador”.

Leitura detalhada da reivindicação independente 1

US 11.887.367 B1 | Reivindicação 1 (texto original / inglês)

Um método para treinar um modelo de aprendizado de máquina para realizar ações automatizadas, compreendendo: receber dados de vídeo digital não rotulados; gerar pseudo-rótulos para os dados de vídeo digital não rotulados, sendo que a geração compreende: receber dados de vídeo digital rotulados; treinar um primeiro modelo de aprendizado de máquina, incluindo um modelo de dinâmica inversa (IDM), utilizando os dados de vídeo digital rotulados; e gerar pelo menos um pseudo-rótulo para os dados de vídeo digital não rotulados, em que: o pelo menos um pseudo-rótulo se baseia em uma previsão, gerada pelo IDM, de uma ou mais ações que imitam pelo menos um intervalo de tempo dos dados de vídeo digital não rotulados, e a previsão de uma ou mais ações é gerada com base em uma combinação não causal de informações passadas e futuras contidas nos dados de vídeo digital não rotulados, sendo que as informações passadas e futuras são relativas a um ou mais quadros de referência contidos nos dados de vídeo digital não rotulados; adicionar a pelo menos uma pseudo-etiqueta aos dados de vídeo digital não rotulados para formar dados de vídeo digital pseudo-rotulados; e treinar adicionalmente o primeiro modelo de aprendizado de máquina ou um segundo modelo de aprendizado de máquina utilizando os dados de vídeo digital pseudo-rotulados para gerar pelo menos uma pseudo-etiqueta adicional para o vídeo digital não rotulado.

Tradução de referência feita por um advogado de patentes (em japonês)

Método para treinar um modelo de aprendizado de máquina que executa ações automatizadas, compreendendo
:・a etapa de receber dados de vídeo digital não rotulados; e・a etapa de gerar
pseudo-rotulagens (pseudo-labels) para os referidos dados de vídeo não rotulados (incluindo o seguinte):
　- receber dados de vídeo digital rotulados;
- treinar, utilizando os referidos dados rotulados, um primeiro modelo de aprendizado de máquina que inclui um modelo de dinâmica inversa (IDM);
- gerar pelo menos um pseudo-rótulo para o vídeo não rotulado.Essas pseudo-etiquetas baseiam-se em previsões do IDM de uma ou mais ações que imitam pelo menos um momento do vídeo sem etiquetas; tais previsões são geradas com base em uma combinação “não causal” de informações passadas e futuras em relação ao quadro de referência;
・a etapa de adicionar as referidas etiquetas simuladas para formar dados de vídeo com etiquetas simuladas; e ・a etapa de treinar ainda mais o primeiro
ou o segundo modelo com os referidos dados com etiquetas simuladas, a fim de gerar etiquetas simuladas adicionais.

Organização das limitações que sustentam a reivindicação de direitos

Limitações Significado técnico Motivo da validade
IDM (Modelo de Dinâmica Inversa) Estimativa da operação a partir das telas anteriores e posteriores Algoritmo concreto = afastamento das ideias abstratas
Previsão não causal (passado + futuro) Maior precisão com referência a quadros futuros O cerne da originalidade e do avanço da presente invenção
Rotulagem simulada Transformação de vídeos sem rótulos em dados de treinamento Solução para o desafio técnico (custo de anotação)
Treinamento adicional Aprendizado do modelo de processamento com dados simulados Fluxo de processamento completo como método de aprendizado

Estrutura das reivindicações | Conjunto de três elementos: método, sistema e mídia

Esta patente conta com um total de 20 reivindicações e apresenta a estrutura clássica de uma patente de software, com reivindicações independentes divididas em três categorias: método (reivindicação 1), sistema (reivindicação 13) e suporte não temporário legível por computador (reivindicação 20).Dessa forma, abrange diferentes sujeitos de violação: aqueles que implementam o método, aqueles que fabricam ou utilizam o dispositivo e aqueles que distribuem o programa.

OpenAI x Anthropic | Dois caminhos para o “uso de computador”

Apesar de compartilharem o mesmo objetivo de “fazer com que a IA opere um PC”, a OpenAI e a Anthropic obtiveram patentes por meio de abordagens técnicas diferentes. Ao comparar as patentes das duas empresas analisadas nesta série, as diferenças estratégicas tornam-se evidentes.

  OpenAI (este artigo) Anthropic (já abordada)
Patentes representativas US 11.887.367 B1 (VPT) US 12.430.150 B1, entre outras
Objeto protegido Método de treinamento para aprender operações a partir de vídeos Infraestrutura de execução de agentes, DSL e fluxo de dados
Abordagem Grande volume de vídeos sem rótulos + rotulagem automática com IDM Arquitetura de tempo de execução e linguagem dedicada
Origem da tecnologia Pesquisa própria (VPT) Aquisição da Adept
Exemplos domine a “maneira de ensinar (método de aprendizagem)” Compreender “como fazer funcionar (sistema de execução)”

💡 Ponto-chave: a OpenAI está registrando patentes com foco em “como fazer o aprendizado (métodos de treinamento e dados)”, enquanto a Anthropic se concentra em “como fazer a execução (arquitetura de execução)”.Este é um bom exemplo de como, mesmo no mesmo setor de produtos, cada empresa obtém patentes na camada em que tem seu ponto forte. Mesmo em pedidos de patente próprios, é importante determinar “em qual camada se vai competir”.

Os métodos de aprendizado podem ser patenteados? Análises nos Japão, EUA e Europa

Estados Unidos (USPTO)

Como os métodos de treinamento de aprendizado de máquina podem ser considerados técnicas matemáticas abstratas, os testes de Alice e Mayo tornam-se pontos de discussão.Como este caso envolve algoritmos específicos — IDM, previsão não causal e pseudo-rotulagem —, além de ações concretas, como pressionamento de teclas e manobras do mouse, é mais fácil argumentar que se trata de uma “solução concreta para um problema técnico”, e a patente já está registrada.

Japão (JPO)

No Japão, métodos de aprendizado e modelos já treinados também são passíveis de patente. No entanto, nos casos de IA analisados pelo Escritório de Patentes, a “simples substituição do trabalho humano pela IA” tem sua capacidade de avanço negada.Neste caso, a inovação técnica de “utilizar a não causalidade na rotulagem” e o efeito de “redução drástica do custo de anotação” são claros, constituindo uma estrutura que facilita a alegação de progressividade.

Europa (EPO)

Embora os métodos matemáticos em si sejam excluídos, este caso apresenta uma contribuição técnica clara para o desafio de “transformar vídeos sem rótulos em dados de treinamento de forma eficiente”, sendo uma estrutura que pode ser facilmente avaliada como característica técnica mesmo sob a abordagem COMVIK.

A comparação entre as práticas de exame de patentes de agentes de IA no Japão, nos Estados Unidos e na Europa é explicada detalhadamente em “Casos de patentes e práticas de exame no Japão, nos Estados Unidos e na Europa”.

Lições para os pedidos da própria empresa

① Proteja os métodos de aprendizado e a forma de criação de dados. Não apenas o modelo em si, mas também “como treiná-lo” e “como criar dados de treinamento” podem se tornar patentes sólidas.

② Destacar as inovações técnicas exclusivas. Coloque no centro das reivindicações ideias concretas que sejam eficazes na resolução de problemas, como a “utilização de previsões não causais”.

③ Afaste-se da matemática abstrata. Descreva algoritmos concretos e saídas específicas (como movimentos do mouse e teclas) para garantir a elegibilidade para patente.

④ Lute no nível em que sua empresa tem vantagem. Mesmo que o objetivo seja o mesmo dos concorrentes, é eficaz adotar uma estratégia de obter direitos no nível em que sua empresa se destaca (métodos de aprendizado, sistemas de execução, dados etc.).

Que tal proteger com direitos de propriedade intelectual a IA, os métodos de aprendizado e até mesmo os dados da sua empresa?

Nossos advogados especializados em TI, software e IA oferecem suporte completo, desde a elaboração de reivindicações que incluem métodos de aprendizado, dados e modelos, passando por um diagnóstico gratuito da viabilidade de proteção, até estratégias de depósito de pedidos no Japão, nos EUA e na Europa.

Agende uma consulta inicial gratuita Serviços de Propriedade Intelectual em TI e IA

Perguntas frequentes (FAQ)

P. O que é a patente US 11.887.367 B1?

R. É uma patente registrada nos EUA pela OpenAI que protege um método para ensinar a IA a realizar a “operação automática da tela”.Trata-se de uma tecnologia que utiliza um “Modelo de Dinâmica Inversa (IDM)”, treinado com uma pequena quantidade de dados rotulados, para rotular automaticamente (pseudo-rotulagem) uma enorme quantidade de vídeos não rotulados (como, por exemplo, vídeos de pessoas operando um software) e, a partir desses dados em massa, treinar o modelo de operação.Ela é compatível com a técnica que a OpenAI denomina “VPT (Video PreTraining)” e foi registrada em 30 de janeiro de 2024.

P. O que é o “Modelo de Dinâmica Inversa (IDM)”?

R. É um modelo que estima “que tipo de operação (ação) foi realizada” durante um intervalo de tempo, a partir das imagens (observações) antes e depois de um determinado momento. Enquanto a IA convencional (modelo de estratégia) prevê “o que deve ser feito a seguir”, o IDM estima “o que foi feito” posteriormente.Como é possível consultar não apenas os quadros passados, mas também os futuros, a precisão da estimativa das operações é alta, permitindo a geração de grandes quantidades de rótulos a um custo baixo.

P. Por que “aprender com vídeos” é importante?

R. Na internet, existem inúmeros vídeos de pessoas operando softwares ou jogos. No entanto, esses vídeos não possuem rótulos de operação indicando “quando e qual tecla foi pressionada”.Esta invenção abriu caminho para o treinamento de agentes de “uso de computador” de forma econômica e em grande escala, treinando o IDM a partir de uma pequena quantidade de dados rotulados e atribuindo rótulos automaticamente a uma enorme quantidade de vídeos não rotulados.

P. Qual é a diferença em relação à patente de “computer use” da Anthropic?

R. A abordagem é fundamentalmente diferente. A Anthropic (originária da Adept) protege a “base de execução do agente, a DSL e o fluxo de dados”.Por outro lado, a presente patente da OpenAI protege o “método de treinamento para aprender operações a partir de vídeos”. É interessante observar que, diante do mesmo desafio de “fazer com que a IA opere um PC”, ambas as empresas obtiveram patentes com abordagens técnicas diferentes.

P. Métodos de aprendizado (métodos de treinamento) também podem ser patenteados?

R. Sim. Assim como nesta patente, se forem descritos claramente algoritmos específicos (IDM, previsão não causal, pseudo-rotulagem) e os efeitos técnicos que eles geram (rotulagem em grande escala a baixo custo), é possível obter a proteção de direitos tanto no Japão quanto nos Estados Unidos e na Europa.A forma de criação de dados e os métodos de aprendizado são a fonte da competitividade da IA e constituem importantes objetos de patente.

Observações sobre este artigo: Este artigo é uma explicação geral sobre a tecnologia e o sistema com base em boletins de patentes publicados. A US 11.887.367 B1 é uma patente registrada, mas o escopo real dos direitos é determinado pela redação de cada reivindicação, pela doutrina da equivalência e pelas informações de histórico.As reivindicações, o resumo e o conteúdo da descrição citados baseiam-se em dados de boletins publicados (como o FreePatentsOnline), mas, para fins juridicamente importantes (FTO, análise de violação, invalidação, pedidos de patente etc.), verifique sempre o original do USPTO e as informações mais recentes sobre o andamento do processo e recorra à análise individual de um especialista.A tradução para o japonês é uma tradução de referência para facilitar a compreensão; o texto oficial é o original em inglês.

Fonte
, , , , , , , , , ,