.png?width=500&height=250&name=%E7%9F%A5%E7%9A%84%E8%B2%A1%E7%94%A3%E4%BA%8B%E5%8B%99%E6%89%80%E3%82%A8%E3%83%9C%E3%83%AA%E3%82%AF%E3%82%B9%20(500%20%C3%97%20250%20px).png)
AI代理“使用”电脑的时代已经到来。引领这一潮流的是Anthropic的“Computer...
要让“AI操作电脑”，首先需要让它学习“操作方法”。本系列此前已对支撑Anthropic“Computer Use”功能的专利群进行了讲解，那么OpenAI又是如何教AI进行屏幕操作的呢——答案就在本文将深入探讨的注册专利US 11,887,367 B1中。
该专利所展示的OpenAI方法，简而言之就是“通过让AI观看大量人类操作视频来使其学习”。而且，它采用了一种巧妙的机制，即利用独创的方法，对没有操作标签的视频自动添加标签。这是一个与Anthropic的“Computer Use”专利完全不同，却以相同目标为导向的对比案例。精通AI知识产权的专利代理人将结合实际权利要求进行详细解读。
💡 要点：本文是AI智能体专利系列文章之一。关于Anthropic截然不同的方法，已在数据流专利和“计算机使用”核心专利中进行过讲解。
目录
30秒摘要｜“通过观看视频学习操作”的AI
● 专利内容：让AI学习“屏幕自动操作”的训练方法。
● 核心：利用少量带标签的视频训练“逆动力学模型（IDM）” → 对海量无标签视频进行自动标注（伪标注）→ 利用该海量数据训练操作模型。
● 最大创新：IDM采用可参考未来帧的“非因果”预测，操作推断精度高。
● 专利归属：OpenAI OpCo, LLC（ChatGPT的开发方）。
● 状态：美国注册专利（2024年1月30日注册，共20项权利要求）。OpenAI将其称为“VPT”的方法。
● 核心：利用少量带标签的视频训练“逆动力学模型（IDM）” → 对海量无标签视频进行自动标注（伪标注）→ 利用该海量数据训练操作模型。
● 最大创新：IDM采用可参考未来帧的“非因果”预测，操作推断精度高。
● 专利归属：OpenAI OpCo, LLC（ChatGPT的开发方）。
● 状态：美国注册专利（2024年1月30日注册，共20项权利要求）。OpenAI将其称为“VPT”的方法。
专利基本信息
| 项目 | 内容 |
|---|---|
| 专利号 | US 11,887,367 B1 |
| 发明名称 | 利用机器学习训练并使用模型，基于视频和输入数据集执行自动界面操作 |
| 注册日期 | 2024年1月30日 |
| 申请日／优先权日 | 2023年4月19日 |
| 申请人 | OpenAI OpCo, LLC |
| 发明人 | Bowen Baker、Jeffrey Clune 等（共9人） |
| 权利要求数 | 20项（独立权利要求3项：权利要求1、13、20） |
| 通称 | VPT（视频预训练） |
| 状态 | 已授权专利（granted） |
背景｜制作“屏幕操作的正确标签”成本高昂
教AI进行屏幕操作最直接的方法，是准备大量“在该屏幕界面时按下该键”的正确答案数据（标注数据）并让其进行学习。然而，人工在视频上标注“何时、按了哪个键、点击了哪里”的工作，需要耗费巨大的成本。
另一方面，互联网上存在着无数用户操作软件或游戏的视频。问题在于，这些视频并未标注操作标签。如何利用这些“数量庞大但未标注标签的视频”，正是本专利所要解决的技术课题。
核心技术｜逆动力学模型（IDM）与伪标注
本专利解决方案的核心是逆动力学模型（Inverse Dynamics Model, IDM）。
什么是IDM：一种通过观察某个时间点前后的画面（观测数据），推断其间“进行了何种操作”的模型。与常规AI（策略模型）预测“接下来该做什么”不同，IDM进行的是“事后推断发生了什么”的推断，可以说是一种反向推断。
处理流程如下。
【VPT：从视频中学习操作的流程】 ① 少量带标签的视频（人工标注） │ 训练 ▼ ② 训练逆动力学模型（IDM） ・能够根据前后画面推断出“已执行的操作” │ 应用 ▼ ③ 将IDM应用于海量无标签视频 ・自动推断各时间点的操作 ＝生成“伪标签” │ ▼ ④ 生成大量带伪标签的视频数据 │ 训练 ▼ ⑤ 大规模训练操作模型（智能体）
💡 要点：关键在于将利用“少量正确数据”构建的IDM作为“标注机器”使用，从而将海量无标签视频一次性转化为训练数据。这极大地降低了人工标注的成本，为大规模训练计算机智能体开辟了道路。
最大的巧思｜“非因果性（兼顾未来）”预测
权利要求1中明确指出，IDM的预测“基于过去信息与未来信息的非因果（non-causal）组合”。这是该技术的亮点。
实际上，由AI实时操作的“策略模型”只能看到过去（未来尚未发生＝因果性）。但IDM作为用于标注的后处理环节，可以参考某个时间点的前后——即未来的帧。
💡 要点：得益于“可以预见未来”这一条件，IDM能够更精准地推断“该瞬间进行了何种操作”。例如，根据“光标在下一帧向右移动”这一未来信息，可以高精度地推断出“现在将鼠标向右移动了”。将这种“非因果性”应用于标注，正是本发明的智慧核心。
会输出什么样的操作
根据说明书，模型生成的操作（automatic interface actions）包括按键、按钮点击、触摸屏输入、摇杆操作、鼠标点击、滚动、鼠标移动等。应用领域包括电子游戏、各类处理应用程序、Web浏览器、电子表格、文件资源管理器等。
也就是说，其目标是让AI能够在无需人类干预（without human intervention）的情况下，执行人类在GUI上进行的任何操作。这正是“计算机使用”代理的基础技术。
逐条阅读独立权利要求1
支撑权利主张的限定整理
| 限定 | 技术含义 | 生效理由 |
|---|---|---|
| IDM（逆动力学模型） | 根据前后画面推断操作 | 摆脱“具体算法＝抽象概念”的思维定式 |
| 非因果性（过去＋未来）预测 | 参考未来帧以提高预测精度 | 本发明的独特性与进步性的核心 |
| 伪标注 | 将无标签视频转化为训练数据 | 解决技术难题（标注成本） |
| 进一步训练 | 利用伪数据训练操作模型 | 作为学习方法的完整处理流程 |
权利要求构成｜方法、系统、介质的“三要素”组合
本专利共包含20项权利要求，将独立权利要求分为方法（权利要求1）、系统（权利要求13）和非临时性计算机可读介质（权利要求20）三大类，是软件专利的经典构成。由此，该专利全面涵盖了实施该方法者、制造或使用该装置者以及分发该程序者等不同类型的侵权主体。
OpenAI vs Anthropic｜通向“computer use”的两条路径
面对“让AI操作电脑”这一共同目标，OpenAI和Anthropic采用了不同的技术路径获得了专利。对比本系列文章中介绍的两家公司专利，其战略差异显得尤为鲜明。
| OpenAI（本文） | Anthropic（已解析） | |
|---|---|---|
| 代表性专利 | US 11,887,367 B1（VPT） | US 12,430,150 B1 等 |
| 保护对象 | 通过视频学习操作的训练方法 | 代理的执行基础、DSL、数据流 |
| 方法 | 利用海量无标签视频＋IDM进行自动标注 | 运行时架构与专用语言 |
| 技术来源 | 自主研发（VPT） | 收购Adept公司 |
| 比喻 | 掌握“教学方法（学习法）” | 掌握“运行方式（执行架构）” |
💡 要点：OpenAI主要围绕“如何进行学习（训练方法·数据）”进行专利布局，而Anthropic则侧重于“如何驱动（执行架构）”。这正是各公司在同一产品领域内，针对自身优势层级申请专利的典型案例。即使是在自主申请专利时，准确判断“在哪个层级展开竞争”也至关重要。
学习方法能获得专利吗？日美欧的审查情况
美国（USPTO）
由于机器学习的训练方法可能被视为抽象的数学方法，因此Alice/Mayo测试将成为争议焦点。本案涉及IDM、非因果预测、伪标注等具体算法，并伴有按键、鼠标操作等具体动作，因此更容易主张“对技术问题的具体解决方案”，目前已获授权。
日本（JPO）
在日本，学习方法和已训练模型也是专利保护对象。不过，根据日本专利局的AI案例，若“仅仅是用AI取代了人类的工作”，则会被认定缺乏进步性。本案中，“将非因果性应用于标注”这一技术巧思以及“大幅降低标注成本”这一效果十分明确，其构成便于主张进步性。
欧洲（EPO）
虽然数学方法本身不被纳入专利保护范围，但本案对“将无标签视频高效转化为训练数据”这一技术课题做出了明确的技术贡献，其构成在COMVIK方法框架下也易于作为技术特征获得认可。
关于AI代理专利在日、美、欧三国审查实务的比较，详见《日本、美国、欧洲的专利案例与审查实务》。
对本公司专利申请的启示
① 将学习方法和数据构建方法纳入专利保护范围。不仅模型本身，"如何进行训练"、"如何构建训练数据"也能成为有力的专利。
② 将独创的技术巧思置于首位。应将“利用非因果预测”等有助于解决问题的具体创意作为权利要求的核心。
③ 摆脱抽象的数学表述。应明确记载具体的算法及具体的输出结果（如鼠标、键盘操作等），以确保专利适格性。
④ 在自身优势领域展开竞争。即使与竞争对手目标相同，在自身擅长的领域（学习方法、执行系统、数据等）获取专利的策略也是有效的。
何不将贵公司的AI、学习方法乃至数据都纳入专利保护范围呢？
精通IT、软件及AI领域的专利代理人将为您提供全方位支持，包括涵盖学习方法、数据及模型的权利要求设计、专利可获授权性的免费诊断，以及在日本、美国和欧洲的申请策略。
预约首次免费咨询 IT·AI知识产权服务常见问题（FAQ）
Q. US 11,887,367 B1是一项什么样的专利？
A. 这是OpenAI在美国注册的一项专利，保护了让AI学习“屏幕自动操作”的方法。该技术利用“逆动力学模型（IDM）”——即通过少量标注数据对海量无标注视频（如人操作软件的情景等）进行训练——实现自动标注（伪标注），并利用这些海量数据对操作模型进行训练。该技术对应OpenAI所称的“VPT（Video PreTraining）”方法，已于2024年1月30日获得注册。
问：“逆动力学模型（IDM）”是什么？
A. 这是一种通过某个时间点前后画面（观测数据），推断其间“发生了何种操作（动作）”的模型。与常规AI（策略模型）预测“接下来该做什么”不同，IDM是在事后推断“发生了什么”。由于不仅能参考过去的帧，还能参考未来的帧，因此操作推断精度高，且能够以较低成本生成大量标签。
Q. 为什么“从视频中学习”如此重要？
A. 互联网上存在无数关于人们操作软件或游戏的视频。然而，这些视频并未标注“何时按下了哪个键”这样的操作标签。本发明通过利用少量标注数据训练IDM，并自动为海量无标注视频添加标签，为以低成本、大规模方式训练计算机操作（computer use）智能体开辟了新途径。
Q. 这与Anthropic的计算机操作专利有何不同？
A. 两者的方法在根本上有所不同。Anthropic（源自Adept）保护的是“智能体的执行基础、DSL（领域特定语言）和数据流”。而OpenAI的这项专利则保护的是“通过视频学习操作的训练方法”。针对相同的“让AI操作电脑”这一课题，两家公司采用不同的技术方法获得了专利，这一点颇为耐人寻味。
Q. 学习方法（训练方法）也能申请专利吗？
A. 可以。如本专利所示，只要明确记载具体的算法（IDM、非因果预测、伪标注）及其产生的技术效果（低成本的大规模标注），无论在日本、美国还是欧洲，均可获得专利权。数据生成方法和学习方法是AI竞争力的源泉，也是重要的专利保护对象。
本文注意事项：本文基于已公开的专利公报，对技术和制度进行的一般性解说。US 11,887,367 B1虽为已注册专利，但实际权利范围由各权利要求条款的措辞、等同原则及历史信息决定。文中引用的权利要求、摘要及说明书内容虽基于公开公报数据（如FreePatentsOnline等），但在涉及法律重要用途（如自由实施分析、侵权分析、无效审查、专利申请等）时，请务必核对USPTO正本及最新案件进展信息，并咨询专家进行个别审查。日语译文仅供理解参考，正文以英文原文为准。
延伸阅读（AI代理专利系列）：
・Anthropic“计算机使用”核心专利 US 12,430,150 B1（执行基础）
・Anthropic的数据流专利（学习↔推理管道）
・日本、美国、欧洲的专利案例与审查实务（案例篇）
・AI代理技术能否申请专利？（基础篇）
・Anthropic“计算机使用”核心专利 US 12,430,150 B1（执行基础）
・Anthropic的数据流专利（学习↔推理管道）
・日本、美国、欧洲的专利案例与审查实务（案例篇）
・AI代理技术能否申请专利？（基础篇）
来源
- US 11,887,367 B1（Google Patents）：https://patents.google.com/patent/US11887367B1/en
- 权利要求书·说明书（FreePatentsOnline）：https://www.freepatentsonline.com/11887367.html
