.png?width=500&height=250&name=%E7%9F%A5%E7%9A%84%E8%B2%A1%E7%94%A3%E4%BA%8B%E5%8B%99%E6%89%80%E3%82%A8%E3%83%9C%E3%83%AA%E3%82%AF%E3%82%B9%20(500%20%C3%97%20250%20px).png)
AI 에이전트의 성능은 모델뿐만 아니라 ‘어떤 데이터를 사용하여 어떻게 학습하고 어떻게 구동하는가’라는 기반 전체에 의해 결정됩니다. Anthropic의 ‘Computer...
AI 에이전트가 자율적으로 움직이는 시대, 가장 큰 우려 사항 중 하나는 ‘폭주’입니다. 주제에서 벗어나거나, 부적절한 내용을 출력하거나, 환각(그럴듯한 오류)을 일으키는 등――이러한 위험을 어떻게 방지할 수 있을까요?이 과제에 대한 NVIDIA의 해답이 바로 본 기사에서 심층적으로 살펴볼 특허 출원 US 2024/0354319 A1 ‘대화형 AI 시스템에서 언어 모델의 런타임 정렬(Runtime alignment of language models in conversational AI systems)’입니다.
이번 시리즈에서는 지금까지 에이전트의 ‘실행 기반’, ‘본체’, ‘학습’, ‘협업’, ‘구축’을 보호하는 특허들을 살펴보았습니다.본 기사는 그들과는 달리, ‘안전 레일(가드레일)’이라는 새로운 계층을 다룹니다. 게다가 NVIDIA가 오픈소스로 공개하는 ‘NeMo Guardrails’에 대응하는 특허라는 점에서도 흥미로운 사례입니다. AI 지적재산권에 정통한 변리사가 실제 청구항을 인용하며 해설합니다.
💡 핵심: 본 기사는 AI 에이전트 특허 시리즈의 한 편입니다. 각 기업의 비교 분석은 Anthropic 전략 편이나 일본·미국·유럽 사례 편을 참고해 주십시오.
목차
- 30초 요약｜AI의 ‘안전 레일’을 지키는 특허
- 특허 출원 기본 정보
- 배경｜AI 에이전트의 ‘폭주’를 어떻게 막을 것인가
- 핵심 ①｜‘재학습 없이 실행 시 제어한다’는 발상
- 핵심 ②｜정규형 → 대화 흐름 → 실행이라는 구조
- 핵심 ③｜Colang｜AI의 행동을 기술하는 언어
- 핵심 ④｜입구(ingress)와 출구(egress)의 2단계 구조
- 독립 청구항 1을 조항별로 살펴보기
- 에이전트의 “안전 레이어”를 권리화한다
- 전략｜오픈소스(NeMo Guardrails)와 특허의 양립
- 일본·미국·유럽의 심사에서는 어떻게 평가될 것인가
- 자사 출원에 대한 교훈
- 자주 묻는 질문(FAQ)
30초 요약｜AI의 ‘안전 레일’을 지키는 특허
● 어떤 특허인가: LLM의 출력을 실행 시(런타임)에 제어하고 안전하게 만드는 ‘가드레일’ 기술.
● 핵심: ① 모델을 재학습하지 않고 실행 시에 제어, ② 사용자 입력을 정규형(제약된 의미 표현)으로 변환, ③ 대화 흐름을 대조(또는 신규 생성)하여 출력을 제어, ④ Colang이라는 형식 언어로 동작을 기술.
● 누구의 특허인가: NVIDIA Corporation.
● 현황: 미국 특허 출원 공개(A1) = 심사 계속 중(2024년 10월 24일 공개, 총 20개 청구항).
● 관련 기술: 오픈소스 ‘NeMo Guardrails’.
● 핵심: ① 모델을 재학습하지 않고 실행 시에 제어, ② 사용자 입력을 정규형(제약된 의미 표현)으로 변환, ③ 대화 흐름을 대조(또는 신규 생성)하여 출력을 제어, ④ Colang이라는 형식 언어로 동작을 기술.
● 누구의 특허인가: NVIDIA Corporation.
● 현황: 미국 특허 출원 공개(A1) = 심사 계속 중(2024년 10월 24일 공개, 총 20개 청구항).
● 관련 기술: 오픈소스 ‘NeMo Guardrails’.
특허 출원의 기본 정보
| 항목 | 내용 |
|---|---|
| 공개 번호 | US 2024/0354319 A1 |
| 발명의 명칭 | 대화형 AI 시스템 및 애플리케이션에서 언어 모델의 런타임 정렬 |
| 공개일 | 2024년 10월 24일 |
| 출원일/우선일 | 2023년 4월 20일 |
| 출원인 | NVIDIA Corporation |
| 발명자 | Razvan Dinu, Jonathan M. Cohen, Christopher M. Parisien, Traian-Eugen Rebedea |
| 청구항 수 | 20건 (독립 청구항 3건: 청구항 1·11·19) |
| 상태 | 공개 출원 (심사 계속 중) |
| 관련 기술 | NeMo Guardrails／Colang |
배경｜AI 에이전트의 ‘폭주’를 어떻게 막을 것인가
LLM은 강력하지만, 그 출력을 완전히 제어할 수는 없습니다. 주제에서 벗어나거나, 부적절한 발언을 하거나, 사실이 아닌 내용을 단정 짓는(환각) 등 이러한 위험은 AI를 실제 서비스나 업무에 도입할 때 큰 장벽이 됩니다.
특히 자율적으로 행동하는 AI 에이전트의 경우, 폭주의 영향이 더 커집니다. ‘AI를 어떻게 더 똑똑하게 만들 것인가’만큼이나 ‘AI를 어떻게 안전한 범위 내에 둘 것인가’가 중요해집니다. 본 특허는 이 후자의 과제를 해결하는 기술입니다.
핵심 ①｜‘재학습 없이 실행 시 제어한다’는 발상
AI의 행동을 바람직하게 만드는 기존의 방법은 파인 튜닝이나 RLHF와 같은 ‘모델 자체의 재학습’이었습니다. 그러나 이는 비용과 시간이 많이 들며, 빈번한 조정에는 적합하지 않습니다.
본 특허의 접근 방식은 근본적으로 다릅니다. 명세서에는 “언어 모델을 훈련하거나 재훈련하지 않고도 실행 시 출력을 제어할 수 있다”고 명시되어 있습니다. 모델은 그대로 두고, 그 ‘주변’에 제어층(가드레일)을 배치하는 것——이 발상이 핵심입니다.
💡 요점: “모델을 변경하지 않고 그 외부에서 제어한다”는 설계는, 설정 변경만으로 신속하고 유연하게 AI를 안전하게 만들 수 있다는 장점이 있습니다. 재학습이라는 부담스러운 처리를 불필요하게 만드는 것——이 기술적 효과가 진보성을 뒷받침하는 중요한 포인트가 됩니다.
핵심 ②｜정규형 → 대화 흐름 → 실행이라는 구조
그렇다면 실행 시에는 어떻게 제어할까요? 청구항 1이 제시하는 처리는 다음 3단계입니다.
【가드레일 처리 흐름(청구항 1)】 ① 정규형(canonical form) 생성 ・사용자 입력을 ‘제약된 의미 표현’으로 변환 ・다양한 표현을 공통된 표준형으로 정규화 ▼ ② 대화 흐름(dialog flow) 결정 ・정규형에 기초하여 출력을 제어할 대화 흐름을 결정 ・기존 흐름과 ‘대조’하고, 없으면 새로 ‘생성’ ▼ ③ 대화 흐름 실행 ・흐름을 실행하여 출력 생성 ・＝가드레일 범위 내에서 출력을 유지
핵심은 입력을 우선 ‘정규형’이라는 표준화된 의미 표현으로 변환하는 것입니다. 이를 통해 “날씨를 알려줘”, “오늘 날씨는?”과 같은 다양한 입력을 공통된 형태로 정리하여, 미리 정의된 대화 흐름(=허용된 행동의 대본)과 대조할 수 있습니다.
핵심 ③｜Colang｜AI의 행동을 기술하는 언어
명세서는 대화 흐름이나 정규형을 정의하기 위해 ‘형식적(대화적 또는 자연어) 모델링 언어’를 사용한다고 설명합니다. 이것이 NVIDIA의 ‘Colang’에 해당합니다.
Colang은 ‘사용자가 이렇게 말하면 AI는 이렇게 행동한다’는 규칙이나 허용되는 대화 흐름(플로우 및 서브플로우), 구조화된 프로그래밍 구문을 기술할 수 있는 언어입니다. AI의 ‘행동 규범’을 코드처럼 명시적으로 작성할 수 있게 해주는 점이 특징입니다.
핵심 ④｜입구(ingress)와 출구(egress)의 이중 구조
명세서에 따르면, 가드레일은 입구(ingress)와 출구(egress) 양쪽에서 모두 기능합니다.
| 단계 | 역할 |
|---|---|
| 입구(ingress) | 사용자 입력 제어. 부적절하거나 위험한 입력을 진입 시 차단 |
| 출구(egress) | 모델 출력의 검증. 바람직하지 않은 출력을 출구에서 차단 |
‘들어오는 쪽’과 ‘나가는 쪽’ 양쪽에 가드레일을 설치함으로써 다층적으로 안전성을 확보합니다. 프롬프트 주입 등의 공격적인 입력에 대한 방어(입구)와 유해·오류 출력의 억제(출구)를 하나의 프레임워크에서 다룰 수 있습니다.
독립 청구항 1을 조항별로 읽어보기
청구항 1의 핵심
이 청구항 1은 시리즈에서 살펴본 다른 특허와 비교해도 상당히 간결하고 폭이 넓은 것이 특징입니다. ‘정규형 생성 → 대화 흐름 결정 → 실행’이라는 3단계로 압축되어 있습니다.
💡 요점: 폭넓은 청구항은 등록되면 강력하지만, 그만큼 선행 기술에 의한 거절 위험도 안고 있습니다. 본 건은 계속 중(A1)이며, 이 간결한 청구항 1이 최종적으로 어느 범위까지 등록될지는 향후 심사에 달려 있습니다.실무적으로는 폭넓은 독립 청구항(1·11·19)과 구체적인 제한을 가한 종속 청구항을 함께 구성하여, 위험과 커버리지의 균형을 맞추는 것이 정석입니다.
독립 청구항은 1(방법) 외에도 청구항 11·19도 독립 청구항으로 설정되어 있습니다.
에이전트의 "안전 레이어"를 권리화하기
본 시리즈에서 살펴본 특허를 ‘AI 에이전트의 구성 요소’로 나열하면, 본 건의 위치를 명확히 파악할 수 있습니다.
| 레이어 | 대표 특허(본 시리즈) | 보호 대상 |
|---|---|---|
| 학습 | OpenAI VPT (US 11,887,367) | 조작 학습 방법 |
| 본체·실행 | Anthropic(US 12,430,150 등) | 런타임·에이전트 |
| 협업 | OpenAI／Salesforce | 다중 에이전트 |
| 구축 | OpenAI／Anthropic | 에이전트 생성 |
| 안전 (본 기사) | NVIDIA (US 2024/0354319) | 가드레일·출력 제어 |
💡 핵심: ‘지능’뿐만 아니라 ‘안전성·제어’도 독립적인 특허 대상입니다. AI 거버넌스에 대한 사회적 요구가 높아지는 가운데, 안전 계층에 대한 특허는 앞으로 그 중요성이 더욱 커질 것으로 보입니다. 자사가 독자적인 제어·안전 기술을 보유하고 있다면, 특허 출원을 검토할 가치가 크다고 할 수 있습니다.
전략｜오픈소스(NeMo Guardrails)와 특허의 병행
흥미로운 점은, 본 특허에 해당하는 기술인 ‘NeMo Guardrails’를 NVIDIA가 오픈소스로 공개하고 있다는 사실입니다. “오픈소스인데 특허를 출원하는 건가?”라고 생각하실 수도 있겠지만, 이는 모순되지 않습니다.
오픈소스 + 특허의 양립: 기술을 널리 보급하여 생태계를 육성하는 한편(오픈소스), 핵심 기술에 대해서는 특허라는 법적 뒷받침(방어적 대비)을 확보해 두는 전략입니다. 보급과 통제라는 두 마리 토끼를 모두 잡는, 정교한 IP 관리라고 할 수 있습니다.Anthropic이 대표 연구를 ‘논문 공개(특허 출원하지 않음)’한 것과는 대조적으로, NVIDIA는 ‘공개하면서도 특허도 확보하는’ 접근 방식을 취하고 있습니다.
일본·미국·유럽의 심사에서는 어떻게 평가될 것인가
미국(USPTO)
청구항 1은 간결하고 광범위하기 때문에, Alice/Mayo 테스트에서 ‘추상적 아이디어(정보 정리·규칙 적용)’로 평가되지 않을지가 쟁점이 될 수 있습니다. 정규형·대화 흐름·실행 시 제어라는 구체적인 처리가 기술적 구현으로서 어디까지 인정될지가 관건이며, 현재 심사 계속 중입니다.
일본(JPO)
입력을 정규형으로 변환하고, 대화 흐름을 결정·실행하는 구체적인 데이터 처리가 기재되어 있어, 소프트웨어 관련 발명으로서 특허 적격성을 주장하기 쉬운 구성입니다. 진보성은 ‘재학습을 불필요하게 한다’는 효과와 가드레일의 구체적인 작동 방식이 핵심이 됩니다.
유럽(EPO)
‘LLM 출력의 안전한 제어’라는 기술적 과제에 대한 기술적 해결책으로 규정하기 쉬우며, COMVIK 접근법 하에서도 기술적 특징으로 평가받기 쉬운 구성입니다.
AI 에이전트 특허에 대한 일본·미국·유럽의 심사 실무 비교는 ‘일본·미국·유럽의 특허 사례와 심사 실무’에서 자세히 해설하고 있습니다.
자사 출원에 대한 교훈
① ‘안전·제어’도 특허권으로 확보합니다. AI의 지능(모델)뿐만 아니라, 그 출력을 제어하고 안전하게 만드는 기술도 중요한 특허 대상입니다.
② ‘재학습 불필요’를 기술적 효과로 내세웁니다. 비용 및 시간 절감이라는 효과는 진보성을 뒷받침하는 강력한 근거가 됩니다.
③ 독자적인 기술 언어·형식을 구체화합니다. Colang과 같은 “동작을 기술하는 구조”는 추상적인 논의에서 벗어나는 실마리가 됩니다.
④ 오픈소스와 특허는 양립할 수 있습니다. 보급 전략(OSS)과 방어 전략(특허)을 결합하는 방안을 검토합시다.
⑤ 폭넓은 독립 청구항과 구체적인 종속 청구항을 함께 마련합니다. 계속 중인 폭넓은 청구항은 리스크도 수반하므로, 방어의 다층화가 중요합니다.
자사의 AI는 물론 안전성·제어 기술까지 포함해 권리를 확보해 보시지 않겠습니까?
IT·소프트웨어·AI 분야에 정통한 변리사가 AI 안전·거버넌스 기술을 포함한 청구항 설계, 권리화 가능성 무료 진단, 오픈소스 전략과의 병행, 일본·미국·유럽에서의 출원 전략까지 종합적으로 지원해 드립니다.
첫 상담 무료 예약 IT·AI 지식재산권 서비스자주 묻는 질문(FAQ)
Q. US 2024/0354319 A1은 어떤 특허입니까?
A. NVIDIA의 미국 특허 출원으로, 대규모 언어 모델(LLM)의 출력을 ‘실행 시(런타임)’에 제어하고 안전하게 만드는 ‘가드레일’ 기술을 대상으로 합니다. 사용자 입력을 ‘정규형(제약된 의미 표현)’으로 변환하고, 이를 바탕으로 출력을 제어하는 ‘대화 흐름’을 결정 및 실행합니다.LLM을 재학습시키지 않고도 동작을 제어할 수 있다는 점이 특징이며, 2024년 10월 24일 공개되어 현재 심사 중입니다. NVIDIA의 오픈소스 ‘NeMo Guardrails’와 호환됩니다.
Q. ‘가드레일’이란 무엇입니까?
A. AI의 출력이 부적절하거나 유해하거나 주제와 관련이 없는 내용이 되지 않도록 ‘제약·유도’하는 구조입니다. 도로의 가드레일이 차량의 이탈을 방지하듯이, LLM의 출력을 바람직한 범위 내에 유지합니다. 본 특허는 이를 모델 재학습이 아닌, 대화 흐름을 통한 실행 시 제어로 실현합니다.
Q. ‘재학습 없이 제어’란 무슨 뜻입니까?
A. AI의 동작을 변경하는 기존 방법(파인 튜닝이나 RLHF)은 모델 자체를 재훈련해야 하므로 비용과 시간이 소요됩니다. 본 특허의 기법은 모델을 그대로 두고, 그 ‘주변’에 제어층(가드레일)을 배치하여 실행 시 출력을 제어합니다. 설정 변경만으로 신속하고 유연하게 안전성을 확보할 수 있다는 점이 장점입니다.
Q. ‘정규형(canonical form)’이란 무엇입니까?
A. 사용자 입력을 표준화된 “제약된 의미 표현”으로 변환한 것입니다(예: 요약, 의도 정의). 다양한 표현의 입력을 공통된 형태로 정규화함으로써, 미리 정의된 대화 흐름과 대조하기 쉽게 만듭니다.
Q. AI의 안전성·제어 기술도 특허가 될 수 있나요?
A. 그렇습니다. 본 특허와 같이 정규형·대화 흐름·실행 시 제어와 같은 구체적인 메커니즘으로 기재하면, 일본·미국·유럽 어느 곳에서든 권리화가 검토될 수 있습니다. AI의 안전성·거버넌스는 앞으로 점점 더 중요해질 분야이며, 유력한 권리화 영역입니다.
본 기사의 주의사항: 본 기사는 공개된 특허출원 공보를 바탕으로 한 일반적인 기술·제도 해설입니다. US 2024/0354319 A1은 심사 계속 중인 공개 출원이며, 등록되지 않았습니다. 청구항은 보정을 통해 변경될 수 있으므로, 최종적인 권리 범위는 확정되지 않았습니다.인용된 청구항·요약·명세서 기재 내용은 공개 공보 데이터(Google Patents/FreePatentsOnline 등)를 기반으로 하지만, 법적으로 중요한 용도(FTO·침해 분석·출원 등)에서는 반드시 USPTO 정본과 최신 경과 정보를 확인한 후, 전문가의 개별 검토를 받으시기 바랍니다.일본어 번역은 이해를 돕기 위한 참고 번역이며, 정식 문서는 영어 원문입니다.
함께 읽으면 좋은 글(AI 에이전트 특허 시리즈):
・OpenAI의 멀티 에이전트 특허(공유 작업 공간)
・Anthropic ‘Computer Use’의 핵심 특허(실행 기반)
・일본·미국·유럽의 특허 사례와 심사 실무(사례편)
・AI 에이전트 기술은 특허 출원이 가능한가?(기초편)
・OpenAI의 멀티 에이전트 특허(공유 작업 공간)
・Anthropic ‘Computer Use’의 핵심 특허(실행 기반)
・일본·미국·유럽의 특허 사례와 심사 실무(사례편)
・AI 에이전트 기술은 특허 출원이 가능한가?(기초편)
출처
- US 2024/0354319 A1 (Google Patents): https://patents.google.com/patent/US20240354319A1/en
- 청구항·명세서(FreePatentsOnline): https://www.freepatentsonline.com/y2024/0354319.html
