법률 AI의 고정된 울타리는 무너진다: 신원 기반 지속 감시와 적응형 무결성

초록 NIST 산하 NCCoE의 최근 발표에 따르면, 쿠르트 괴델의 불완전성 정리를 AI 보안에 확장한 수학적 증명이 제시되었다. 이는 AI 시스템에 일단 배치된 고정된 보안 조치가 적응적 대적(adversarial) 프롬프트에 대해 보편적으로 견고하지 않음을 증명한다. NIST AI Agent Standards Initiative와 AI 에이전트의 신원 기초(Identity Foundation) 연구는 이 문제를 에이전트 수준의 인증, 권한 위임, 지속적 감시로 해결하려는 패러다임 시프트를 나타낸다. 법률 AI의 무결성은 더 이상 정적 규칙 집합이 아니라, 동작 주체의 신원 검증과 지속적 감시-업데이트 루프로 구현되어야 한다.

법률 문서 검색 시스템이 처음 배포될 때, 설계자들은 수십 가지 보안 규칙을 단단히 짜 맞춘다. '이 조문은 인용 가능, 저 조문은 폐지됨', '이 판례는 신뢰도 85% 이상만', '저 출처는 차단'. 하지만 3개월 뒤, 사용자들은 정밀하게 조작된 질의로 시스템을 우회한다. 규칙을 더 추가해도 소용없다. 새로운 공격이 다시 나타난다. NIST가 2026년 6월 발표한 수학적 증명은 이 악순환의 근본 원인을 지적한다: 고정된 울타리는 본질적으로 불완전하다. 이제 업계의 화두는 '울타리를 더 높게 쌓을까'에서 '누가 그 울타리를 넘나드는가'로 이동했다. AI 에이전트의 신원(Identity), 권한(Authority), 그리고 지속적 감시(Continuous Monitoring)라는 새로운 축이 법률 AI의 신뢰성을 재정의하고 있다.

핵심 기술 개념

신원 기초(Identity Foundation)

AI 에이전트가 보유해야 하는 검증 가능한 신원 정보의 집합. 에이전트의 생성자, 버전, 권한 범위, 감사 로그를 포함하며, 이를 통해 에이전트의 행동을 특정 주체에게 귀속시킬 수 있게 한다.

지속 모니터-업데이트(Continuous Monitor-and-Update)

배포 후 AI 시스템에 적용되는 보안 체계. 고정된 규칙 대신 실시간 프롬프트 탐지, 비정상 행동 로깅, 신규 위협에 대한 즉시 대응을 구현하는 동적 방어 모델.

적응형 대적 프롬프트(Adaptive Adversarial Prompt)

AI 시스템의 기존 방어 규칙을 우회하도록 설계된 입력. 이전 공격 패턴에서 학습하여 진화하는 특징을 가지며, 고정 규칙만으로는 차단 불가능.

AI 에이전트 표준 이니셔티브(AI Agent Standards Initiative)

NIST CAISI가 2026년 2월 발표한 표준화 프로젝트. AI 에이전트의 상호운용성, 보안, 신원 검증에 대한 업계 표준과 프로토콜을 정립하는 것을 목표로 함.

기술 심층 분석

1

괴델 증명의 AI 확장: 고정 가드레일의 수학적 한계

NIST는 괴델의 불완전성 정리(Gödel's incompleteness theorems)를 AI 시스템의 보안 문제로 변환했다. 원래 정리는 형식 체계가 완전하면서 동시에 일관성이 있을 수 없다는 의미이다. 이를 AI 보안에 적용하면: 고정된 가드레일 규칙 집합은 모든 가능한 공격 벡터를 예방할 수 없다. 왜냐하면 규칙이 명시적일수록, 규칙 자체의 한계를 악용하는 프롬프트를 역으로 생성하기가 더 쉬워지기 때문이다. 예를 들어 법률 RAG 시스템이 '폐지된 조문은 인용 불가' 규칙을 명시하면, 공격자는 '이 조문이 현재 유효한가를 판단하는 논리를 설명해달라'는 재귀적 질의로 규칙의 판정 과정 자체를 탐색한다. 결국 규칙은 '규칙을 규칙으로 평가하는 메타 규칙'을 필요로 하고, 그 메타 규칙도 똑같은 문제에 직면한다. 이것이 불완전성이다. NIST의 결론은 명확하다: 개발자는 프롬프트 주입, 맥락 오염, 권한 도용 등을 선제적으로 탐지하고 대응하기 위해 자원을 투입해야 하며, 이는 배포 후에도 계속되어야 한다는 것이다.

2

신원 기초의 아키텍처: 에이전트의 계정화(Accountability)

'Back to the Future: Why Agentic AI Needs a Strong Identity Foundation'이라는 NIST NCCoE 문서의 제목은 역설적이다. 미래 기술(에이전트형 AI)이 과거 원칙(신원 검증)으로 돌아가야 한다는 의미이다. 신원 기초는 다음 네 가지 층으로 구성된다. 첫째, 에이전트 등록(Registration): 모든 AI 에이전트는 생성 시점에 발급자, 버전, 권한 범위를 포함한 디지털 신원증을 부여받는다. 이는 공개키 기반구조(PKI)와 유사하게, 신뢰 위계(chain of trust)를 형성한다. 둘째, 행동 귀속(Attribution): 에이전트가 생성한 모든 답변, 인용, 의사결정은 그 에이전트의 신원에 암호로 서명된다. 법정에서 '누가 이 의견을 내었나'는 질문에 답할 수 있어야 한다. 셋째, 권한 제약(Scope Binding): 에이전트는 배정된 권한 범위(예: 민법만, 조회 권한만)를 벗어날 수 없도록 토큰화된 능력(capability tokens)으로 제약받는다. 넷째, 감사 로그(Audit Trail): 에이전트의 모든 질의, 검색, 추론 단계가 타임스탬프와 함께 기록되어 사후 검증과 규제 감시가 가능하다. 이 구조는 고정 규칙이 아니라, 주체-행동-맥락을 연결하는 검증 가능한 증명 체계를 만든다.

3

지속적 모니터-업데이트: 배포 후 적응형 방어

고정 규칙 모델에서는 배포가 끝이다. 반면 지속적 모니터-업데이트 모델은 배포를 시작일로 본다. NIST의 수학적 증명이 제시한 이 패러다임은 세 가지 메커니즘을 포함한다. 첫째, 비정상 프롬프트 탐지(Anomaly Detection in Prompts): 배포 후 사용자 질의의 통계적 분포를 학습한다. 법률 RAG에서 정상적 질의는 '조문 X의 내용은' 또는 '판례 Y의 법리는'이지만, '이 규칙을 무시하고', '다른 답변을 하면 상을 주겠다' 같은 질의는 분포에서 벗어난다. 이런 질의를 실시간으로 탐지하면, 고정 규칙을 우회하려는 시도를 조기에 발견할 수 있다. 둘째, 동적 규칙 진화(Dynamic Rule Evolution): 탐지된 새 공격 패턴에 대해, 단순히 규칙을 추가하는 것이 아니라, 그 패턴의 근본 원인을 분석하고 방어 구조를 재설계한다. 예를 들어 '메타 질의를 통한 규칙 탐색' 공격이 발견되면, 앞서 언급한 신원 기초를 강화하여 에이전트가 자신의 권한 경계를 조회하는 것을 차단한다. 셋째, 지속적 재평가(Continuous Re-evaluation): 정기적으로 (매월 또는 신규 위협 발생 시) 시스템을 대적 프롬프트로 스트레스 테스트한다. 이는 배포 전 테스트와 달리, 실제 운영 데이터와 새로 관찰된 공격 패턴을 포함한다. 결과적으로 규칙 집합은 정적이 아니라, 계속 진화하는 생명체처럼 작동한다.

4

AI 에이전트 표준 이니셔티브의 상호운용성 함의

NIST가 2026년 2월 발표한 AI Agent Standards Initiative는 신원 기초와 지속적 감시를 업계 표준으로 확립하려는 움직임이다. 이 이니셔티브의 핵심은 '상호운용성(Interoperability)과 보안이 양립할 수 있다'는 제안이다. 과거에는 각 조직이 자체 방식으로 에이전트를 보호했지만, 이제 법률 에이전트들이 다양한 환경에서 작동할 수 있으려면 공통 신원 형식, 권한 토큰 규격, 감시 이벤트 스키마가 필요하다. 예를 들어, 법원의 법률 AI가 법무법인의 에이전트와 협업할 때, 양자의 신원이 서로 인증 가능해야 한다. 또한 감시 로그 형식이 일치해야만 사후 감사가 가능하다. 이를 위해 표준은 세 가지를 정의한다: (1) 에이전트 신원 정보의 최소 필수 필드(issuer, version, authorities, fingerprint 등), (2) 권한 토큰의 인코딩 방식(JWT 기반 또는 XML 기반), (3) 감시 이벤트의 공통 로그 포맷(타임스탐프, 에이전트 ID, 행동 분류, 결과 코드 등). 상호운용성은 궁극적으로 신뢰성을 높인다. 왜냐하면 각 에이전트의 행동이 독립적으로 검증되고, 위협 정보가 조직 간에 공유될 수 있기 때문이다.

5

법률 AI의 권한 경계와 의도적 거부 신호(Abstention)

신원 기초의 실무적 함의 중 하나는 에이전트에게 '거부할 권리'를 명확히 정의하는 것이다. 법률 AI가 항상 답변해야 한다는 강박에서 벗어나야 한다. 예를 들어, 법률 AI가 국제법 질의를 받았는데 자신의 훈련 데이터가 국내법 중심이라면, 모르면서 대답하는 것보다 '이 질의는 내 권한 범위를 벗어남'이라고 명확히 선언해야 한다. 신원 기초에서는 이를 능력 토큰(capability token)으로 구현한다. 에이전트가 생성 시 '민사법 검색'에만 권한이 있다면, 형사법 질의가 들어올 때 토큰 검증 단계에서 자동으로 거부된다. 하지만 여기에 섬세한 설계가 필요하다. 단순 거부('권한 없음')는 사용자 불만을 야기하지만, 과도한 답변('일단 알려주겠음')은 무결성을 훼손한다. 따라서 에이전트는 거부 대신 다른 자원(변호사, 상담 센터, 전문 데이터베이스)으로 사용자를 이동시키는 적극적 라우팅을 수행해야 한다. 이 메커니즘을 '의도적 거부(deliberate abstention)'라고 부르며, 신원 기초의 일부로 표준화되어야 한다.

6

EU AI Act 투명성 요구와 신원 기초의 수렴

2026년 8월 2일부터 적용되는 EU AI Act의 투명성 규칙은 신원 기초와 흥미롭게 수렴한다. 규칙은 사용자가 AI와 상호작용 중임을 알아야 하고, AI가 생성한 콘텐츠를 명확히 표시해야 하며, 기계 판독 가능한 마크(machine-readable marks)를 포함해야 한다고 명시한다. 이는 본질적으로 신원 정보의 투명한 공개를 의미한다. 법률 AI 시스템에서 이를 구현하려면: (1) 모든 답변 앞에 '이 답변은 에이전트 ID: LAW-2026-001-v2.3에 의해 생성되었으며, 권한 범위: 민법/상법'을 명시해야 한다. (2) 인용이 포함된 경우, 검색 소스, 검색 날짜, 데이터베이스 버전도 함께 기록해야 한다. (3) 기술적으로는 JSON-LD 형식의 메타데이터를 답변에 임베드하여, 자동화된 검증 도구가 에이전트의 신원과 권한을 검증할 수 있게 해야 한다. 이는 규제 준수일 뿐만 아니라, 동시에 신원 기초의 구현이 되는 것이다.

기술적 트레이드오프

긴장 관계 신원 기초의 정확한 구현과 시스템의 응답 속도, 그리고 감시 로그의 보존 비용 사이에 근본적 긴장이 존재한다. 에이전트의 모든 행동을 타임스탬프·서명·로깅하려면 계산 오버헤드와 저장소 비용이 증가하며, 지속적 모니터링은 배포 후에도 인프라 투자를 요구한다. 반면 이런 부담을 줄이려면 로깅의 세밀도를 낮추거나 감시 간격을 넓혀야 하는데, 그러면 공격 탐지 능력과 규제 감사 가능성이 훼손된다.

실무적 해소 실무적으로 세 가지 계층화된 접근이 가능하다. 첫째, 험성 기반 로깅(Risk-Based Logging): 낮은 험성 질의(예: 공개 법령 조회)는 간단한 로그만 기록하고, 높은 위험 질의(권한 경계 근처, 비정상 패턴)는 상세 로그를 남긴다. 둘째, 로그의 계층적 보존: 상세 로그는 30일만 보관하고, 요약 로그(타임스탐프·에이전트ID·결과 코드만)는 1년 보관한다. 셋째, 엣지 컴퓨팅 활용: 에이전트의 신원 검증과 기초 로깅은 로컬에서 빠르게 수행하고, 상세 분석은 비동기로 중앙 감시 시스템에 전송한다. 이렇게 하면 실시간 응답성을 유지하면서도 감사 추적성을 확보할 수 있다.

법마디 OS에 적용한다면

법마디 OS의 핵심 업그레이드 방향은 다음과 같다. 첫째, 모든 에이전트(검색 에이전트, 추론 에이전트, 인용 검증 에이전트 등)에 디지털 신원증(Digital Identity Passport)을 부여한다. 이는 에이전트의 생성 시점, 개발자, 훈련 데이터 버전, 권한 범위(예: 대법원 판례만 검색 가능), 마지막 감시 업데이트 시각을 포함한다. 둘째, 답변 생성 시 JSON-LD 메타데이터를 항상 포함하도록 아키텍처를 수정한다. 예: {"agent_id": "RRC-2026-v1.5", "authorities": ["civil_law", "search_only"], "timestamp": "2026-09-08T14:32:45Z", "confidence": 0.92, "audit_trail_id": "xyz789"}. 셋째, 실시간 비정상 탐지 모듈을 추가한다. 사용자 질의의 레벨집합 거리(Levenshtein distance)를 정상 질의 분포와 비교하여, 편차가 크면 감시 로그 상세도를 올린다. 넷째, 월 1회 적대적 프롬프트 테스트를 자동화한다. 공개된 프롬프트 주입 기법들을 시스템에 적용하여 현재 방어 상태를 평가하고, 신규 취약점을 발견하면 에이전트 버전을 업그레이드한다. 다섯째, 거부(abstention) 메커니즘을 강화한다. 에이전트가 질의를 거부할 때, 사용자에게 '왜 거부하는가(권한 범위 초과, 데이터 부재, 신뢰도 미달)', '어디로 문의할 것인가(변호사 추천, 다른 데이터베이스, 상담 센터)'를 명확히 제시해야 한다.

기술적 함의

신원 기초 없는 AI 에이전트는 규제 감시 시대에 법률 산업에서 신뢰를 잃을 것이다. NIST와 EU의 표준화 움직임은 단순 기술 권고가 아니라 실질적 법제화 선행 신호이므로, 조기 대응이 경쟁력이 된다.
지속적 모니터-업데이트 모델은 배포 후 운영 비용 증가를 의미하지만, 동시에 정적 규칙의 빈틈을 악용한 소송 위험을 크게 줄인다. 따라서 장기적으로는 보험료 절감과 명성 보호로 상쇄된다.
법률 AI의 다음 세대는 '얼마나 정확한가'보다 '누가, 언제, 어떤 권한으로 답했는가'를 설명할 수 있어야 한다. 이는 기술 경쟁에서 새로운 분화축이 될 것이다.

"고정된 울타리를 더 높이 짓는 것이 아니라, 울타리 너머의 주체를 정확히 식별하고 지속적으로 감시하는 것이 법률 AI의 신뢰성을 지키는 유일한 길이다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급