노출과 의탁의 분리: 잠재 모니터의 이중 층화 평가
간접 프롬프트 주입 환경에서 단순 문맥 노출과 실제 유해 도구 호출 의탁을 구분해 잠재 상태 프로브의 조기 탐지 무결성을 검증하는 원리를 다룹니다.
초록 외부 도구를 연동하는 법률 AI 에이전트는 외부 문서에 잠입한 간접 프롬프트 주입 공격에 상시 노출되어 있습니다. 이에 대응하여 모델의 내부 은닉층(Latent space)을 관측해 유해 행위를 선제 차단하려는 잠재 모니터 연구가 활발하지만, 기존 평가 체계는 심각한 측정 왜곡을 안고 있습니다. 최근 Sinha(2026)의 연구는 모니터가 공격 문구에 대한 '단순 노출(Exposure)'과 모델이 실제로 유해 도구를 실행하는 '행동 의탁(Commitment)'을 구분하지 못하고 단순 노출만을 학습하는 현상을 규명하였습니다. 노출 여부와 행동 의탁 여부를 직교적으로 분리하는 이중 층화(Double-Stratification) 프로토콜을 적용했을 때, 비로소 잠재 프로브가 최대 2단계 이전 시점에서 모델의 위험한 도구 호출을 AUROC 0.853 수준으로 유의미하게 예측함을 확인했습니다. 본 칼럼에서는 법률 에이전트 파이프라인에서 적대적 입력의 단순 독해와 비인가 API 실행을 엄격히 격리하기 위한 메커니즘과 아키텍처적 무결성 원리를 심층 분석합니다.
법률 AI가 사건 기록, 상대방 준비서면, 공공 웹 페이지 등 외부 비정형 데이터를 읽고 적절한 판례와 법령을 조회하는 워크플로우는 필연적으로 간접 프롬프트 주입(Indirect Prompt Injection) 위험에 직면합니다. 악의적으로 작성된 소장 문구에 숨겨진 지시어가 에이전트의 추론 흐름을 가로채 비인가 도구 호출을 유발하거나 데이터를 외부로 유출하도록 유도할 수 있기 때문입니다. 이를 방어하기 위해 최근 언어 모델 내부의 은닉 상태(Hidden states)를 프로빙하여 유해한 행동이 토큰으로 출력되기 전에 차단하려는 잠재 모니터링 기법이 주목받고 있습니다. 그러나 유해 데이터에 노출된 에이전트가 그 지시를 무시하고 정상 추론을 지속하는 경우와, 지시를 수용하여 위험한 도구 호출을 실제로 생성하려는 경우를 내부 프로브가 진정으로 구별해내고 있는지에 대해서는 학술적 논쟁이 분분했습니다. 만약 감시기가 악의적 문구의 존재 자체만을 감지하고 모델의 실제 실행 의탁 여부를 판별하지 못한다면, 적대적 텍스트를 인용하고 분석해야 하는 정상적인 법률 검토 업무 전체가 오탐으로 중단되고 맙니다. 따라서 우리는 적대적 신호에 단순히 '노출된 상태'와 유해 행위로 '의탁하는 상태'를 계측적으로 엄격히 분리하는 평가 및 방어 체계를 확립해야 합니다.
핵심 기술 개념
간접 프롬프트 주입 (Indirect Prompt Injection)
에이전트가 참조하는 외부 데이터나 문서 내부에 악의적인 명령어를 은닉하여 시스템 지시를 무력화하고 의도치 않은 도구 호출을 유도하는 공격 기법입니다.
행동 의탁 (Behavioral Commitment)
모델이 적대적 입력에 노출된 뒤 이를 무시하지 않고, 공격자의 의도대로 유해한 출력이나 도구 인자를 실제로 생성하기로 내부 상태를 전환하는 단계를 뜻합니다.
이중 층화 평가 (Double-Stratified Evaluation)
평가 및 훈련 데이터셋을 공격 노출 여부와 실제 유해 행위 실행 여부라는 두 가지 독립된 축으로 나누어 모델 내부 감시기의 참된 예측력을 측정하는 프로토콜입니다.
기술 심층 분석
나이브 대조군 훈련의 결함: 노출 편향의 수학적 전이
기존의 잠재 모니터 연구는 안전한 정상 궤적과 공격이 포함되어 유해 행위로 이어진 궤적을 단순 이진 분류하는 방식으로 프로브를 훈련해 왔습니다. 이 나이브(Naive) 대조 방식에서는 안전 데이터셋은 주입 공격 텍스트가 없고 유해 행위도 없는 상태(Exposure=0, Unsafe=0)인 반면, 위험 데이터셋은 주입 공격이 존재하며 유해 행위가 발생한 상태(Exposure=1, Unsafe=1)로 구성됩니다. 이로 인해 분류 모델은 은닉층의 실제 행동 의탁 신호를 학습하는 대신, 토큰 임베딩 단계에서 발생하는 공격 텍스트의 어휘적·의미적 표식(Exposure=1)만을 지름길(Shortcut)로 학습하게 됩니다. 그 결과, 적대적 입력이 포함되었으나 모델의 내부 안전 정렬에 의해 공격이 무력화된 궤적(Exposure=1, Unsafe=0)이 주어지면, 모니터는 모델이 정상 행동을 수행함에도 불구하고 무조건 유해한 상태로 오탐(False Positive)을 발생시킵니다. Qwen 기반 AgentDojo 벤치마크 실험에서 이러한 나이브 모니터는 노출 궤적 내에서 실제 유해 도구 호출을 거의 예측하지 못하는 무력함을 드러냈습니다. 이는 내부 표상을 관측한다는 기법조차 데이터 구성의 편향으로 인해 단순 텍스트 표면형 감지기로 퇴행함을 실증합니다.
이중 층화 프로토콜과 조건부 잠재 프로브의 동작 기제
이 문제를 해결하기 위해 Sinha(2026)는 평가 및 훈련 모집단 전체에서 노출(Exposure)과 행동 의탁(Commitment)을 엄격히 분리하는 이중 층화 프로토콜을 제안했습니다. 연구진은 적대적 텍스트에 노출된 궤적들만을 엄격히 선별한 조건부 집단(Exposure=1) 내에서, 실제로 유해한 도구 호출을 감행한 하위 집단(Unsafe=1)과 공격을 방어하고 정상 행동을 유지한 하위 집단(Unsafe=0) 간의 차이를 학습하도록 선형 로지스틱 프로브를 재훈련했습니다. 이렇게 노출 변수를 통제하자, 모니터는 텍스트 표면의 이상 징후가 아니라 에이전트의 어텐션 헤드와 잔차 스트림(Residual Stream)에서 다음 단계 액션을 계획하는 의탁 벡터만을 순수하게 포착하기 시작했습니다. 3단계 궤적으로 구성된 환경에서 이 층화 프로브는 실제 유해 도구 호출이 텍스트로 디코딩되기 최대 2단계(Step) 이전에 은닉 상태의 변이를 감지하여 로지스틱 AUROC 0.853이라는 높은 판별력을 달성했습니다. 이는 모델이 공격 텍스트를 인지하고도 실행하지 않는 '무해한 노출'과 공격에 굴복하여 도구 호출 파라미터를 조립하기 시작하는 '결정적 의탁'이 내부 표현 공간에서 선형적으로 분리 가능한 궤적을 형성함을 보여줍니다.
잠재 프로브와 텍스트 베이스라인의 한계 경계선
그러나 내부 잠재 상태 프로빙이 표면 텍스트 기반 감사보다 언제나 우월하다는 통념 역시 면밀한 실증적 한계 분석이 필요합니다. 동일한 이중 층화 조건에서 에이전트가 생성한 중간 사고 텍스트(Chain-of-Thought)를 TF-IDF 기반의 고전적 텍스트 분류기로 측정한 결과, AUROC 0.855를 기록하여 잠재 프로브(0.853)와 사실상 대등한 성능을 보였습니다. 이는 모델이 유해 도구를 호출하기로 의탁하는 과정이 내부 은닉층에만 암묵적으로 숨겨져 있는 것이 아니라, 모델이 생성하는 중간 언어화 추론 토큰(Rationale)에도 거의 실시간으로 투영되기 때문입니다. 즉, 잠재 모니터의 진정한 효용은 텍스트 분류기 대비 압도적인 탐지 정확도에 있는 것이 아니라, 언어화 토큰이 완전히 생성되기 전의 조기 차단 지연 시간(Latency) 단축과 토큰 미생성 상태에서의 선제적 상태 감지에 있습니다. 법률 에이전트 환경에서 잠재 프로브만을 맹신하거나 고비용의 복잡한 텐서 파이프라인을 무조건 도입하는 것은 연산 오버헤드 대비 실익이 적을 수 있으며, 텍스트 스트림 감사와 은닉층 게이팅의 상호 보완적 배치가 필수적임을 시사합니다.
다단계 도구 체인에서의 잔여 수명과 런타임 차단 메커니즘
법률 복합 질의를 해결하는 에이전트는 검색, 파싱, 인용 대조 등 여러 단계의 도구 호출을 연쇄적으로 실행합니다. 이때 외부 데이터 유입 시점부터 실제 파괴적 액션(예: 비인가 내부 시스템 조회나 잘못된 판례 허위 등록)이 발생하는 시점까지의 단계적 간격을 '잔여 수명(Residual Lifetime)'으로 정의할 수 있습니다. Sinha(2026)의 실증에 따르면 3단계 궤적 중 최대 2단계 이전 시점에서 이미 의탁 징후가 잠재 상태에 강하게 각인됩니다. 따라서 방어 아키텍처는 외부 문서를 읽어들이는 즉시 전체 프로세스를 강제 중단하는 것이 아니라, 에이전트의 내부 은닉층에서 의탁 확률 벡터의 노름(Norm)이 특정 임계값을 초과하는 시점을 모니터링해야 합니다. 의탁 신호가 감지되지 않는 한 적대적 문구가 포함된 외부 소송 서면이라도 정상적으로 분석 컨텍스트로 유지하며, 의탁 신호가 임계값을 넘어서는 순간에만 도구 호출 디스패처로 향하는 런타임 게이트(Runtime Gate)를 인터셉트하여 실행을 무효화하는 정밀 제어가 기술적으로 가능해집니다.
기술적 트레이드오프
긴장 관계 적대적 공격을 사전에 차단하기 위해 잠재 프로브의 감도를 극대화하면 정상적인 소송 서면 인용이나 공격 분석 업무까지 비인가 의탁으로 오판하여 작업이 중단되고, 반대로 오탐을 줄이기 위해 실제 도구 인자 생성 시점까지 검증을 유예하면 실행 지연 시간과 보안 노출 면적이 동시에 증가합니다.
실무적 해소 이를 해결하기 위해 외부 입력 단계에서는 단순 노출 여부만을 메타데이터로 태깅하고, 모델의 잔차 스트림에서 도구 디스패치 토큰이 예측되는 레이어에 한해 이중 층화로 학습된 경량 로지스틱 프로브를 배치합니다. 의탁 벡터의 사후 확률이 안전 임계치를 초과할 때만 섀도우 롤백(Shadow Rollback)을 트리거함으로써, 무해한 인용 텍스트의 처리 흐름을 보장하면서도 유해 도구 호출의 물리적 실행을 확정적으로 봉쇄합니다.
이 주장이 틀리는 조건
반증 조건 본 논증의 유효성은 적대적 주입 텍스트가 삽입된 법률 코퍼스 환경에서 다음과 같은 예측을 통해 검증될 수 있습니다. 노출과 행동 의탁을 분리하여 훈련된 잠재 프로브가, 단순 노출 궤적만을 포함한 검증 세트에서 나이브 모니터 대비 오탐율을 최소 40% 이상 개선하지 못한다면 본 설계의 핵심 가정은 기각됩니다. 또한 언어화 토큰이 디코딩되기 이전 레이어에서 추출한 잠재 벡터가 유해 도구 호출 파라미터의 확정적 생성을 조기에 예측하는 능력이 무작위 분류 기준선에 수렴하는 현상이 실측된다면, 잠재 상태 감시를 통한 사전 차단 메커니즘의 실효성은 반증됩니다.
법마디 OS에 적용한다면
Lawmadi OS는 현재 60개 법률 분야별 AI 리더가 질의를 처리하며, 국가법령정보센터(law.go.kr) API를 통한 조문 조회와 판례 데이터베이스 조회를 전담 도구(MCP)로 호출하는 구조를 갖추고 있습니다. 이용자가 입력하는 소송 사실관계나 상대방 주장 서면에는 외부 웹 데이터나 비정형 법률 문서가 다수 포함되므로, 간접 프롬프트 주입 공격의 잠재적 위험에 노출될 수 있습니다. 현재 시스템은 리더들의 답변에 포함된 조문과 판례 인용을 law.go.kr 원문과 대조하여 허위 인용을 사전에 차단하고 있으나, 향후 도구 호출 자체의 무결성을 선제적으로 강화하기 위해 이중 층화 잠재 모니터링 개념을 검토하고자 합니다. 구체적으로 리더 모델이 MCP를 통해 law.go.kr 조회 도구를 호출하기 직전, 내부 은닉 표상에서 비인가 도구 실행이나 권한 외 질의 조작으로 이어지는 행동 의탁 신호를 층화 프로브로 실시간 계측하는 방어 계층을 설계 과제로 삼을 수 있습니다. 외부 질의에 포함된 공격성 텍스트의 단순 노출과 실제 비인가 도구 호출 의탁을 구분함으로써, 복잡한 사실관계 검토 작업을 불필요하게 기각하지 않으면서도 API 호출의 안전성을 물리적으로 보장하는 것이 궁극적인 고도화 목표입니다. 이는 법마디 OS가 지향하는 엄격한 결정론적 인용 대조 체계와 결합하여 외부 공격에 흔들리지 않는 다층 방어망을 완성할 것입니다.
기술적 함의
- 적대적 공격 방어 평가에서 단순 노출과 행동 의탁을 분리하지 않는 모든 내부 프로브 성능 지표는 데이터 편향에 의한 착시일 가능성이 높습니다.
- 잠재 공간 모니터링은 텍스트 감사 대비 조기 차단 지연 시간 단축이라는 고유한 구조적 이점을 중심으로 아키텍처에 통합되어야 합니다.
- 법률 에이전트의 도구 실행 안전성은 외부 데이터 수용 통제가 아닌 내부 의탁 벡터의 정밀한 선제적 게이팅을 통해 달성됩니다.
"외부의 적대적 소음에 단순히 귀 기울인 것과 그에 굴복하여 잘못된 행동을 시작하는 것을 엄격히 구분할 수 있을 때 비로소 법률 AI의 자율성과 안전성은 공존할 수 있습니다."
