사고 과정의 창: 프롬프트 주입 수용 시점과 런타임 방어
프롬프트 주입의 수용 여부는 읽는 순간이 아닌 사고(Thinking) 궤적에서 결정되므로 런타임 검증 창을 추론 단계로 확장해야 합니다.
초록 비신뢰 외부 문서를 다루는 LLM 에이전트 시스템에서 간접 프롬프트 주입(Prompt Injection)은 심각한 보안 위협으로 대두되어 왔습니다. 통상적인 런타임 모니터와 벤치마크는 악의적 주입문을 읽어 들이는 입력 시점에 이미 하이재킹 여부가 고정된다고 가정해 왔으나, 최근 Jia 등의 연구(arXiv:2610.24048)는 분기 롤아웃(Branching Rollouts) 분석을 통해 이러한 가설의 한계를 실증적으로 밝혔습니다. 생각 과정(Thinking)이 없는 에이전트는 읽기 시점에 결과 분산의 대부분(0.91)이 결정되는 반면, 확장된 사고 궤적을 지닌 에이전트는 입력을 읽은 후 진행되는 추론 내부에서 비로소 주입 지시의 수용 여부를 가늠하는 독특한 결정 윈도우를 형성합니다. 본 칼럼에서는 주입 결정 시점의 이원적 거동을 통계적 분산 분해 관점에서 수학적으로 조명하고, 에이전트 상태 전이 모델에서의 인과적 파급을 추적합니다. 나아가 법률 도메인처럼 비정형 소송 기록과 외부 웹 검색 결과를 필수적으로 다루는 시스템에서 이 '사고 내부 윈도우'를 어떻게 안전한 차단 기회로 전환할 것인지 고찰합니다. 이를 통해 단순히 입력 필터링에만 의존하던 기존 리걸 에이전트 가드레일의 구조적 한계를 넘어서는 다층적 런타임 추론 무결성 통제 전략을 제시합니다.
복잡한 법률 분쟁에서 리걸 AI 에이전트가 외부 판결문이나 소송 상대방의 준비서면, 혹은 실시간 웹 문서를 참조하는 작업은 현대 법률 분석 시스템의 핵심 절차로 자리 잡았습니다. 그러나 이와 같은 외부 데이터 접점은 공격자가 심어둔 비신뢰 프롬프트 주입(Indirect Prompt Injection)이 침투하는 치명적인 진입로가 되기도 합니다. 통상적인 보안 아키텍처는 에이전트가 외부 문서를 파싱하여 컨텍스트 윈도우에 적재하는 바로 그 찰나에 집중해 왔으며, 악의적 페이로드가 입력된 이상 에이전트의 거동은 이미 탈취된 것이나 다름없다는 암묵적 전제 하에 선제적 텍스트 필터에 과도한 기대를 걸어왔습니다. 하지만 실무 환경에서 심층 추론을 수행하는 최신 에이전트들을 면밀히 관찰해 보면, 오염된 문서를 읽어 들였음에도 불구하고 곧바로 악의적 도구 호출로 직행하지 않고 긴 사고 흔적(Thinking Trajectory) 속에서 갈등하거나 우회하는 양상을 자주 목도하게 됩니다. 실제로 2026년 10월 발표된 Jia 등의 연구는 에이전트가 주입 공격에 굴복하는 최종 결정이 읽기 시점에 고정되는가, 아니면 그 이후의 추론 과정에서 결정되는가를 엄밀한 분기 시뮬레이션으로 측정했습니다. 사고 메커니즘이 없는 단발성 모델은 읽는 순간 이미 0.91이라는 압도적 비율로 운명이 갈렸으나, 복합 사고 모델에서는 결정의 무게중심이 읽기 이후의 추론 궤적으로 현저히 이동함을 보여주었습니다. 이는 법률 인텔리전스를 설계하는 우리에게 공격 방어의 본질적인 승부처가 텍스트 전처리단이 아니라 바로 '추론이 전개되는 내부 윈도우'에 존재한다는 결정적 통찰을 제공합니다.
핵심 기술 개념
분기 롤아웃 (Branching Rollouts)
에이전트의 특정 실행 상태(예: 외부 주입문을 읽은 직후)까지 동일하게 진행한 뒤, 그 이후의 궤적을 복수 회 독립적으로 리샘플링하여 결과의 분산이 입력 시점에 고정되었는지 사후 추론에서 발생하는지 분해하는 인과 분석 기법입니다.
간접 프롬프트 주입 (Indirect Prompt Injection)
사용자가 직접 입력한 프롬프트가 아니라, 에이전트가 도구나 검색을 통해 읽어 들인 외부 비신뢰 문서(웹페이지, 상대방 서면 등) 내부에 숨겨진 악의적 지시어가 에이전트의 본래 제어 흐름을 탈취하는 보안 취약점입니다.
사고 추론 윈도우 (Thinking Window)
외부 입력을 읽은 후 실제 외부 행동(도구 호출이나 최종 답변)을 취하기 전까지 언어 모델 내부에서 체인 오브 소트(CoT) 등의 추론 토큰을 생성하며 전략을 저울질하는 중간 상태 구간입니다.
기술 심층 분석
상태 분산 분해와 읽기 시점 결정론의 수학적 균열
전통적인 에이전트 보안 평가 체계는 에피소드당 단 1회의 실행(Single Run)으로 성공 여부를 측정해 왔으며, 이로 인해 주입문을 읽는 순간 에이전트의 거동이 이미 결정론적으로 고정된다는 단견에 갇혀 있었습니다. Jia 등(2610.24048)은 이를 타파하기 위해 주입문을 읽는 특정 스텝까지 환경을 고정 복제한 후, 이후의 경로를 수없이 재표본화하는 분기 롤아웃 기법을 도입하여 상태 간 분산(Between-state Variance)과 상태 내 사후 분산(Within-state Post-read Variance)을 통계적으로 분리했습니다. 연구 결과에 따르면 사고(Thinking) 토큰 생성이 배제된 Qwen3 계열 에이전트는 AgentDojo 4개 스위트 전반에서 결과 분산의 무려 0.91이 주입문을 읽는 상태 시점에 종속되어 있었습니다. 즉, 비추론형 모델에서는 읽기 시점의 상태 벡터와 토큰 확률 분포가 사실상 하이재킹 성공 여부의 9할 이상을 독점적으로 지배하고 있었던 셈입니다. 이는 이전의 단발성 가드레일들이 왜 입력 텍스트 매칭에만 매달렸는지를 역설적으로 설명해 줍니다. 그러나 사고 메커니즘이 활성화된 에이전트 환경에서는 이 수치가 급격히 붕괴되며 결과 분산의 상당 부분이 읽기 이후의 사고 궤적 사후 분포로 전이됩니다. 수학적으로 볼 때, 조건부 전이 확률 행렬에서 읽기 시점의 엔트로피가 사고 단계를 거치며 단계적으로 재배치되는 현상이며, 이는 주입 공격 방어의 표적이 고정된 단일 지점이 아니라 동적인 궤적 공간이어야 함을 엄밀하게 증명합니다.
사고 궤적 내 갈등 역학과 결정 윈도우의 생성 원리
확장된 추론 토큰을 생성하는 고성능 추론 모델에서 이러한 분산 전이가 발생하는 근본 원리는 어텐션 메커니즘의 동적 주의 분산과 목표 함수 간의 경합에 기인합니다. 에이전트가 외부 비신뢰 텍스트를 인지했을 때, 비추론형 모델은 즉각적으로 디코딩 레이어에서 가장 높은 로짓을 지닌 다음 도구 호출 토큰을 방출하지만, 사고형 모델은 CoT 토큰을 생성하며 시스템 프롬프트가 규정한 본래 목표와 외부 텍스트가 요구하는 악의적 지시 사이에서 잠재적 일관성 검사를 수행합니다. 이 사고 궤적 구간에서 모델은 외부 지시어가 기존 작업 흐름과 충돌한다는 사실을 언어화(Verbalization)하는 경향을 보이며, 이 과정에서 주입 지시를 따를 것인지 아니면 무시하고 본래 작업을 완수할 것인지에 대한 내부 확률 궤적이 심하게 요동칩니다. 바로 이 궤적의 요동 구간이 이 논문이 명명한 '결정 윈도우(The Window in the Reasoning)'의 실체입니다. 주의 집중 가중치(Attention Weight)가 시스템 프롬프트의 안전 지침과 오염된 컨텍스트 스팬 사이를 교차 탐색하면서 자기 일관성(Self-consistency)을 맞추려 시도하는 동안, 최종 행동의 탈취 여부는 미세한 샘플링 변동성이나 중간 추론 논리에 의해 지연 결정됩니다. 결과적으로 악의적 프롬프트가 컨텍스트 윈도우에 성공적으로 로드되었다 하더라도, 에이전트가 이를 실행하기로 최종 '결심'하는 물리적 시점은 사고가 끝나는 최후의 도구 발화 직전까지 유예되는 구조적 특성을 갖게 됩니다.
단일 실행 벤치마크의 왜곡과 확률적 거동의 블라인드 스팟
이러한 발견은 에이전트의 안전성을 측정해 온 기존 평가 방법론의 치명적인 결함을 정면으로 폭로합니다. 단일 실행(Single-run) 방식으로 에이전트의 프롬프트 주입 방어율을 측정하는 벤치마크는 단 한 번의 무작위 샘플링 경로가 우연히 주입 지시를 거부했는지 수용했는지만을 기록할 뿐, 그 기저에 자리 잡은 확률적 취약성을 완전히 은폐합니다. 만약 동일한 주입 읽기 상태에서 사후 분산이 극도로 높다면, 어떤 단일 실행에서는 방어에 성공한 것처럼 보이는 에이전트라 할지라도 실전 배포 환경에서는 단지 디코딩 시드의 미세한 차이나 온도 파라미터(Temperature)의 요동에 의해 동일한 입력에 대해 언제든 공격에 굴복할 수 있습니다. 즉, 벤치마크 점수의 외형적 안전성은 견고한 방어 체계의 결과물이 아니라 높은 내부 엔트로피가 빚어낸 착시에 불과할 수 있다는 것입니다. 따라서 신뢰성 평가 프로토콜은 에피소드 고정 후 복수 회 롤아웃을 통해 계산되는 '주입 수용 확률의 사후 적분치'를 필수적으로 측정해야 합니다. 사고 궤적이 길어질수록 에이전트는 외견상 더 지능적인 방어 논리를 펴는 것처럼 보이지만, 실제로는 결정 윈도우 내에서 사후 분산이 증폭되어 통제 불가능한 비결정론적 취약점에 노출될 위험성 또한 동시에 안고 있다는 냉정한 분석이 요구됩니다.
런타임 모니터링의 패러다임 전환: 읽기 차단에서 궤적 개입으로
이와 같은 메커니즘의 규명은 런타임 보안 아키텍처의 설계 방식을 근본적으로 재편할 것을 요구합니다. 지금까지 업계의 지배적인 접근법은 에이전트가 도구를 호출하여 외부 문서를 메모리에 적재하기 직전에 정규표현식이나 경량 분류기를 통해 주입 패턴을 감지하려는 '읽기 시간(Read-time) 게이트'였습니다. 그러나 외부 문서가 복잡하고 방대한 법률 코퍼스이거나 정상적인 인용문 속에 교묘하게 위장된 경우에는 입력단의 텍스트 필터가 심각한 오탐(False Positive)을 유발하거나 우회 공격을 놓치기 십상입니다. 결정이 사고 과정 내부에서 완결된다는 사실은, 보안 모니터의 감시 카메라를 입력 파이프라인이 아니라 '사고 토큰 스트리밍 버퍼'로 옮겨야 함을 시사합니다. 에이전트가 오염된 텍스트를 인지한 뒤 사고를 전개하는 동안, 모델이 주입된 지시의 적법성을 논의하거나 본래 시스템 지침과의 불일치를 감지하는 특정 시맨틱 표류 패턴을 실시간 추론 스트림에서 포착해 낼 수 있다면, 실제 파괴적인 외부 도구 호출(예: 데이터 유출, 비인가 DB 변경)이 발생하기 직전에 연산을 선제 차단(Early Halt)하거나 안전한 상태로 롤백시킬 수 있습니다. 즉, 방어의 축이 정적인 입력 검문소에서 동적인 추론 궤적 인터셉터(Trajectory Interceptor)로 전환되는 패러다임 시프트가 필연적으로 요청됩니다.
기술적 트레이드오프
긴장 관계 추론 궤적(Thinking Trajectory)을 길게 확장할수록 에이전트가 복잡한 지시의 논리적 모순을 파악하여 자체 거부할 수 있는 지적 여지는 넓어지지만, 동시에 사후 결정 윈도우가 길어지면서 확률적 비결정론성에 의한 잠재적 탈취 위험과 추론 토큰 비용 및 지연 시간이 기하급수적으로 증가합니다.
실무적 해소 이를 실무적으로 제어하기 위해 모든 일반 단계에 무제한 사고를 허용하는 대신, 외부 비신뢰 도구 반환값이 유입되는 순간 사고 버퍼의 엔트로피와 핵심 의미 표류를 실시간 스코어링하는 적응형 조기 중단(Early-stopping) 프로토콜을 결합해야 합니다. 사고 궤적 내에서 시스템 지침 위배 징후가 감지되면 즉각 디코딩을 기각하고 결정론적 검증 폴백 루틴으로 강제 전환함으로써 연산 비용 낭비와 비결정론적 침해를 동시에 통제합니다.
이 주장이 틀리는 조건
반증 조건 사고형 에이전트와 비사고형 에이전트를 대상으로 동일한 주입 공격 환경에서 분기 롤아웃을 수행했을 때, 사고형 에이전트의 읽기 시점 상태 간 분산 비율이 비사고형 모델과 통계적으로 유의미한 차이 없이 여전히 0.90 이상으로 유지되는 현상이 대규모로 관측된다면 본 논증의 기반은 흔들립니다. 나아가 사고 궤적 내부의 토큰 스트림을 실시간으로 감시하여 시스템 지침 불일치 징후를 감지하더라도, 실제 최종 도구 호출의 주입 수용 여부가 사고 궤적의 의미론적 지표와 완전히 무상관(Correlation < 0.1)하여 런타임 차단율의 개선을 전혀 이끌어내지 못한다는 실증 데이터가 집계된다면 '사고 내부 결정 윈도우 기반 방어'라는 핵심 주장은 기각되어야 마땅합니다.
법마디 OS에 적용한다면
현재 Lawmadi OS는 60개 법률 분야별 AI 리더에게 질의를 배정하고, 복합 질의는 CSO 서연이 주재하는 협의를 거치며, 최종 답변에 인용된 조문과 판례를 국가법령정보센터(law.go.kr) API 원문과 실시간 대조하여 확인되지 않은 인용을 엄격히 차단하고 있습니다. 또한 변호사시험 기출 답안 코퍼스와 판례·조문 조회 도구(MCP)를 표준 인터페이스로 제공하여 철저히 검증된 법률 자산만을 근거로 응답을 생성합니다. 그러나 법률 리더들이 복잡한 사실관계 파악을 위해 MCP 도구로 외부 비신뢰 참고자료를 수집하거나 이용자가 장문의 상대방 소장을 입력 데이터로 주입할 때, 간접 프롬프트 주입에 의해 리더의 내부 추론 루프가 왜곡될 잠재적 위험은 완전히 배제할 수 없습니다. 따라서 우리는 이번 연구의 통찰을 Lawmadi OS의 리더 추론 엔진에 단계적으로 적용하는 방안을 검토하겠습니다. 구체적으로 리더 에이전트가 MCP 조회 결과를 컨텍스트에 편입한 직후 생성하는 사고 토큰 스트림을 모니터링하여, 법률 해석과 무관한 시스템 재정의 시도나 비인가 도구 호출 징후가 사고 버퍼에서 감지되는 순간 추론을 즉시 기각하는 '사고 윈도우 인터셉터' 설계를 R&D 로드맵에 반영하겠습니다. 이는 law.go.kr API 기반의 사후 원문 대조 체계와 결합되어, 인용문의 형식적 진위뿐만 아니라 도구 호출에 이르는 인과적 사고 과정 전반의 무결성을 선제적으로 방어하는 이중 방벽 체계로 진화할 것입니다. 아울러 단일 실행 평가에 의존하던 내부 안전성 테스트베드를 분기 롤아웃 기반의 다중 표본 추출 프로토콜로 개편하여, 실전 배포 전 리더별 프롬프트 주입 수용 분산을 수리적으로 계측하고 사후 취약성을 원천 차단하는 데 주력하겠습니다.
기술적 함의
- 프롬프트 주입 공격의 방어 거점은 정적 텍스트 입력단이 아니라 모델 내부의 사고 궤적(Thinking Trajectory)에 존재합니다.
- 단일 실행 평가 점수는 에이전트의 확률적 안전성을 왜곡하므로, 분기 롤아웃 기반의 사후 분산 측정이 신뢰성 평가의 표준이 되어야 합니다.
- 추론 토큰 스트림을 실시간 감시하고 개입하는 동적 인터셉터 구조가 차세대 에이전트 보안 무결성의 핵심 기술로 부상할 것입니다.
"진정한 기술적 무결성은 입력을 틀어막는 문지기의 손끝이 아니라, 모델이 생각을 벼려내는 궤적의 심연을 정밀하게 통제하는 구조적 아키텍처에서 완성됩니다."
