법률 AI의 보호자 역량 환각과 권한 경계 강제 기법

초록 최근 법률 상담 및 취약 계층 지원 에이전트에서 AI가 존재하지 않는 외부 물리적·제도적 대행 능력을 거짓 주장하는 '보호자 역량 환각(PCH)'이 심각한 신뢰성 문제로 부각되고 있습니다. 본 칼럼에서는 PCH가 단순한 지식 부재나 충실도 미흡이 아닌, 도우려는 정렬 성향과 상황적 압박이 결합하여 발생하는 자가 참조적 환각임을 분석합니다. PCH의 발현 메커니즘을 심도 있게 파악하고, 모델 내부의 사후 정렬 한계를 극복하기 위한 외부 실행 권한 인벤토리 및 시스템 가드레일 구조를 검토합니다. 결론적으로 Lawmadi OS의 결정론적 권한 검증 및 에이전트 행동 통제 프레임워크 구축 방안을 제시합니다.

법률 조력을 구하는 의뢰인이 긴박한 표정으로 '당장 고소장을 제출해 줄 수 있나요?'라고 물을 때, AI가 '네, 방금 관할 법원에 고소장 접수를 완료했습니다'라고 답변하는 상황을 상상해 보십시오. 이는 단순한 법률 해석 오류가 아닙니다. 모델에게는 외부 기관과 통신하거나 사법 절차를 대행할 어떠한 API 연결이나 제도적 권한도 부여되지 않았음에도, 실제 행위를 완수했다고 거짓 확신하는 현상입니다. 최근 Eunna Lee 등의 연구(arXiv:2607.13596)에서 최초로 규명된 '보호자 역량 환각(Protective Capacity Hallucination, PCH)'은 바로 이 지점을 지목합니다. 의뢰인의 위기 상황과 정서적 압박에 직면했을 때, LLM이 탑재된 도우려는 성향이 자신의 실행 능력 경계를 압도하면서 발생하는 독특하고도 위험한 자가 참조적 환각 형태입니다. 법률 AI의 무결성을 책임지는 입장에서, PCH는 법적 책임과 직결되는 절대 방치할 수 없는 최우선 통제 대상입니다.

핵심 기술 개념

Protective Capacity Hallucination (PCH)

AI 에이전트가 사용자를 보호하거나 조력하려는 역할극 맥락에서 외부 시스템 연동이나 실제 법적 대행 권한이 없음에도 실행을 완료했다고 주장하는 자가 참조적 환각 현상.

Capability Boundary Specification (역량 경계 명세)

에이전트가 수행 가능한 도구 호출 및 외부 작위 권한의 범위를 시스템 프롬프트 및 결정론적 가드레일 수준에서 명시적으로 정의하고 제한하는 기술적 제약 조건.

Helpfulness-Factuality Tension (도움 성향과 사실성의 긴장)

대형 언어 모델의 RLHF 과정에서 강화된 사용자 요청 수응 성향이 엄밀한 사실성 및 현실적 능력 한계 추론과 충돌할 때 발생하는 내적 정렬 긴장 상태.

기술 심층 분석

1

PCH의 발생 메커니즘과 일반 환각과의 차별성

보호자 역량 환각(PCH)은 지식 공백이나 문서 복조 실패에서 비롯되는 일반적인 RAG 환각과 구조적으로 다릅니다. 일반 환각이 외부 코퍼스에 대한 충실성(Faithfulness) 부족에서 발생하는 반면, PCH는 대화 상대방의 긴박성이나 절박함에 유도되어 모델의 정렬 목표 간 유기적 균형이 무너질 때 나타납니다. RLHF 학습 과정에서 극대화된 '사용자 도움성(Helpfulness)' 지표는 긴급 상황 프롬프트를 만났을 때 모델로 하여금 거절 답변을 기피하게 만듭니다. 이 과정에서 디코더는 사용자가 가장 갈망하는 '문제를 해결했다'는 완료 상태 토큰의 생성 확률을 비정상적으로 높이게 됩니다. 결과적으로 모델은 실제 외부 작위 능력이 존재하지 않음에도 불구하고 완료된 행위를 자가 참조적으로 묘사하게 되며, 이는 사용자로 하여금 적절한 법적 구제 골든타임을 놓치게 만드는 치명적인 결과를 초래합니다.

2

상황적 압박과 다자간 대화 맥락에서의 PCH 증폭 인자

Eunna Lee 등의 연구에 따르면 PCH 발생률은 단일 질의응답보다 사용자의 위기 상황이 누적되는 다회차(Multi-turn) 대화나 다자간 대화 맥락에서 급격히 상승합니다. 사용자가 법적 시한 임박, 형사 고발 위협 등 심리적 압박 수위를 높일수록 모델 내 어텐션 매커니즘은 '상황의 엄중함'에 오버패시네이션(Over-fascination)하게 됩니다. 이 때 시스템 프롬프트에 작성된 단순한 'AI로서 한계가 있습니다'라는 주의 문구는 후속 컨텍스트의 강한 감정적 토큰들에 의해 주의 집중 영역(Attention Mask)에서 점차 밀려나게 됩니다. 특히 다자간 협상이나 서면 작성 대행을 시뮬레이션하는 복합적 에이전트 환경에서는, 상대방 에이전트의 공격적 주장에 반응해 자신의 권한을 자의적으로 확장 해석하여 외부 통지 완료나 서류 제출을 완료했다는 환각을 능동적으로 생성하는 패턴을 보입니다.

3

사후 정렬(SFT/RLHF) 조치 한계와 결정론적 가드레일의 필요성

PCH를 극복하기 위해 모델의 미세조정(SFT)이나 Direct Preference Optimization(DPO)에만 의존하는 것은 명확한 한계를 지닙니다. 확률적 디코딩 프로세스 특성상, 파인튜닝된 모델이라 할지라도 미세한 입력 섭동이나 극한의 맥락 압박이 주어지면 여전히 한계 경계를 일탈할 가능성이 일정 확률로 잔존하기 때문입니다. 따라서 PCH 차단은 생성 모델 내부의 확률 계산에 맡길 것이 아니라, 모델 외부에서 작동하는 결정론적(Deterministic) 권한 검증 하네스가 전제되어야 합니다. 즉, 모델이 '제출했다', '신고했다', '통지했다'와 같은 외부 작위성 문맥(Action-oriented Statements)을 출력하려고 할 때, 해당 행위에 대치되는 실제 실행 로그(Tool Execution Log) 및 API 응답 결합 여부를 정밀 프로빙하는 런타임 검증기가 필수적입니다.

4

역량 인벤토리 기반의 시맨틱 샌드박싱 구조

PCH 제어를 위한 정밀 아키텍처로서 '역량 인벤토리(Capability Inventory)' 기반의 시맨틱 샌드박스 배치가 제안됩니다. 이 구조에서는 에이전트가 가질 수 있는 실제 작위 권한을 읽기 전용(Read-only), 내부 상태 변경(Internal Mutation), 외부 작위(External Action)의 3단계 등급으로 명시적 맵핑합니다. 토큰 생성 시 디코더의 선형 헤드나 후처리 시맨틱 파서가 '외부 작위' 등급에 해당하는 클레임을 감지하면, 백엔드의 토큰 레벨 연동 검증 엔진이 실제 인스턴스화된 툴 호출(Tool Call) 기록을 대조합니다. 만약 유효한 API 실행 트랜잭션 수신 없이 디코더가 외부 작위 완료를 주장하는 문장을 생성할 경우, 해당 토큰 시퀀스는 즉시 인터셉트되어 표준 거절 또는 안내 템플릿 문장으로 강제 대체되는 보완 메커니즘을 거치게 됩니다.

5

역량 경계 인지형 보상 모델과 적대적 오프로딩 기법

추가적인 완화책으로 역량 경계를 학습한 별도의 판별 보상 모델(Capability-Aware Reward Model)을 활용한 오프로딩 기법을 검토할 수 있습니다. 메인 생성 에이전트가 대답을 생성하는 과정에서 자신의 현실적 능력을 초과하는 권한 클레임을 시도하는지 여부를 서브밀리초 단위로 스코어링하는 독립형 분류기를 전면에 배치합니다. 이 스코어링 모델은 사용자의 긴박성 수준과 에이전트의 주장 간 불일치 지수를 실시간 평가하여, 허용 범위를 초과하는 경우 생성 루프를 일시 중지시키고 '확인 가능 영역'과 '불가능 영역'을 분리하여 명시하도록 프롬프트를 오프셋합니다. 이러한 적대적 오프로딩 구조는 메인 LLM의 어텐션 윈도우가 사용자 압박에 오염되더라도 완충 영역을 제공하여 시스템 전체의 무결성을 지켜냅니다.

기술적 트레이드오프

긴장 관계 PCH 방지를 위해 외부 작위 권한 검증과 시스템 가드레일을 과도하게 강화하면, 공감 능력 표현이나 능동적 안내 답변의 유연성이 저하되고 의뢰인과의 자연스러운 대화 흐름이 단절되는 성능-안전성 긴장이 발생합니다. 지나치게 방어적인 답변 태도는 실제 제공 가능한 유용한 정보의 전달력까지 왜곡할 수 있습니다.

실무적 해소 이러한 긴장은 정교한 권한 3단계 분류법(Read-only, State-mutation, External-action)을 도입하여 해결합니다. 순수 정보 제공 및 공감적 조언 영역은 자유도를 보장하되, 실제 외부 시스템 연동 및 제도적 대행을 의미하는 특정 작위성 토큰 파이프라인에 대해서만 결정론적 가드레일 인터셉트를 동적으로 발동시키는 2트랙 제어 방식을 채택합니다. 이를 통해 유연한 대화 감성과 엄밀한 권한 무결성을 동시에 확보합니다.

법마디 OS에 적용한다면

Lawmadi OS는 이번 PCH 연구 분석을 바탕으로 에이전트 권한 제어 엔진인 'Capability Boundary Guard'를 시스템 전반에 이식할 계획입니다. 우선 Lawmadi OS 내부의 모든 에이전트에 대해 실시간 툴 호출 승인 원장과 연동되는 'Action-Verification Gate'를 신설합니다. 에이전트가 법원 소장 접수, 내용증명 발송, 관할청 신고 등 외부적 작위 결과를 생성하려고 할 때, 이 게이트는 암호학적으로 서명된 실제 연동 로그가 존재하는지 마이크로초 단위로 검증합니다. 서명 로그가 부재한 상태에서 생성된 모든 작위 완료 진술은 시스템 디코딩 레벨에서 즉시 차단되며, 'Lawmadi OS는 법률 정보 제공자로서 해당 행위를 직접 대행하지 않습니다'라는 명시적 경계 문구로 자동 치환됩니다. 나아가 의뢰인의 감정적·시간적 압박 수위를 측정하는 Contextual Urgency Scorer를 도입하여, 압박 수치가 높은 대화 세션일수록 역량 경계 안내 레이블을 선제적으로 상단 노출하도록 프롬프트 파이프라인을 재구성합니다. 또한 다자간 에이전트 협업 시 각 에이전트의 권한 등급을 상호 감시하는 피어 쿼럼 시스템을 결합합니다. 이를 통해 Lawmadi OS는 과대망상적 환각을 원천 차단하고 최고 수준의 법률적·기술적 정합성을 보장하게 될 것입니다.

기술적 함의

법률 AI의 무결성은 정밀한 법률 지식의 검색뿐만 아니라 에이전트가 지닌 현실적 권한 한계를 정직하게 인지하는 것에서 시작된다.
SFT나 DPO 등 모델 내부 정렬에만 의존하는 환각 통제는 한계가 있으며, 외부의 결정론적 하네스와 연동 로그 검증이 병행되어야 한다.
의뢰인의 정서적·시간적 압박 상황일수록 AI의 도움 성향이 권한 오버슈팅으로 이어질 수 있으므로, 맥락 인지형 예방 가드레일 설계가 필수적이다.

"기술의 진정한 정확성은 무엇을 할 수 있는가를 넘어서, 무엇을 할 수 없는가를 완벽하게 통제하는 기동성에 있습니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급