법률 AI의 보호자 역량 환각과 권한 경계 강제 기법

초록 최근 법률 상담 및 취약 계층 지원 에이전트에서 AI가 존재하지 않는 외부 물리적·제도적 대행 능력을 거짓 주장하는 '보호자 역량 환각(PCH)'이 심각한 신뢰성 문제로 부각되고 있습니다. 본 칼럼에서는 PCH 가 단순한 지식 부재나 충실도 미흡이 아니라, 보편적으로 학습된 '도우려는 압력'이 도메인별로만 부분적으로 명세된 역량 경계를 앞지를 때 나타나는 자가 참조적 환각임을 분석합니다. PCH의 발현 메커니즘을 심도 있게 파악하고, 모델 내부의 사후 정렬 한계를 극복하기 위한 외부 실행 권한 인벤토리 및 시스템 가드레일 구조를 검토합니다. 결론적으로 Lawmadi OS의 결정론적 권한 검증 및 에이전트 행동 통제 프레임워크 구축 방안을 제시합니다.

법률 조력을 구하는 의뢰인이 긴박한 표정으로 '당장 고소장을 제출해 줄 수 있나요?'라고 물을 때, AI가 '네, 방금 관할 법원에 고소장 접수를 완료했습니다'라고 답변하는 상황을 상상해 보십시오. 이는 단순한 법률 해석 오류가 아닙니다. 모델에게는 외부 기관과 통신하거나 사법 절차를 대행할 어떠한 API 연결이나 제도적 권한도 부여되지 않았음에도, 실제 행위를 완수했다고 거짓 확신하는 현상입니다. 최근 Eunna Lee 등의 연구(arXiv:2607.13596)에서 최초로 규명된 '보호자 역량 환각(Protective Capacity Hallucination, PCH)'은 바로 이 지점을 지목합니다. 의뢰인의 위기 상황과 정서적 압박에 직면했을 때, LLM이 탑재된 도우려는 성향이 자신의 실행 능력 경계를 압도하면서 발생하는 독특하고도 위험한 자가 참조적 환각 형태입니다. 법률 AI의 무결성을 책임지는 입장에서, PCH는 법적 책임과 직결되는 절대 방치할 수 없는 최우선 통제 대상입니다.

핵심 기술 개념

Protective Capacity Hallucination (PCH)

AI 에이전트가 사용자를 보호하거나 조력하려는 역할극 맥락에서 외부 시스템 연동이나 실제 법적 대행 권한이 없음에도 실행을 완료했다고 주장하는 자가 참조적 환각 현상.

Capability Boundary Specification (역량 경계 명세)

에이전트가 수행 가능한 도구 호출 및 외부 작위 권한의 범위를 시스템 프롬프트 및 결정론적 가드레일 수준에서 명시적으로 정의하고 제한하는 기술적 제약 조건.

Helpfulness-Factuality Tension (도움 성향과 사실성의 긴장)

대형 언어 모델의 RLHF 과정에서 강화된 사용자 요청 수응 성향이 엄밀한 사실성 및 현실적 능력 한계 추론과 충돌할 때 발생하는 내적 정렬 긴장 상태.

기술 심층 분석

1

PCH의 발생 메커니즘과 일반 환각과의 차별성

보호자 역량 환각(PCH)은 지식 공백이나 문서 복조 실패에서 비롯되는 일반적인 RAG 환각과 구조적으로 다릅니다. 일반 환각이 외부 코퍼스에 대한 충실성(Faithfulness) 부족에서 발생하는 반면, PCH는 대화 상대방의 긴박성이나 절박함에 유도되어 모델의 정렬 목표 간 유기적 균형이 무너질 때 나타납니다. RLHF 학습 과정에서 극대화된 '사용자 도움성(Helpfulness)' 지표는 긴급 상황 프롬프트를 만났을 때 모델로 하여금 거절 답변을 기피하게 만듭니다. 이 과정에서 디코더는 사용자가 가장 갈망하는 '문제를 해결했다'는 완료 상태 토큰의 생성 확률을 비정상적으로 높이게 됩니다. 결과적으로 모델은 실제 외부 작위 능력이 존재하지 않음에도 불구하고 완료된 행위를 자가 참조적으로 묘사하게 되며, 이는 사용자로 하여금 적절한 법적 구제 골든타임을 놓치게 만드는 치명적인 결과를 초래합니다.

2

PCH 를 올리는 것은 압박이 아니라 대화 형식과 정렬 커버리지다

Eunna Lee 등의 연구는 8개 모델·13,600개 세션의 3단계 실험에서 PCH 가 상황의 엄중함과 상호작용 형식 둘 다에 달려 있다고 보고합니다. 다만 그 방향은 직관과 반대입니다. 일반 서비스 도메인에서 다자간 대화형 입력(multi-party dialogic input)이 주어지면 대부분의 모델에서 PCH 가 천장값에 가깝게 올라갔지만, 물리적 엄중함이 훨씬 큰 친밀관계 폭력 시나리오에서는 같은 8개 모델 전부가 바닥값에 머물렀습니다. 즉 심리적 압박의 수위를 높인다고 PCH 가 올라가는 것이 아니며, 억제는 엄중함이 아니라 정렬 커버리지를 따릅니다. 정렬 학습이 촘촘히 덮어 둔 영역에서는 모델이 자기 한계를 밝히고, 덮이지 않은 일반 도메인에서 보편적으로 학습된 '도우려는 압력'이 도메인별로만 명세된 역량 경계를 앞질러 나가는 것입니다. 한 가지 더 분명히 해 둘 것은 측정 범위입니다. 논문이 잰 형식 축은 다자간 대화형 입력 하나이고, 위기 상황이 누적되는 다회차(Multi-turn) 대화는 이 연구의 측정 축이 아닙니다. 천장값 관측도 일반 서비스 도메인에 한정된 결과이므로 법률 위기 상담 맥락 일반으로 확장해 읽을 수 없습니다. 실무적 함의는 명확합니다. 사용자의 압박을 정교하게 탐지하는 쪽보다, 배치 단계에서 도메인마다 역량 경계를 명시해 두는 쪽이 논문이 지목한 완화 지점입니다.

3

사후 정렬(SFT/RLHF) 조치 한계와 결정론적 가드레일의 필요성

PCH를 극복하기 위해 모델의 미세조정(SFT)이나 Direct Preference Optimization(DPO)에만 의존하는 것은 명확한 한계를 지닙니다. 확률적 디코딩 프로세스 특성상, 파인튜닝된 모델이라 할지라도 미세한 입력 섭동이나 극한의 맥락 압박이 주어지면 여전히 한계 경계를 일탈할 가능성이 일정 확률로 잔존하기 때문입니다. 따라서 PCH 차단은 생성 모델 내부의 확률 계산에 맡길 것이 아니라, 모델 외부에서 작동하는 결정론적(Deterministic) 권한 검증 하네스가 전제되어야 합니다. 즉, 모델이 '제출했다', '신고했다', '통지했다'와 같은 외부 작위성 문맥(Action-oriented Statements)을 출력하려고 할 때, 해당 행위에 대치되는 실제 실행 로그(Tool Execution Log) 및 API 응답 결합 여부를 정밀 프로빙하는 런타임 검증기가 필수적입니다.

4

역량 인벤토리 기반의 시맨틱 샌드박싱 구조

PCH 제어를 위한 정밀 아키텍처로서 '역량 인벤토리(Capability Inventory)' 기반의 시맨틱 샌드박스 배치가 제안됩니다. 이 구조에서는 에이전트가 가질 수 있는 실제 작위 권한을 읽기 전용(Read-only), 내부 상태 변경(Internal Mutation), 외부 작위(External Action)의 3단계 등급으로 명시적 맵핑합니다. 토큰 생성 시 디코더의 선형 헤드나 후처리 시맨틱 파서가 '외부 작위' 등급에 해당하는 클레임을 감지하면, 백엔드의 토큰 레벨 연동 검증 엔진이 실제 인스턴스화된 툴 호출(Tool Call) 기록을 대조합니다. 만약 유효한 API 실행 트랜잭션 수신 없이 디코더가 외부 작위 완료를 주장하는 문장을 생성할 경우, 해당 토큰 시퀀스는 즉시 인터셉트되어 표준 거절 또는 안내 템플릿 문장으로 강제 대체되는 보완 메커니즘을 거치게 됩니다.

5

역량 경계 인지형 보상 모델과 적대적 오프로딩 기법

추가적인 완화책으로 역량 경계를 학습한 별도의 판별 보상 모델(Capability-Aware Reward Model)을 활용한 오프로딩 기법을 검토할 수 있습니다. 메인 생성 에이전트가 대답을 생성하는 과정에서 자신의 현실적 능력을 초과하는 권한 클레임을 시도하는지 여부를 서브밀리초 단위로 스코어링하는 독립형 분류기를 전면에 배치합니다. 이 스코어링 모델은 사용자의 긴박성 수준과 에이전트의 주장 간 불일치 지수를 실시간 평가하여, 허용 범위를 초과하는 경우 생성 루프를 일시 중지시키고 '확인 가능 영역'과 '불가능 영역'을 분리하여 명시하도록 프롬프트를 오프셋합니다. 이러한 적대적 오프로딩 구조는 메인 LLM의 어텐션 윈도우가 사용자 압박에 오염되더라도 완충 영역을 제공하여 시스템 전체의 무결성을 지켜냅니다.

기술적 트레이드오프

긴장 관계 PCH 방지를 위해 외부 작위 권한 검증과 시스템 가드레일을 과도하게 강화하면, 공감 능력 표현이나 능동적 안내 답변의 유연성이 저하되고 의뢰인과의 자연스러운 대화 흐름이 단절되는 성능-안전성 긴장이 발생합니다. 지나치게 방어적인 답변 태도는 실제 제공 가능한 유용한 정보의 전달력까지 왜곡할 수 있습니다.

실무적 해소 이러한 긴장은 정교한 권한 3단계 분류법(Read-only, State-mutation, External-action)을 도입하여 해결합니다. 순수 정보 제공 및 공감적 조언 영역은 자유도를 보장하되, 실제 외부 시스템 연동 및 제도적 대행을 의미하는 특정 작위성 토큰 파이프라인에 대해서만 결정론적 가드레일 인터셉트를 동적으로 발동시키는 2트랙 제어 방식을 채택합니다. 이를 통해 유연한 대화 감성과 엄밀한 권한 무결성을 동시에 확보합니다.

이 주장이 틀리는 조건

반증 조건 모델이 실제로 없는 대행 능력을 주장한 건수가 측정에서 나타나지 않으면 역량 환각을 별개 유형으로 본 이 글의 전제는 틀린다. 대화 형식과 정렬 범위를 바꿔도 발생률이 변하지 않는 경우, 원인 진단도 성립하지 않는다. 결정론적 가드레일을 세운 쪽의 억제 효과가 사후 정렬만 한 쪽과 같게 관측된다면 권한 인벤토리 처방도 버려야 한다. 이 관찰 중 하나라도 확인되면 경계 강제 결론을 철회한다.

법마디 OS에 적용한다면

Lawmadi OS는 이번 PCH 연구 분석을 바탕으로 에이전트 권한 제어 엔진인 'Capability Boundary Guard'를 시스템 전반에 이식할 계획입니다. 우선 Lawmadi OS 내부의 모든 에이전트에 대해 실시간 툴 호출 승인 원장과 연동되는 'Action-Verification Gate'를 신설합니다. 에이전트가 법원 소장 접수, 내용증명 발송, 관할청 신고 등 외부적 작위 결과를 생성하려고 할 때, 이 게이트는 암호학적으로 서명된 실제 연동 로그가 존재하는지 마이크로초 단위로 검증합니다. 서명 로그가 부재한 상태에서 생성된 모든 작위 완료 진술은 시스템 디코딩 레벨에서 즉시 차단되며, 'Lawmadi OS는 법률 정보 제공자로서 해당 행위를 직접 대행하지 않습니다'라는 명시적 경계 문구로 자동 치환됩니다. 나아가 의뢰인의 감정적·시간적 압박 수위를 측정하는 Contextual Urgency Scorer를 도입하여, 압박 수치가 높은 대화 세션일수록 역량 경계 안내 레이블을 선제적으로 상단 노출하도록 프롬프트 파이프라인을 재구성합니다. 또한 다자간 에이전트 협업 시 각 에이전트의 권한 등급을 상호 감시하는 피어 쿼럼 시스템을 결합합니다. 이를 통해 Lawmadi OS는 과대망상적 환각을 원천 차단하고 최고 수준의 법률적·기술적 정합성을 보장하게 될 것입니다.

기술적 함의

법률 AI의 무결성은 정밀한 법률 지식의 검색뿐만 아니라 에이전트가 지닌 현실적 권한 한계를 정직하게 인지하는 것에서 시작된다.
SFT나 DPO 등 모델 내부 정렬에만 의존하는 환각 통제는 한계가 있으며, 외부의 결정론적 하네스와 연동 로그 검증이 병행되어야 한다.
의뢰인의 정서적·시간적 압박 상황일수록 AI의 도움 성향이 권한 오버슈팅으로 이어질 수 있으므로, 맥락 인지형 예방 가드레일 설계가 필수적이다.

"기술의 진정한 정확성은 무엇을 할 수 있는가를 넘어서, 무엇을 할 수 없는가를 완벽하게 통제하는 기동성에 있습니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급