법률 에이전트의 판단적 기각(Abstention)과 CONVOLVE 프레임워크 설계
법률 AI 에이전트가 불확실한 상황에서 무리한 도구 호출을 중단하고 적시에 행동을 기각(Abstain)하도록 제어하는 CONVOLVE 기반 정지 규칙 설계 방안을 고찰합니다.
초록 본 칼럼에서는 법률 추론 환경에서 멀티 에이전트 시스템이 직면하는 무한 도구 호출 및 오작동 문제를 해결하기 위해 '에이전트 행동 기각(Agentic Abstention)' 메커니즘을 학술적으로 분석합니다. 특히 모델 파라미터의 미세조정 없이 과거 상호작용 궤적(Trajectory)에서 정지 규칙(Stopping Rules)을 추출해 컨텍스트에 주입하는 CONVOLVE 프레임워크의 동작 원리를 규명합니다. 이를 부분관찰 마르코프 의사결정과정(POMDP) 관점에서 정형화하고, 법률 AI의 신뢰성을 극대화하기 위한 실무적 아키텍처를 제안합니다. 최종적으로는 이러한 기각 메커니즘이 리걸테크 시스템의 무결성 확보에 미치는 함의를 도출합니다.
복잡한 법률 질의에 답하는 AI 에이전트가 명확한 근거가 없거나 모호한 전제 조건에 직면했을 때, 무리하게 판례를 검색하거나 법령 해석을 시도하다가 파멸적인 환각(Hallucination)을 생성하는 장면은 리걸테크 현업에서 흔히 관찰됩니다. 단일 대형 언어 모델의 스케일을 키우는 것만으로는 "모르는 것을 모른다고 선언하는" 기각 능력이 선형적으로 향상되지 않는다는 것이 최근 연구를 통해 증명되었습니다. 법률 에이전트가 무한 루프에 빠져 API 비용을 낭비하고 신뢰할 수 없는 법률 의견서를 작성하기 전에, 스스로 행동을 멈추는(Abstain) 제어 메커니즘은 시스템 무결성의 핵심입니다. 본 칼럼에서는 순차적 의사결정 모델링 하에서 에이전트의 기각 타이밍을 최적화하는 CONVOLVE 컨텍스트 엔지니어링 기술을 심층 분석하고, 이를 법마디 OS에 이식하기 위한 구체적인 아키텍처적 해법을 논하고자 합니다.
핵심 기술 개념
Agentic Abstention (에이전트 행동 기각)
에이전트가 주어진 작업의 불확실성이 높거나 해결 불가능하다고 판단할 때, 추가적인 도구 호출이나 답변 생성을 스스로 중단하고 기각을 선언하는 메커니즘입니다.
CONVOLVE
에이전트의 과거 실행 궤적(Trajectory)을 분석하여 기각이 필요한 임계점과 패턴을 '정지 규칙 플레이북'으로 압축하고, 이를 컨텍스트에 주입하여 기각 성능을 개선하는 프레임워크입니다.
POMDP (부분관찰 마르코프 의사결정과정)
에이전트가 환경의 완전한 상태를 알지 못하는 불확실성 하에서, 관측 데이터에 기반해 최적의 행동(답변, 기각, 추가 탐색)을 선택하는 수학적 모델입니다.
기술 심층 분석
POMDP 관점에서의 에이전트 기각 의사결정 정형화
에이전트의 행동 흐름을 단판성 분류가 아닌 순차적 의사결정으로 모델링해야 하는 이유를 분석합니다. 각 단계 t에서 에이전트는 관측 가능한 상태 o_t를 바탕으로 답변 생성(a_ans), 도구 호출(a_tool), 기각(a_abs)의 행동 공간(Action Space)을 가집니다. 법률 도메인에서는 판례 데이터베이스의 누락이나 질문의 법적 모순이 숨겨진 상태(Hidden State)로 존재하므로, 기각 결정은 불완전한 정보 하의 신념 상태(Belief State) 업데이트 과정으로 수식화됩니다. 이를 통해 에이전트가 탐색 비용과 오류 비용의 가중치를 계산하여 기각의 기대 효용이 더 높은 시점을 수학적으로 판별하는 메커니즘을 설명합니다. 결과적으로 무의미한 도구 호출의 반복을 수학적 비용 함수 관점에서 억제할 수 있습니다.
CONVOLVE 프레임워크의 동작 메커니즘과 플레이북 생성
파라미터 미세조정 없이 기각 능력을 극대화하는 CONVOLVE의 2단계 파이프라인을 분석합니다. 첫째, 오프라인 단계에서 에이전트가 수행한 과거의 성공 및 실패 궤적(Trajectory) 로그를 수집하고, 특히 불필요한 도구 호출을 반복하다 실패한 지점을 역추적(Backtracking)합니다. 둘째, 메타 LLM을 활용해 '어떤 조건에서 탐색을 멈췄어야 했는가'에 대한 인과 관계를 추출하여 정형화된 '정지 규칙(Stopping Rules) 플레이북'을 자동 생성합니다. 이 플레이북은 런타임에 에이전트의 시스템 프롬프트에 동적으로 바인딩되어, 실시간 상태 전이 시 가이드라인 역할을 수행합니다. 이는 미세조정 대비 비용 효율적이면서도 도메인 지식을 유연하게 반영할 수 있는 강점을 지닙니다.
기각 임계치 설정의 한계와 동적 정지 규칙의 필요성
고정된 확률 임계치(Threshold) 기반 기각 기법이 법률 도메인에서 실패하는 이유를 규명합니다. 생성 토큰의 엔트로피나 소프트맥스 확률값만을 기준으로 기각 여부를 결정할 경우, 모델이 잘못된 법률 지식을 강한 확신(Overconfidence)으로 출력할 때 발생하는 '오류 기각 실패'를 막을 수 없습니다. CONVOLVE는 단순 수치적 임계치가 아니라, '제시된 사실관계가 상호 모순될 때', '참조 조문이 폐지되었을 때'와 같은 시맨틱 수준의 정지 규칙을 정의함으로써 수치 임계치의 한계를 극복하고 논리적 무결성을 확보합니다. 이는 법률 분석의 특수성을 반영한 지식 기반 기각 제어를 가능하게 만듭니다.
에이전트 추론 궤적 내의 문맥 표류(Context Drift)와 기각 타이밍의 붕괴
다회차(Multi-round) 도구 호출 과정에서 발생하는 문맥 표류가 어떻게 에이전트의 기각 판단력을 흐리는지 분석합니다. 검색된 법령과 판례가 컨텍스트 윈도우에 누적될수록, 불필요한 노이즈가 주의 집중(Attention) 분포를 왜곡시켜 에이전트가 초기 질문의 본질적 모순을 망각하게 만듭니다. 이로 인해 기각해야 할 시점을 놓치고 억지 답변을 생성하게 되는데, 이를 방지하기 위해 각 도구 호출 직후 '질문-증거 정합성 검증 루프'를 강제하여 컨텍스트 청정도를 유지하고 기각 메커니즘이 정상 작동하도록 보장해야 합니다. 이는 정보의 양적 증가가 오히려 의사결정의 질적 저하를 유발하는 현상을 방지하는 핵심 열쇠입니다.
기술적 트레이드오프
긴장 관계 기각 빈도(Abstention Rate)와 사용자 경험(Utility) 간의 긴장 관계가 존재합니다. 기각 규칙을 너무 엄격하게 적용하면 에이전트가 조금만 모호한 질문을 받아도 답변을 거부하여 시스템의 유용성이 급감하는 반면, 규칙을 완화하면 오작동과 환각이 발생하여 법률 AI로서의 신뢰성이 무너집니다.
실무적 해소 이를 해결하기 위해 '단계적 기각(Graduated Abstention)' 전략을 채택합니다. 완전히 답변을 거부하는 대신, '현재 제공된 사실관계로는 판단이 불가능하나, 특정 조항의 적용 여부가 추가로 확인된다면 다음과 같이 해석될 수 있습니다'와 같이 조건부 답변(Conditional Response)과 기각 사유를 명시적으로 제공하여 유용성과 정확성을 동시에 확보합니다.
법마디 OS에 적용한다면
법마디 OS의 멀티 에이전트 아키텍처에 CONVOLVE 기반의 '기각 전담 가드레일 에이전트(Abstention Guard Agent)'를 설계합니다. 사용자가 비정형 법률 질의를 입력하면, 검색 및 추론 에이전트가 구동되는 동시에 가드레일 에이전트가 런타임 궤적을 실시간 모니터링합니다. 법마디 OS에 특화된 '한국 법령 및 판례 정지 규칙 플레이북'(예: 효력 상실 법령 참조 시 즉시 정지, 요건 사실 누락 시 추가 질문 유도)을 메모리에 상주시키고, 추론 에이전트의 상태 전이를 감시합니다. 만약 추론 에이전트가 동일한 법적 쟁점에 대해 3회 이상 상이한 판례를 중복 검색하거나 논리적 교착 상태에 빠지면, 가드레일 에이전트가 강제로 인터럽트(Interrupt)를 발생시키고 기각 메시지와 함께 사용자에게 보완 질문을 요청하는 구조로 시스템을 업그레이드합니다. 이를 통해 불필요한 API 연산 비용을 절감하고 답변의 무결성을 보장합니다.
기술적 함의
- AI의 스케일업이 기각 능력의 자동적 향상을 보장하지 않으므로, 명시적인 정지 규칙 제어 아키텍처가 필수적입니다.
- 법률 AI의 무결성은 단순히 정답을 맞히는 능력을 넘어, 답변할 수 없는 한계를 스스로 인지하고 멈추는 능력에서 완성됩니다.
- CONVOLVE와 같은 비조정형(Non-tuning) 컨텍스트 제어 기술은 고비용의 파인튜닝 없이도 에이전트의 안전성을 극대화하는 실무적 대안입니다.
"완벽한 법률 AI는 모든 질문에 답하는 모델이 아니라, 침묵해야 할 순간을 정확히 아는 모델입니다."
참고 자료
- arxiv.org Investigating Multi-Agent Deliberation in Law
- arxiv.org AI at the Front Lines of Platform Governance: Using LLMs to Support Illegal Content Reporting under the Digital Services Act
- arxiv.org PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation
- arxiv.org Superintelligent Retrieval Agent: The Next Frontier of Information Retrieval
- github.com GitHub
- arxiv.org Agentic Abstention: Do Agents Know When to Stop Instead of Act?
- arxiv.org Agentic Abstention: Do Agents Know When to Stop Instead of Act?
- huggingface.co Paper page
- arxiv.org Investigating Multi-Agent Deliberation in Law
- arxiv.org Superintelligent Retrieval Agent: The Next Frontier of Agentic Retrieval
