답변보다 결손 탐색을: 법률 질의 불완전성의 세 구조

초록 법률 AI 실무에서 사용자가 입력하는 자연어 질의는 법적 판단에 필수적인 사실관계가 결여된 '불완전 질의'인 경우가 다수를 차지합니다. 대형언어모델은 누락된 정보를 자의적으로 가정한 채 성급한 법률 자문을 제공하는 구조적 취약점을 지니고 있습니다. 본 칼럼에서는 질의 측면 부족성을 Switch, Gating, Fatal Prerequisite의 3대 실패 모드로 체계화한 InsufficiencyBench의 방법론을 분석합니다. 이를 바탕으로 RAG 파이프라인 전단에서 사실 결손을 판정하고 능동적 역질의를 생성하는 무결성 검증 아키텍처를 제시합니다.

상담 창구에 들어선 의뢰인이 '제가 서명한 비경업 약정이 무효인가요?'라는 한 문장만을 남겼다고 가정해 보십시오. 숙련된 법률가라면 결코 즉답을 내리지 않고, 근무 관할 지역이 어디인지, 수령하던 급여 수준이나 보상 조항이 존재하는지, 제한 기간과 직무 범위가 어떻게 규정되었는지를 먼저 되묻습니다. 반면 대다수의 법률 AI는 모델 고유의 생성 편향에 이끌려 캘리포니아주 노동법이나 일반적인 유효성 요건을 자의적으로 가정한 채 그럴듯하지만 완전히 잘못된 조언을 쏟아냅니다. 이것이 바로 질의 측면의 정보 부족이 초래하는 법률 AI의 치명적 결함입니다. 질문의 부족성을 먼저 진단하지 못하는 생성은 아무리 정교한 검색증강(RAG)을 거치더라도 오답으로 귀결될 수밖에 없습니다.

핵심 기술 개념

질의 부족성 (Query Underspecification)

법률적 결론을 도출하는 데 필요한 핵심 사실관계, 관할권, 시간적 배경 등의 필수 정보가 누락되어 확정적 답변이 불가능한 질의 상태를 의미합니다.

치명적 전제조건 (Fatal Prerequisite)

특정 법률 규정이나 제도를 적용하기 위해 반드시 선행하여 증명되어야 하는 필수 요건으로, 결손 시 전체 법리 검토가 성립하지 않는 조건을 뜻합니다.

게이팅 조건 (Gating Condition)

근로자 수, 소득 기준, 계약 금액 등 수치나 명시적 임계값을 넘어서야만 특정 법령이나 조항의 적용 자격이 부여되는 법적 기준선입니다.

기술 심층 분석

1

질의 결손의 세 가지 구조적 실패 모드: Switch, Gating, Fatal Prerequisite

법률 질의의 불완전성을 규명하기 위해서는 법적 판단의 분기를 결정짓는 구조적 실패 모드를 정밀하게 분해해야 합니다. 첫째, 'Switch'는 단 하나의 추가 사실(예: 적용 관할 지역이나 당사자의 근로자성 여부)에 따라 적용 법조문과 결론이 180도 전환되는 구조입니다. 둘째, 'Gating'은 5인 이상 사업장 여부나 연간 매출액 등 법률 적용을 활성화하는 임계 조건이 미달하여 해당 법안이 원천 배제되는 경우를 뜻합니다. 셋째, 'Fatal Prerequisite'는 임대차 계약의 실효성이나 유효한 서면 합의의 존재처럼 후속 청구권을 형성하는 필수적 선결 요건이 결손된 상태를 말합니다. 이 세 가지 모드는 단순한 문맥 누락이 아니라 법률 그래프의 분기 노드를 결정짓는 핵심 파라미터 결손에 해당합니다. 따라서 리걸 AI는 사용자의 입력 텍스트를 단순 벡터로 임베딩하기에 앞서, 질의가 담고 있는 사실관계가 법적 구성요건의 최소 분기 기준을 충족하는지 여부를 검증하는 기호적 요건 검사 단계를 반드시 거쳐야 합니다.

2

지시 추종의 역설: 가정적 환각(Assumptive Hallucination) 메커니즘

최신 LLM들이 불완전한 법률 질의 앞에서 무너지는 근본 원인은 사후 정렬(Alignment) 과정에서 학습된 과도한 친절성과 지시 추종 편향에 있습니다. 모델은 주어진 컨텍스트 내에 정보가 부족하더라도 '모르겠다'고 답변을 거부하거나 되묻기보다는, 가장 높은 토큰 확률을 갖는 일반적인 상황을 스스로 가정하여 답변을 완성하려는 확률적 경향을 보입니다. 예컨대 비경업 약정 질의를 입력받으면 모델은 암묵적으로 특정 관할권과 표준적인 근로 조건을 기본값(Default)으로 채워 넣은 뒤 논리를 전개합니다. 이러한 가정적 환각은 답변 내부의 법리 전개 자체는 매우 논리적으로 보이게 만들지만, 의뢰인의 실제 사실관계와는 완전히 동떨어진 치명적 오판을 유발합니다. InsufficiencyBench의 평가에서 첨단 모델들이 F2 점수 0.46 이하의 저조한 식별 성능을 기록한 이유도, 정보 결손을 능동적 기각(Abstention) 사유로 인식하지 못하고 생성 유혹에 굴복하기 때문입니다.

3

사전 검증 게이트: 사실관계 결손 판정기(Insufficiency Evaluator)의 분리

이러한 구조적 한계를 극복하기 위해 Lawmadi OS는 생성 파이프라인의 최전단에 '사실관계 결손 판정기'를 독립된 감사 모듈로 배치합니다. 이 판정기는 질의가 유입되면 법률 온톨로지에서 요구하는 필수 구성요건 슬롯을 역추적하여 현재 질의에 매핑된 슬롯의 충족률을 계산합니다. 질의 내에서 관할권, 대상 지위, 발생 시점, 수치 조건 중 어느 하나라도 Switch 또는 Fatal Prerequisite에 해당하는 슬롯이 공란으로 판정되면, 메인 RAG 파이프라인의 검색 및 답변 생성 루프를 강제로 인터럽트합니다. 판정기는 생성 모델과 동일한 컨텍스트를 공유하지 않고, 오직 '판단에 필요한 최소 사실관계가 명시되었는가?'만을 이진 및 다중 레이블로 평가하는 결정론적 검증 체계로 동작합니다. 이를 통해 모델이 질의의 부족함을 망각한 채 자의적인 법령 문서를 검색하여 주입하는 RAG 오염 현상을 사전에 완벽히 차단할 수 있습니다.

4

능동적 역질의(Clarification Elicitation)와 최소 개입 원칙

정보 부족이 감지되었을 때 시스템이 취해야 할 최선의 조치는 침묵이 아니라, 결손된 사실관계를 정밀하게 획득하기 위한 '능동적 역질의' 생성입니다. 이때 중요한 것은 사용자에게 법률 교과서 수준의 모든 디테일을 요구하는 것이 아니라, 법적 결론을 갈라놓는 핵심 분기점(Switch/Gating)만을 짚어내는 '최소 개입 원칙'입니다. 시스템은 결손된 파라미터 중 결론의 분산(Variance)을 가장 크게 줄일 수 있는 단 하나의 최우선 결손 요소를 선택하여 질문으로 변환합니다. 예컨대 '귀하가 근무하시는 사업장의 통상 근로자 수가 5인 이상인지 여부를 먼저 알려주십시오'와 같이 선택형 또는 단답형으로 명확히 유도합니다. 이러한 능동적 역질의 프로세스는 사용자의 법적 리터러시 부족을 보완하는 동시에, 다단계 대화 인터랙션을 통해 후속 RAG의 검색 정확도를 획기적으로 향상시키는 결정적 촉매가 됩니다.

기술적 트레이드오프

긴장 관계 질의 결손을 엄격하게 감지할수록 섣부른 법률 조언에 따른 환각 리스크는 급감하지만, 단순 문의를 원하는 사용자에게 잦은 되물음을 유발하여 즉각적인 사용자 경험(UX)과 응답 속도가 저하되는 긴장이 발생합니다.

실무적 해소 법적 책임이 수반되는 실질적 권리 판단 질문과 일반 법률 개념 설명 질문을 분류하는 1차 라우터를 도입하고, 결손 판정의 신뢰도 임계치를 동적으로 조정하여 단순 개념 질문에는 즉답을 제공하되 구체적 권리 구제 질의에는 엄격한 역질의 게이트를 적용합니다.

법마디 OS에 적용한다면

Lawmadi OS는 이번 InsufficiencyBench의 분류 프레임워크를 기반으로 '선제적 질의 무결성 검증기(Pre-RAG Query Gate)'를 아키텍처에 공식 편입합니다. 첫째, 사용자의 자연어 입력이 들어오면 법률 도메인별 필수 사실관계 슬롯(Slot-filling Schema)을 기반으로 Switch, Gating, Fatal Prerequisite 결손 여부를 1차 판정합니다. 둘째, 필수 요건 결손이 감지될 경우 외부 법령 및 판례 검색(Retriever) 호출을 전면 차단하고 '사실관계 보충 유도(Clarification Elicitation) 에이전트'로 제어권을 즉각 이관합니다. 셋째, 결손된 정보가 보충되어 사실관계의 완결성이 임계치를 통과한 시점에만 최종 관할권과 요건에 맞춤화된 RAG 파이프라인을 기동하도록 상태 머신(State Machine)을 재설계합니다. 이를 통해 Lawmadi OS는 사용자의 모호한 질문에 함부로 가정을 덧붙여 자문하는 치명적 법률 환각을 근본적으로 제거하고, 실제 변호사의 상담 프로세스와 동일한 수준의 논리적 무결성을 구현합니다.

기술적 함의

법률 AI의 안전성은 생성된 텍스트의 정답률뿐만 아니라 불완전한 질문에 대해 답변을 유예하고 되물을 수 있는 능력에서 판가름 납니다.
RAG 시스템의 검색 성능을 아무리 고도화하더라도 입력 질의의 구조적 사실 결손을 통제하지 못하면 환각은 필연적으로 발생합니다.
사실관계의 구조화된 결손 감지 및 능동적 역질의 설계는 리걸테크가 실무적 법적 책임을 지기 위한 필수 불가결한 안전장치입니다.

"진정한 법률 인텔리전스는 묻는 말에 즉각 답하는 속도가 아니라, 빠진 사실관계를 먼저 짚어낼 줄 아는 엄격한 침묵과 통찰에서 시작됩니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급