환각을 발행 이전에 차단하기: 법률 인용 검증 게이트의 설계
법률 AI의 환각은 사후 보정으로는 늦다. 인용된 법령·판례를 원문까지 대조해 불일치를 발행 이전에 차단하는 검증 게이트의 구조를 해부한다.
초록 본 칼럼은 법률 AI의 환각(hallucination)을 '발행 이전'에 차단하는 인용 검증 게이트의 기술 구조를 분석한다. 생성 모델은 그럴듯한 사건번호와 조문을 확률적으로 만들어 내지만, 그것이 실재하고 내용까지 일치하는지는 보장하지 못한다. 따라서 식별자 추출 → 권위 원천 대조 → 내용 유사도 검증 → 하드 게이트의 4단 파이프라인으로, 단 한 건의 불일치도 게시되지 않도록 통제하는 설계 원리를 다룬다.
법률 AI에서 가장 위험한 출력은 '틀린 답'이 아니라 '틀렸는데 그럴듯한 답'이다. 대규모 언어모델은 사건번호의 형식(예: 2015두48235)과 조문 표기(예: 제30조 제1항)의 패턴을 학습했기 때문에, 존재하지 않는 인용도 문법적으로 완벽하게 생성한다. 사람은 형식이 맞으면 내용도 맞다고 착각하기 쉽고, 바로 그 틈에서 환각이 신뢰를 무너뜨린다. 이 문제는 모델을 더 키운다고 사라지지 않는다. 생성의 본질이 확률적 추정인 한, 정확성은 생성 바깥의 검증 계층에서 보증되어야 한다. 그래서 우리는 '더 똑똑한 생성'이 아니라 '발행 이전의 검증'을 설계 문제로 다룬다.
핵심 기술 개념
검색증강생성(RAG)
모델이 답을 생성하기 전에 외부의 권위 있는 자료를 먼저 검색해 근거로 주입하는 기법이다. 환각을 줄이지만, 검색된 근거를 '올바르게 인용했는지'까지는 자동으로 보장하지 않는다.
인용 검증 게이트(Citation Verification Gate)
생성물에 포함된 법령·판례 식별자를 권위 원천 원문과 대조해, 실재성과 내용 일치를 통과한 결과만 게시되도록 막는 통제 단계다. 통과 못 하면 발행 자체가 중단된다.
하드 게이트(Hard Gate)
기준을 충족하지 못하면 예외 없이 차단하는 이진적 통제다. 평균 점수로 넘어가는 소프트 기준과 달리, 단 한 건의 위반도 전체 발행을 막는다.
기술 심층 분석
1단계 — 식별자 추출: 정규식과 부호 사전
검증의 출발점은 생성된 해설 텍스트에서 법령·판례 식별자를 정확히 뽑아내는 것이다. 한국 판례 표기는 연도와 사건부호(다·두·도·헌마·헌바 등)와 일련번호의 결합으로 이루어지며, 조문은 '제N조 제M항 제K호'의 중첩 구조를 갖는다. 가지번호(예: 제360조의14)처럼 변칙적 표기도 많아, 단순 패턴으로는 누락이 생긴다. 그래서 사건부호 사전을 명시적으로 관리하고, 조문은 항·호·목과 가지번호까지 포착하는 정규식으로 추출한다. 이 단계에서 식별자를 놓치면 뒤의 모든 검증이 건너뛰어지므로, 추출의 재현율(recall)이 게이트 전체의 안전성을 좌우한다.
2단계 — 권위 원천 대조: 실재성부터 확인
추출한 식별자가 '실제로 존재하는가'를 권위 있는 원천에 질의해 확인한다. 법령은 국가법령정보센터의 조문 단위 본문을, 판례·헌재결정은 판시사항 본문을 원천으로 삼는다. 이 단계의 핵심은 모델의 기억이 아니라 외부 권위에 판단을 위임한다는 점이다. 모델이 아무리 확신해도, 원천이 그 사건번호를 반환하지 못하면 그것은 환각으로 간주된다. 네트워크 조회 비용을 줄이기 위해 검증 결과를 캐시에 저장해 재질의를 최소화하되, 캐시는 어디까지나 원천 응답의 사본일 뿐 판단의 근거를 대체하지 않는다.
3단계 — 내용 일치: 번호만 맞다고 통과가 아니다
식별자가 실재한다고 해서 끝이 아니다. 더 교묘한 환각은 '실재하는 사건번호를 엉뚱한 맥락에 붙이는' 경우다. 예컨대 실제 판례지만 다른 쟁점을 다루는 사건을 근거랍시고 인용하면, 형식 검증만으로는 걸러지지 않는다. 그래서 추출된 판시사항·조문 본문과 해설이 주장하는 내용 사이의 유사도를 대조하는 단계가 필요하다. 유사도가 임계 이하이면 '번호는 실재하나 내용 불일치'로 표시해 수동 검토로 보내거나 차단한다. 이 단계가 형식적 정합성과 의미적 정합성을 가르는 분기점이다.
4단계 — 하드 게이트: 한 건이라도 어긋나면 발행 중단
마지막 단계는 통제의 강도를 결정한다. 일반 서비스라면 '대부분 맞으니 발행' 같은 평균 기준이 합리적일 수 있다. 그러나 법률에서는 단 한 건의 허위 인용이 전체 신뢰를 무너뜨리므로, 검증을 평균이 아니라 이진으로 설계해야 한다. 우리 빌드 파이프라인은 인용 검증에서 환각이 한 건이라도 감지되면 종료코드를 실패로 반환하고, 그 결과물은 사용자에게 도달하지 못한다. 'better safe than sorry'가 아니라 'no hallucination ships'가 기준선이다. 통과 기준을 느슨하게 두는 순간 게이트는 장식이 된다.
왜 생성 단계의 개선만으로는 부족한가
더 큰 모델, 더 좋은 프롬프트, 더 많은 컨텍스트는 환각의 '빈도'를 낮춘다. 그러나 확률적 생성이 본질인 한 빈도를 0으로 만들 수는 없다. 빈도를 0.1%로 낮춰도, 수천 건의 인용을 다루는 서비스에서는 매일 몇 건의 허위가 새어 나간다. 따라서 안전성은 생성 품질의 함수가 아니라 검증 계층의 존재 여부에 달려 있다. 생성과 검증을 분리하면, 모델을 교체하거나 업그레이드해도 검증 게이트가 그대로 안전망 역할을 한다. 이 분리야말로 시스템을 모델 의존에서 해방시키는 설계상의 핵심이다.
기술적 트레이드오프
긴장 관계 원문까지 대조하는 검증은 네트워크 조회와 연산을 더해 발행을 느리게 만들고, 하드 게이트는 검증 인프라 장애 시 정상 결과까지 막아 버릴 위험을 안는다. 정확성과 처리량·가용성이 정면으로 충돌한다.
실무적 해소 이 긴장은 캐시 계층과 실패 분류로 다룬다. 검증 결과를 캐싱해 반복 조회를 줄이면 처리량 손실을 크게 완화할 수 있다. 또한 종료코드를 '환각 차단'과 '인프라 장애'로 구분해, 전자는 발행을 막되 후자는 재시도·보류로 처리한다. 이렇게 하면 검증 인프라가 일시적으로 흔들려도 정상 결과를 환각으로 오인해 폐기하지 않으면서, 진짜 환각은 변함없이 차단할 수 있다.
법마디 OS에 적용한다면
법마디 OS는 이 4단 게이트를 선택형 해설 빌드 파이프라인에 이미 적용하고 있다. 모든 해설의 인용 법령은 조문 본문까지, 판례는 판시사항 본문까지 국가법령정보센터 원천과 대조하며, 환각이 한 건이라도 잡히면 빌드가 실패하고 게시되지 않는다. 다음 단계의 업그레이드 방향은 세 가지다. 첫째, 내용 유사도 검증의 임계와 표현 정규화를 정교화해 '번호는 맞지만 맥락이 다른' 인용의 검출률을 높인다. 둘째, 검증 캐시를 회차·과목 단위로 분할해 데이터셋이 늘어도 조회 비용이 선형으로 폭증하지 않게 한다. 셋째, 현재 선택형에 적용된 게이트를 사례형·기록형처럼 더 긴 서술로 확장해, 긴 답변 속 다수 인용도 동일한 기준으로 점검한다. 핵심은 검증을 사후 점검이 아니라 발행의 전제 조건으로 유지하는 것이다.
기술적 함의
- arrow_forward 법률 AI의 안전성은 생성 품질이 아니라 발행 이전 검증 계층의 존재로 결정된다.
- arrow_forward 검증은 평균 정확도가 아니라 '한 건도 허용하지 않는' 이진 게이트로 설계해야 한다.
- arrow_forward 생성과 검증을 분리하면 모델을 교체·업그레이드해도 안전망이 유지된다.
"좋은 법률 AI는 더 잘 쓰는 모델이 아니라, 틀린 인용을 끝내 내보내지 않는 시스템이다."
