발행 이전에 차단하기: 법률 인용 검증 게이트의 설계
법률 AI의 환각은 발행된 뒤 정정하면 늦다. 허위 인용을 사용자에게 닿기 전에 차단하는 인용 검증 게이트가 필요하다. 환각 차단은 사후 수습이 아니라 발행 직전의 강제 관문으로 설계돼야 한다.
초록 본 칼럼은 법률 AI 신뢰성의 마지막 방어선인 사전 인용 검증 게이트를 기술적으로 설계한다. 법률에서 허위 인용은 사후 정정으로 회복되지 않는 손해를 낳는다. 따라서 검증은 발행 이후 모니터링이 아니라, 모든 출력이 사용자에게 닿기 전 반드시 통과해야 하는 강제 관문이어야 한다. 그 게이트의 구성 요소와 실패 처리 원칙을 제시한다.
법률 AI가 존재하지 않는 판례를 인용해 사용자에게 전달되면, 그 손해는 정정 공지로 되돌릴 수 없다. 잘못된 인용은 발행 전에 막아야 한다. 검증은 사후 모니터링이 아니라, 발행을 가로막는 강제 관문이 되어야 한다.
핵심 기술 개념
인용 검증 게이트(Citation Verification Gate)
생성된 답의 모든 법적 인용을 원문과 대조해 실재성을 확인하고, 통과하지 못한 답의 발행을 차단하는 강제 관문. 신뢰성의 마지막 방어선이다.
사전 차단(Pre-publication Blocking)
환각을 발행 후 정정하는 사후 대응이 아니라, 사용자에게 닿기 전에 막는 방식. 회복 불가능한 손해를 원천에서 예방한다.
실패 시 보수적 처리(Fail-Closed)
검증이 통과를 확정하지 못하면 일단 발행을 막는 원칙. 의심스러운 출력을 내보내기보다 멈추는 쪽을 기본값으로 둔다.
기술 심층 분석
법률 환각은 사후 정정으로 회복되지 않는다
일반적인 AI 오류는 사후 정정으로 어느 정도 수습된다. 그러나 법률 인용의 환각은 다르다. 존재하지 않는 판례나 폐지된 조문을 근거로 사용자가 판단하고 행동하면, 그 결과는 정정 공지가 도착하기 전에 이미 벌어진다. Stanford HAI의 평가가 드러낸 환각 비율과, Hallucination-Free?를 표방한 도구들조차 실제로는 상당한 오류를 낸다는 검증 결과는, 법률 AI에서 환각이 예외가 아니라 상존하는 위험임을 보여 준다. Legal Fictions 연구가 확인했듯 대형 모델조차 법적 사실에서 환각한다. 이런 환경에서 '일단 발행하고 문제가 생기면 고친다'는 접근은 법률 도메인에서 성립하지 않는다. 손해가 비가역적이기 때문이다. 그래서 법률 AI의 검증 철학은 사후 수습에서 사전 차단으로 옮겨가야 한다. 막을 수 없는 손해는 발생 자체를 막는 수밖에 없다.
게이트는 발행을 가로막는 강제 관문이어야 한다
사전 차단을 구현하는 핵심은 검증을 '권고'가 아니라 '관문'으로 만드는 것이다. 인용 검증 게이트는 생성된 답의 모든 법적 인용을 추출해 원문 데이터와 대조하고, 실재하지 않거나 확인되지 않는 인용이 하나라도 있으면 그 답의 발행을 막는다. 중요한 것은 이 게이트가 우회 불가능한 경로에 놓여야 한다는 점이다. 어떤 답도 게이트를 거치지 않고 사용자에게 닿을 수 없어야 한다. 검증이 선택적 부가 기능이면, 바쁘거나 예외적인 경로에서 건너뛰어지고 그 틈으로 환각이 새어 나간다. 게이트를 시스템의 필수 통과 지점으로 두면, 검증은 모든 출력에 예외 없이 작동한다. 신뢰성은 검증을 가끔 하는 것이 아니라 항상, 그리고 강제로 하는 데서 나온다.
실패는 보수적으로, 차단은 투명하게 처리한다
게이트가 인용을 확정 검증하지 못하는 경우가 반드시 생긴다. 원문 데이터에 없거나, 형식이 모호하거나, 부분만 일치하는 경우다. 이때의 기본값은 '실패 시 보수적 처리'여야 한다. 확실히 검증되지 않은 인용은 통과시키지 않고 막는다. 의심스러운 것을 내보내기보다 멈추는 쪽이 법률에서는 옳다. 다만 차단은 침묵이 아니라 투명해야 한다. 답을 막았다면 왜 막혔는지(어느 인용이 검증되지 않았는지)를 드러내고, 재작성으로 되돌리거나 사람 검토로 에스컬레이션하는 경로를 제공한다. 이렇게 하면 게이트는 단순한 거부 장치가 아니라 시스템이 스스로를 교정하는 피드백 지점이 된다. 사전 차단·강제 관문·보수적 실패 처리, 이 세 원칙이 결합할 때 환각은 사용자에게 닿기 전에 멈춘다. 그것이 법률 AI가 신뢰를 말할 수 있는 마지막 근거다.
기술적 트레이드오프
긴장 관계 보수적 차단을 엄격히 적용하면 허위 인용은 막지만, 실재하는데 검증 데이터의 한계로 확인되지 못한 정답까지 막혀 유용한 답이 줄어든다.
실무적 해소 차단을 이분법이 아니라 단계적 신호로 설계한다. 검증 실패 시 무조건 폐기하는 대신, 미검증 인용을 명시해 사람 검토로 보내거나 신뢰도 표시와 함께 제한적으로 노출한다. 동시에 검증 데이터 커버리지를 지속 확장해, 정답이 막히는 경우를 구조적으로 줄인다.
법마디 OS에 적용한다면
법마디 OS는 모든 답의 법적 인용을 발행 전 원문과 대조하는 검증 게이트를 우회 불가능한 경로에 둔다. 검증되지 않은 인용이 있으면 보수적으로 발행을 막고, 그 이유를 드러내며 재작성·사람 검토로 되돌린다. 환각을 사후에 정정하는 대신 발행 직전에 차단해, 회복 불가능한 손해를 원천에서 예방한다.
기술적 함의
- 법률 인용의 환각은 사후 정정으로 회복되지 않으므로, 검증 철학을 사후 모니터링에서 발행 이전의 사전 차단으로 전환해야 한다.
- 인용 검증 게이트는 권고가 아니라 우회 불가능한 강제 관문이어야 하며, 모든 출력이 예외 없이 통과해야 검증이 항상 작동한다.
- 검증이 확정되지 않은 인용은 보수적으로 차단하되, 그 이유를 투명하게 드러내고 재작성·사람 검토 경로를 제공해 시스템을 교정 가능하게 해야 한다.
"환각은 발행된 뒤 막을 수 없다. 그래서 법률 AI의 신뢰는 발행 직전의 그 마지막 관문에서 결정된다."
