검색을 넘어 정합성으로: 법률 에이전트의 다층 검증 체계
근거를 정확히 검색해도 답이 옳다는 보장은 없다. 인용이 실재하는지, 주장이 근거에 충실한지, 논리가 정합한지를 층층이 검증해야 한다. 다층 검증 체계가 법률 답변의 신뢰를 완성한다.
초록 본 칼럼은 법률 AI의 검증을 단일 점검에서 다층 체계로 확장하는 설계를 다룬다. 인용 실재성, 근거 충실성, 논리 정합성은 서로 다른 차원의 검증이며, 어느 하나로 나머지를 대신할 수 없다. 자기 점검·평가자·그래프 기반 사실 점검을 층위로 쌓아 법률 답변의 신뢰성을 다각도로 보장하는 방법을 제시한다.
정확한 조문을 검색해 왔다고 답이 옳은 것은 아니다. 실재하는 조문을 인용하면서도 그 조문을 잘못 적용할 수 있고, 각 문장이 근거에 닿아 있어도 결론의 논리가 어긋날 수 있다. 검증은 한 겹이 아니라 여러 겹이어야 한다.
핵심 기술 개념
다층 검증(Multi-Layer Verification)
인용 실재성·근거 충실성·논리 정합성처럼 서로 다른 차원을 각각의 층에서 점검하는 검증 구조. 단일 점검이 놓치는 오류를 다른 층이 잡는다.
근거 충실성(Groundedness)
생성된 각 주장이 검색된 근거에 의해 실제로 뒷받침되는 정도. 인용이 실재해도 그 인용이 주장을 지지하지 않으면 충실성은 무너진다.
그래프 기반 사실 점검(Graph-based Fact Checking)
주장과 근거의 관계를 구조화해 모순·비약을 탐지하는 검증. 문장 단위 점검을 넘어 주장 간 논리적 일관성을 본다.
기술 심층 분석
정확한 검색이 정확한 답을 보장하지 않는다
법률 검증을 검색 정확성으로 끝낼 수 있다고 생각하기 쉽다. 올바른 조문과 판례를 가져왔으면 답도 올바를 것이라는 기대다. 그러나 검색과 적용은 다른 문제다. 모델은 실재하는 제60조를 정확히 인용하면서도, 그 조문이 적용되지 않는 사안에 끌어다 쓸 수 있다. 각 인용이 진짜여도, 인용들을 엮어 내린 결론은 비약일 수 있다. 즉 인용 실재성(그 조문이 존재하는가), 근거 충실성(그 조문이 이 주장을 뒷받침하는가), 논리 정합성(주장들이 모여 결론으로 이어지는가)은 서로 독립적인 검증 차원이다. 어느 하나를 통과했다고 나머지가 보장되지 않는다. 법률 답변의 신뢰는 이 세 차원을 모두 점검할 때 비로소 성립하며, 그래서 검증은 단일 게이트가 아니라 다층 체계여야 한다.
각 층이 다른 종류의 오류를 잡는다
다층 검증의 각 층은 서로 다른 오류를 표적으로 한다. 1층 인용 실재성 검증은 인용된 조문·판례가 실제 원문에 존재하는지를 대조해, 가장 치명적인 환각인 허위 인용을 차단한다. 2층 근거 충실성 검증은 Self-RAG식 자기 반성이나 평가자 모델로, 각 주장이 인용된 근거에 의해 실제로 지지되는지를 점검한다. 3층 논리 정합성 검증은 주장과 근거의 관계를 구조화해 모순과 비약을 찾는다. Hallucination 탐지를 그래프로 접근하는 연구가 보여 주듯, 주장들을 구조화하면 문장 단위로는 보이지 않던 논리적 균열이 드러난다. LLM-as-a-Judge가 보여 준 자동 평가의 확장성은 이 층들을 효율적으로 운영하게 해 주지만, 그 평가자 자체의 한계 때문에 단일 층으로는 부족하다. 여러 층이 겹쳐야 한 층이 놓친 오류를 다른 층이 잡는다.
층을 쌓되 비용은 위험에 비례시킨다
검증 층을 무작정 늘리면 모든 답변이 느려지고 비싸진다. 다층 검증의 실용성은 층을 위험도에 따라 선택적으로 적용하는 데 있다. 모든 답변에는 1층 인용 실재성 검증을 필수로 적용한다. 허위 인용은 가장 치명적이고 점검 비용도 낮기 때문이다. 근거 충실성과 논리 정합성 검증은 사안의 위험과 복잡도에 따라 단계적으로 추가한다. 단순·정형 질의는 1층만으로 충분하지만, 다쟁점·고위험 질의는 세 층을 모두 통과해야 한다. 그리고 어느 층에서든 검증이 실패하면 재작성으로 되돌리거나 사람 검토로 에스컬레이션한다. 검증을 위험에 비례시키면, 다층 체계의 신뢰성을 누리면서도 모든 답변에 과도한 비용을 물리지 않는다. 신뢰성은 일률적 검증이 아니라 위험에 정렬된 검증에서 나온다.
기술적 트레이드오프
긴장 관계 검증 층을 많이 쌓을수록 신뢰성은 오르지만, 층마다 추가 호출과 점검이 필요해 지연·비용이 누적되고 모든 답변이 느려진다.
실무적 해소 검증을 위험도에 비례시킨다. 비용이 낮고 치명도가 높은 인용 실재성 검증은 전 답변에 필수로 적용하고, 근거 충실성·논리 정합성 검증은 위험·복잡도가 높은 질의에만 단계적으로 더한다. 검증 깊이를 위험에 정렬하면 신뢰성과 효율이 양립한다.
법마디 OS에 적용한다면
법마디 OS는 인용 실재성을 모든 답변에 필수 검증으로 적용하고, 근거 충실성과 논리 정합성 검증을 사안의 위험·복잡도에 따라 단계적으로 추가한다. 각 층에서 검증이 실패하면 재작성하거나 사람 검토로 넘긴다. 검색의 정확성을 넘어 적용과 논리의 정합성까지 층층이 점검해, 답의 신뢰를 다각도로 보장한다.
기술적 함의
- 정확한 검색이 정확한 답을 보장하지 않으므로, 인용 실재성·근거 충실성·논리 정합성을 독립된 차원으로 각각 검증해야 한다.
- 각 검증 층은 다른 종류의 오류를 표적으로 하며, 자기 점검·평가자·그래프 기반 사실 점검을 겹쳐야 한 층이 놓친 오류를 다른 층이 잡는다.
- 검증 깊이는 위험도에 비례시켜야 하며, 치명적이고 저비용인 인용 실재성은 전수 검증하되 상위 층은 고위험 질의에 선택적으로 적용해야 한다.
"법률 AI의 신뢰는 한 번의 점검이 아니라 여러 겹의 검증에서 자란다. 검색을 넘어 정합성까지 볼 때, 답은 비로소 믿을 만해진다."
