환각을 넘어 신뢰로: 법률 AI의 다중 에이전트와 지식 그래프 통합 전략
환각은 사후에 잡기 어렵다. 법령·판례를 지식 그래프로 구조화하면, 답의 주장이 그래프와 정합하는지 대조해 환각을 구조적으로 탐지할 수 있다.
초록 본 칼럼은 법률 AI의 환각을 '사후 필터링'이 아니라 '구조적 대조'로 다루는 접근을 제시한다. 법령·판례를 노드·관계로 구조화한 지식 그래프 위에서, 다중 에이전트가 생성한 주장이 그래프와 정합하는지 대조하면, 평면적 검색이 놓치는 맥락적 환각까지 탐지하는 검증 체계가 만들어진다.
환각을 잡는 가장 약한 방법은 '그럴듯해 보이는지' 다시 읽는 것이다. 가장 강한 방법은 답의 주장이 구조화된 법률 지식과 어긋나는지 대조하는 것이다. 신뢰는 그래프 위에서 검증될 때 단단해진다. 그래프 대조가 강한 이유는 그것이 더 똑똑해서가 아니라, 틀릴 수 있는 자리를 미리 정해 두기 때문이다. 다시 읽기는 무엇이 틀렸는지 모른 채 인상으로 판정하지만, 관계 대조는 어떤 관계가 성립해야 하는지를 먼저 정하고 그 자리만 본다. 검증의 힘은 시야의 넓이가 아니라 기준의 명시에서 나온다.
핵심 기술 개념
지식 그래프 RAG(Graph RAG)
문서를 평면적으로 검색하는 대신, 개체·관계로 구조화한 그래프 위에서 검색·요약하는 방식. 흩어진 근거를 연결해 맥락적 정합성을 다룬다.
구조적 환각 탐지
답의 주장을 지식 그래프의 노드·관계에 대조해, 그래프와 모순되거나 근거가 없는 주장을 식별하는 검증. 평면 검색이 놓치는 맥락 오류를 잡는다.
감사 가능한 검증(Auditable Verification)
환각 탐지의 판단 근거(어떤 노드·관계와 어떻게 어긋났는지)를 추적 가능한 형태로 남기는 검증. 사후 책임 추적을 가능케 한다.
기술 심층 분석
법률 환각은 평면 검색만으로 잡히지 않는다
법률 환각의 까다로움은 단순히 '존재하지 않는 판례를 지어내는' 데 그치지 않는다는 점에 있다. 실재하는 조문과 판례를 인용하면서도 그 적용 관계나 사실관계를 틀리게 연결하는, 맥락적 환각이 더 위험하다. 법률 환각 연구(Large Legal Fictions)는 모델이 그럴듯하지만 부정확한 법적 진술을 생성하는 양상을 정리하는데, 이런 오류는 개별 문장을 평면적으로 검색·대조하는 것만으로는 잡히지 않는다. 인용된 조문이 실재해도 '그 조문이 이 사안에 이렇게 적용되는가'라는 관계의 정합성은 평면 검색의 사정권 밖이기 때문이다. 환각을 신뢰로 바꾸려면, 문장 단위 대조를 넘어 주장들 사이의 관계를 검증하는 구조가 필요하다. 환각을 인상으로 걸러 낼 수 없는 까닭은 그럴듯함이 바로 환각의 산출물이라는 점이다. 모델은 자신이 모르는 자리에서도 문장을 매끄럽게 이어 붙이도록 학습돼 있으므로, 읽어서 어색한 답보다 읽어서 자연스러운 답이 더 위험할 수 있다. 판정의 기준은 문장의 완성도가 아니라 외부 근거와의 대응이어야 한다.
지식 그래프가 관계의 정합성을 검증한다
지식 그래프는 법령·판례·쟁점을 노드로, 그 사이의 적용·파생·인용 관계를 엣지로 표현한다. 답의 주장을 이 그래프에 투영하면, '이 법리가 이 조문에서 파생되는가', '이 판례가 이 쟁점에 적용되는가' 같은 관계의 정합성을 대조할 수 있다. GraphRAG 접근이 보여 주듯, 그래프 기반 검색은 흩어진 근거를 연결해 전체 맥락을 조망하므로 평면 검색이 놓치는 관계적 정보를 포착한다. 법률 검증에 적용하면, 생성된 답의 주장 그래프와 권위 지식 그래프를 대조해 모순되는 엣지(잘못 연결된 관계)를 환각 후보로 식별할 수 있다. 검증의 단위가 '문장'에서 '관계'로 올라가면서 맥락적 환각까지 사정권에 들어온다.
탐지를 감사 가능하게 만들어 신뢰로 전환한다
환각을 탐지하는 것만으로는 신뢰가 완성되지 않는다. '왜 이 주장이 환각으로 판정되었는가'를 추적할 수 있어야 비로소 시스템의 판단을 신뢰하고 개선할 수 있다. 지식 그래프 기반 환각 탐지(HalluGraph 계열)의 강점은, 검증 판단을 '어떤 노드·관계와 어떻게 어긋났는지'라는 추적 가능한 근거로 남길 수 있다는 데 있다. 이렇게 감사 가능한 검증은 두 가지를 제공한다. 하나는 사용자에게 '이 답의 어느 부분이 왜 불확실한지' 보여 주는 투명성이고, 다른 하나는 개발자에게 어떤 유형의 환각이 어디서 발생하는지 분석할 데이터다. 탐지가 감사 가능해질 때, 환각 관리는 일회성 필터링이 아니라 신뢰를 누적하는 학습 루프가 된다. 감사 가능성이 학습 루프가 되려면 탐지 결과가 사례로 쌓이는 것만으로는 부족하다. 어떤 종류의 어긋남이 어느 단계에서 얼마나 자주 나는지가 갈라져야 고칠 자리가 특정되는데, 탐지를 하나의 불확실 신호로만 남기면 모든 실패가 한 덩어리로 집계된다. 분류되지 않은 탐지 기록은 양이 늘어도 개선으로 이어지지 않는다.
기술적 트레이드오프
긴장 관계 법률 지식 그래프의 구축·유지는 막대한 도메인 엔지니어링을 요구하고, 그래프가 불완전하면 검증의 사각지대가 생긴다.
실무적 해소 그래프를 한 번에 완성하려 하지 않고, 빈출 법리·고위험 쟁점부터 우선 구조화해 검증 효과가 큰 영역에 집중한다. 그래프가 다루지 못하는 영역은 평면 검색·자기성찰 검증으로 보완하고, 감사 로그를 분석해 그래프를 점진적으로 확장한다.
이 주장이 틀리는 조건
반증 조건 평면 검색만 쓰는 검증과 지식 그래프 대조를 더한 검증의 환각 탐지율이 같은 표본에서 차이를 보이지 않으면 이 글의 전제는 틀린다. 그래프를 붙인 뒤에도 맥락적 오류의 잔존율이 내려가지 않는 경우, 관계의 정합성을 검증한다는 축도 성립하지 않는다. 유지 비용이 늘어나는데 탐지 사각지대 비율이 함께 줄지 않는다면 감사 가능성이 신뢰로 전환된다는 주장도 버려야 한다. 이 관찰 중 하나라도 확인되면 구조적 대조라는 처방을 철회한다.
법마디 OS에 적용한다면
법마디 OS는 법령·판례의 관계를 구조화해, 생성된 답의 주장이 권위 지식과 관계 수준에서 정합하는지 대조한다. 문장이 실재 조문을 인용해도 그 적용 관계가 어긋나면 불확실 신호로 표시하고, 판정 근거를 추적 가능한 형태로 남긴다. 이를 통해 맥락적 환각을 탐지하고, 그 결과를 다시 검증 품질 개선에 활용한다. 관계 수준의 어긋남은 문자 수준 검사로는 보이지 않는다. 조문 번호가 실재하고 인용 문구가 원문과 같아도, 그 조문이 그 사안에 적용되는 관계가 아니면 답은 틀린다. 그래서 인용 검증과 적용 검증은 같은 축이 아니며, 전자만 갖춘 시스템은 가장 알아보기 어려운 오류를 통과시킨다.
기술적 함의
- 법률 환각은 '존재하지 않는 인용'보다 '잘못 연결된 관계'가 더 위험하므로, 문장 단위 대조를 넘어 관계 단위 검증이 필요하다.
- 지식 그래프 기반 대조는 평면 검색이 놓치는 맥락적 환각을 포착하므로, 빈출·고위험 영역부터 그래프 검증을 도입해야 한다.
- 환각 탐지를 감사 가능한 형태로 남기면 일회성 필터링이 아니라 신뢰를 누적하는 학습 루프로 전환된다.
"환각을 신뢰로 바꾸는 길은 다시 읽기가 아니라 구조적 대조다. 지식 그래프 위에서 관계를 검증하는 쪽이 무결성을 얻는다."
