리걸테크의 본질: RAG 아키텍처를 통한 법률적 무결성 확보
법률 AI의 무결성은 모델의 기억이 아니라 검색 구조에서 나온다. RAG는 답을 외부 근거에 묶어, 환각을 줄이고 출처 추적을 가능케 하는 아키텍처적 토대다.
초록 법률 AI의 신뢰는 알고리즘의 영리함이 아니라 아키텍처의 정합성에서 비롯된다. 본 칼럼은 검색 증강 생성(RAG)을 법률적 무결성의 기술적 토대로 규정하고, 모델 파라미터에 의존한 생성이 아니라 외부 권위 데이터에 근거한 생성이 왜 환각을 구조적으로 줄이는지를 아키텍처 관점에서 분석한다.
법률 AI가 틀리는 가장 흔한 이유는 모델이 멍청해서가 아니라, 답의 근거를 모델의 흐릿한 기억에서 끌어오기 때문이다. 무결성은 더 똑똑한 모델이 아니라, 답을 외부 근거에 묶는 아키텍처에서 시작된다. 다만 외부 근거에 묶는 것만으로 무결성이 보장되지는 않는다. 가져온 문서가 질의와 어긋나 있으면 모델은 그 어긋남을 메우려 그럴듯한 연결을 만들어 내고, 결과는 실재하는 근거를 달고도 틀린 답이 된다. 아키텍처가 책임져야 하는 것은 근거의 존재가 아니라 근거와 주장의 대응이다.
핵심 기술 개념
검색 증강 생성(RAG)
답을 생성하기 전에 외부 지식 베이스(법령·판례)에서 관련 근거를 먼저 검색하고, 그 근거 위에서 답을 생성하는 아키텍처. 생성을 외부 사실에 정박시킨다.
파라메트릭 기억 vs 비파라메트릭 근거
모델 가중치에 압축 저장된 '파라메트릭 기억'은 흐릿하고 갱신이 어렵지만, 외부 문서에서 검색한 '비파라메트릭 근거'는 정확하고 추적·갱신이 가능하다.
법률적 무결성(Legal Integrity)
답의 각 명제가 실재하는 법령·판례 원문에 근거하고, 그 근거를 추적·검증할 수 있는 성질. 법률 AI 신뢰의 기술적 정의다.
기술 심층 분석
환각은 아키텍처의 문제다
언어모델의 환각은 종종 '모델의 한계'로 설명되지만, 기술적으로 더 정확한 진단은 '아키텍처의 선택'이다. 답의 근거를 오직 모델 파라미터에 압축된 기억에서 끌어오면, 그 기억은 흐릿하고 출처가 없으며 갱신도 어렵다. 그 결과 모델은 그럴듯하지만 실재하지 않는 법령·판례를 만들어 낸다. RAG는 이 구조를 바꾼다. 답을 생성하기 전에 외부 지식 베이스에서 관련 근거를 검색하고, 모델이 그 근거 위에서 답을 조립하게 한다. RAG의 원논문이 보인 핵심은, 비파라메트릭 외부 근거를 결합하면 지식 집약적 과제에서 사실성이 향상된다는 것이다. 환각은 모델을 키워서가 아니라 아키텍처를 바꿔서 줄인다. 검색을 근거로 삼는 구조에서 조심할 것은 근거의 양이 확신을 키운다는 착각이다. 관련 없는 문서를 많이 붙이면 모델은 그중 무엇이 핵심인지 판단하지 못한 채 모두를 반영하려 하고, 결과는 초점 없는 답이 된다. 근거는 많을수록 좋은 것이 아니라 질의와 대응하는 것만 있어야 좋다.
검색 품질이 곧 무결성의 상한이다
RAG에서 생성의 정확성은 검색의 정확성을 넘어설 수 없다. 잘못된 근거를 검색하면 모델은 그 위에 더 그럴듯한 오답을 쌓을 뿐이다. 따라서 법률적 무결성의 상한은 검색 단계에서 결정된다. RAG 서베이가 정리하듯, 검색-증강 파이프라인의 성능은 인덱싱, 청크 분할, 임베딩, 재순위화 같은 검색 구성요소의 설계에 크게 좌우된다. 특히 법률 도메인은 조문의 위계, 개정 이력, 판례의 사실관계 같은 구조적 특수성을 갖기 때문에, 범용 검색 설정을 그대로 옮기면 무결성이 무너진다. 무결성을 확보하려면 검색 단계 자체를 법률 데이터의 정합성에 맞게 재설계해야 한다.
법률 RAG는 별도의 평가 기준을 요구한다
범용 RAG의 성공 지표를 법률에 그대로 적용하면 무결성을 잘못 측정하게 된다. 일반 질의응답에서는 '대체로 맞는 답'이 충분할 수 있지만, 법률에서는 인용한 조문·판례가 정확히 실재하고 사실관계가 일치하는지가 핵심이다. 법률 특화 검색 벤치마크(LegalBench-RAG)는 바로 이 지점, 곧 법률 문맥에서 올바른 근거를 정확히 검색해 내는 능력을 평가하기 위해 설계되었다. 이런 도메인 벤치마크가 보여 주는 것은, 법률 RAG의 무결성이 일반 검색 정확도와는 다른 축에서 측정되어야 한다는 점이다. 무결성을 진지하게 추구하는 시스템은 법률 특화 검색 평가를 개발 루프 안에 내장한다. 법률 데이터의 정합성은 문서를 모으는 문제가 아니라 시점을 다루는 문제다. 같은 조문이 개정 전후로 다른 내용을 가지므로, 어느 시점의 법으로 답해야 하는지가 정해지지 않으면 검색이 정확해도 답은 틀린다. 무결성 설계에서 시점은 추가 기능이 아니라 검색 단위 자체에 들어가야 하는 속성이다.
기술적 트레이드오프
긴장 관계 RAG는 검색 단계를 추가하므로 응답 지연과 인프라 비용이 늘고, 검색이 부정확하면 오히려 그럴듯한 오답을 강화할 위험이 있다.
실무적 해소 검색 비용은 캐싱·재순위화·하이브리드 검색으로 상쇄하고, 검색 오류 위험은 근거 충실성을 평가하는 법률 특화 검증 단계를 파이프라인에 추가해 관리한다. 검색을 단순히 '붙이는' 것이 아니라 법률 정합성에 맞게 설계·평가할 때, RAG의 비용은 무결성이라는 가치로 전환된다.
이 주장이 틀리는 조건
반증 조건 검색 없이 파라미터 생성만 하는 시스템의 인용 오류율이 같은 질의 집합에서 검색 기반 파이프라인보다 낮게 관측되면 이 글의 전제는 틀린다. 검색 정확도를 올려도 답변 오류율이 함께 내려가지 않는 경우, 검색 품질이 무결성의 상한이라는 축도 성립하지 않는다. 법률 특화 평가 없이 일반 지표만으로 오류율이 동일하게 예측된다면 별도 기준을 요구한다는 주장도 버려야 한다. 이 관찰 중 하나라도 확인되면 아키텍처가 무결성의 토대라는 결론을 철회한다.
법마디 OS에 적용한다면
법마디 OS는 모든 법률 답변을 국가법령정보센터(DRF) 원문 검색 위에 정박시킨다. 모델이 먼저 답을 만들고 근거를 사후에 붙이는 것이 아니라, 검증된 법령·판례 근거를 먼저 확보한 뒤 그 위에서 답을 조립한다. 검색 단계는 법률 데이터의 위계와 개정 이력에 맞게 설계되며, 근거 충실성은 별도 검증으로 점검한다. 검색이 무결성의 출발점이라는 말은 검색 실패가 뒤에서 교정되지 않는다는 뜻이기도 하다. 앞 단계가 핵심 조문을 빠뜨린 채 넘기면 뒤 단계는 없는 것을 그리워하지 않고 있는 것으로 답을 완성하므로, 결손은 조용히 사라진다. 그래서 점검의 첫 자리는 생성이 아니라 검색 결과의 충분함이어야 한다.
기술적 함의
- 법률 AI의 무결성은 모델 크기가 아니라 검색 아키텍처의 설계 품질에서 결정되므로, 투자의 초점을 검색 파이프라인에 두어야 한다.
- 생성 정확성은 검색 정확성을 넘지 못하므로, 법률 데이터의 구조(조문 위계·개정·사실관계)에 맞춘 검색 재설계가 필수다.
- 법률 RAG의 품질은 일반 검색 지표가 아니라 법률 특화 벤치마크로 측정해야 하며, 이 평가를 개발 루프에 내장해야 한다.
"법률 AI의 무결성은 더 똑똑한 모델이 아니라 더 정합적인 검색에서 나온다. RAG는 그 무결성의 아키텍처적 토대다."
