법률 검색의 정밀도: 하이브리드 RAG와 후기 상호작용 임베딩
법률 AI의 답은 검색한 근거를 넘어설 수 없다. 키워드와 의미를 결합한 하이브리드 검색과 토큰 단위로 정밀하게 매칭하는 후기 상호작용 임베딩이, 법률 검색의 정밀도를 끌어올려 답의 정확성을 떠받친다.
초록 본 칼럼은 법률 AI의 출발점인 검색 단계의 정밀도를 기술적으로 분석한다. 생성 모델이 아무리 정교해도, 검색이 부정확하면 답도 부정확하다. 키워드·의미 검색을 결합한 하이브리드 방식과 ColBERT식 후기 상호작용 임베딩이 어떻게 법률 문서의 정밀 검색을 가능하게 하는지, 그리고 이를 법률 도메인에서 검증하는 방법을 다룬다.
법률 AI에서 생성은 검색의 종속변수다. 모델은 검색해 온 근거 위에서만 답을 쓸 수 있고, 검색이 엉뚱한 조문을 가져오면 답도 엉뚱해진다. 그래서 법률 AI의 정확성 싸움은 사실 검색 정밀도의 싸움이다.
핵심 기술 개념
하이브리드 검색(Hybrid Retrieval)
정확한 어휘 일치를 잡는 키워드 검색과 의미적 유사성을 잡는 임베딩 검색을 결합한 방식. 법조문 번호 같은 정밀 매칭과 개념적 유사성을 함께 포착한다.
후기 상호작용(Late Interaction, ColBERT)
질의와 문서를 하나의 벡터로 압축하지 않고 토큰별 임베딩을 보존해, 검색 시점에 토큰 단위로 정밀하게 매칭하는 방식. 미세한 어휘 차이가 중요한 법률에 적합하다.
도메인 검색 벤치마크(Legal Retrieval Benchmark)
법률 문서 검색의 정밀도·재현율을 법률 도메인 데이터로 측정하는 평가 체계. 일반 검색 성능이 법률에서도 유효한지를 검증한다.
기술 심층 분석
법률 검색은 단일 벡터로 충분하지 않다
일반적인 의미 검색은 질의와 문서를 각각 하나의 벡터로 압축해 유사도를 잰다. 빠르고 효율적이지만 법률에는 한계가 있다. 법률 질의에서는 '제3조'와 '제13조', '취소'와 '철회'처럼 미세한 어휘 차이가 결론을 바꾼다. 문서 전체를 한 벡터로 뭉개면 이런 정밀한 차이가 평균에 묻혀 사라진다. ColBERT가 제안한 후기 상호작용은 이 문제를 정면으로 다룬다. 질의와 문서를 단일 벡터로 압축하지 않고 토큰별 임베딩을 보존했다가, 검색 시점에 토큰 대 토큰으로 정밀하게 매칭한다. 그 결과 특정 조문 번호나 핵심 법률 용어의 일치가 검색 점수에 또렷이 반영된다. 법률처럼 어휘의 미세한 차이가 의미의 큰 차이로 이어지는 영역에서, 토큰 수준의 정밀도는 검색 품질을 결정적으로 좌우한다.
하이브리드 검색이 키워드와 의미를 함께 잡는다
의미 검색만으로는 정확한 어휘 일치가 약하고, 키워드 검색만으로는 표현이 다른 동일 개념을 놓친다. RAG 서베이가 정리하듯, 실무적 검색 품질은 두 방식을 결합한 하이브리드 검색에서 나온다. 법률에서 이 결합은 특히 중요하다. 사용자가 '근로기준법 제60조'를 정확히 입력하면 키워드 검색이 그 조문을 정확히 집어내고, '연차휴가가 며칠인가'처럼 개념으로 물으면 의미 검색이 관련 조문과 판례를 폭넓게 가져온다. 두 신호를 합치면 정밀성과 포괄성을 동시에 얻는다. 여기에 후기 상호작용을 더하면, 의미적으로 유사한 후보들 가운데서 어휘적으로 가장 정확한 것을 다시 골라낼 수 있다. 검색은 한 가지 방법의 승부가 아니라 여러 신호의 조합이며, 그 조합의 설계가 법률 검색의 정밀도를 만든다.
정밀도는 법률 도메인에서 검증돼야 한다
일반 검색 벤치마크에서 좋은 성능이 법률에서도 좋으리라는 보장은 없다. 법률 문서는 길고 구조화돼 있으며, 인용·참조가 복잡하게 얽혀 있다. 그래서 검색 정밀도는 반드시 법률 도메인 데이터로 검증돼야 한다. 법률 도메인 검색 벤치마크는 정밀도(가져온 것 중 맞는 비율)와 재현율(맞는 것 중 가져온 비율)을 법률 질의로 측정해, 검색 설계의 실제 효과를 확인하게 한다. 이 측정이 중요한 이유는 검색 실패가 조용하기 때문이다. 검색이 핵심 조문을 놓쳐도 모델은 가져온 부분 근거로 그럴듯한 답을 만들어 내며, 사용자는 무엇이 빠졌는지 알 수 없다. 도메인 벤치마크로 검색 정밀도를 명시적으로 측정해야, 이 조용한 실패를 드러내고 개선할 수 있다.
기술적 트레이드오프
긴장 관계 후기 상호작용은 토큰별 임베딩을 보존해 정밀하지만, 단일 벡터 방식보다 저장 공간과 검색 연산이 크게 늘어 비용과 지연이 증가한다.
실무적 해소 검색을 단계로 나눠 비용을 통제한다. 1차로 가벼운 단일 벡터·키워드 검색으로 후보를 넓게 추리고, 2차로 그 좁혀진 후보에만 후기 상호작용 재순위화를 적용한다. 정밀 연산을 소수 후보에 집중하면, 정밀도를 살리면서 비용과 지연을 감당 가능한 수준으로 유지한다.
법마디 OS에 적용한다면
법마디 OS는 키워드와 의미 검색을 결합한 하이브리드 방식으로 1차 후보를 넓게 모으고, 좁혀진 후보에 토큰 단위 정밀 매칭을 적용해 재순위화한다. 검색 정밀도는 법률 질의로 측정·관리해, 핵심 조문 누락 같은 조용한 실패를 드러낸다. 답의 정확성을 떠받치는 검색 단계부터 정밀하게 설계한다.
기술적 함의
- 법률 AI의 답은 검색한 근거를 넘어설 수 없으므로, 정확성 문제는 본질적으로 검색 정밀도의 문제이며 검색 설계가 답 품질을 좌우한다.
- 어휘의 미세한 차이가 의미를 가르는 법률에서는 단일 벡터로 부족하며, 토큰 단위 후기 상호작용과 키워드·의미 하이브리드의 결합이 정밀도를 만든다.
- 검색 실패는 조용하므로, 정밀도·재현율을 법률 도메인 데이터로 명시적으로 측정해야 핵심 근거 누락을 드러내고 개선할 수 있다.
"정확한 답은 정확한 검색에서 시작된다. 법률 AI의 신뢰는 화려한 생성이 아니라 정밀한 검색이라는 토대 위에 선다."
