다시 읽는 비용: 검색 후보를 줄이는 세 갈래
검색 결과를 다시 줄 세우는 재순위화는 정확도를 끌어올리지만 후보가 늘수록 비용이 급격히 커집니다. 이 비용을 줄이려는 세 갈래 접근을 법률 검색의 요구에 비추어 해부합니다.
초록 검색 증강 생성에서 재순위화는 1차 검색이 걷어 온 후보를 다시 읽어 순서를 바로잡는 단계입니다. 품질에 기여하는 몫이 크지만, 후보 목록이 길어질수록 비용이 후보 수에 비례해 늘어난다는 구조적 약점이 있습니다. 최근 연구는 이 문제를 세 방향에서 공격합니다. 재순위화 계산 자체를 재사용 가능하게 쪼개는 접근, 후보 집합의 기하 구조를 먼저 정리해 읽을 대상을 줄이는 접근, 그리고 애초에 비정형 유사도가 아니라 구조화된 질의로 후보를 좁히는 접근입니다. 법률 검색은 조문·사건번호처럼 구조화된 제약이 강한 도메인이라, 이 세 갈래가 서로 다른 무게로 작동합니다.
법률 검색 시스템을 오래 운영하다 보면 정확도와 비용이 같은 손잡이에 달려 있다는 사실을 반복해서 확인하게 됩니다. 1차 검색이 걷어 오는 후보를 넉넉하게 잡으면 놓치는 근거가 줄지만, 그 후보를 다시 읽어 순서를 바로잡는 재순위화의 부담이 그만큼 커집니다. 후보를 줄이면 비용은 내려가지만 정작 필요한 조문이나 판례가 1차에서 탈락할 위험이 올라갑니다. 실무에서는 이 손잡이를 어느 눈금에 두느냐가 곧 시스템의 성격을 결정합니다. 근거를 놓치지 않는 쪽으로 돌리면 응답이 느려지고, 반대로 돌리면 빠르지만 답변의 바닥이 얇아집니다. 최근 몇 편의 연구는 이 손잡이를 그대로 둔 채 비용 곡선 자체를 바꾸려 합니다. 오늘은 그 세 갈래를 나란히 놓고, 법률 도메인에서 각각이 어디까지 유효한지 따져 보겠습니다.
핵심 기술 개념
재순위화(reranking)
1차 검색이 뽑아 온 후보 문서를 더 무거운 모델로 다시 평가해 순서를 바로잡는 단계입니다. 1차 검색이 재현율을 담당한다면 재순위화는 정밀도를 담당하며, 최종 답변에 실제로 주입될 근거를 고르는 자리입니다.
질의-후보 결합 계산
재순위화 모델이 질의와 후보 문서를 함께 읽어 점수를 매기는 방식입니다. 정확하지만 후보마다 계산을 새로 해야 해서 비용이 후보 수에 비례해 늘어납니다. 문서 표현을 질의와 분리해 재사용할 수 있으면 이 비례 관계를 끊을 수 있습니다.
구조화 제약 검색
의미 유사도가 아니라 조문 번호·법령명·기간 같은 구조화된 조건으로 후보를 좁히는 방식입니다. 법률 도메인은 이런 제약이 명시적으로 존재하는 드문 영역이라, 비정형 유사도에만 의존할 이유가 크지 않습니다.
기술 심층 분석
1. 비용이 후보 수를 따라 늘어나는 구조
재순위화의 표준 구성은 질의와 후보 문서를 하나의 입력으로 묶어 모델에 넣고 점수를 받는 것입니다. 이 방식은 질의 맥락 안에서 문서를 읽기 때문에 정밀하지만, 문서 표현이 질의에 종속되어 재사용되지 않는다는 구조적 대가를 치릅니다. 같은 문서가 다른 질의에서 다시 등장해도 계산을 처음부터 다시 해야 하고, 후보 목록이 길어질수록 이 낭비가 선형으로 쌓입니다. CompRank 계열의 접근은 여기서 출발합니다. 문서 표현을 후보 순서와 질의 맥락에서 떼어 내 재사용 가능한 형태로 만들면, 긴 후보 목록에서도 중복 계산을 줄일 수 있다는 것입니다. 법률 검색에서 이 발상이 특히 매력적인 이유는 문서 집합이 대체로 안정적이기 때문입니다. 법령과 판례는 매 질의마다 바뀌지 않으므로, 문서 쪽 계산을 미리 해 두고 재사용할 여지가 일반 웹 검색보다 큽니다.
2. 읽기 전에 후보 집합의 모양을 정리한다
두 번째 갈래는 순서를 매기기 전에 후보들이 이루는 공간 자체를 손보는 접근입니다. Ricci-Filtration 계열은 후보 문서들을 가중 그래프로 놓고, 곡률에 따라 연결을 조이거나 늘리는 방식으로 군집 사이의 간격을 벌립니다. 서로 붙어 있어 구분되지 않던 후보 덩어리를 먼저 떼어 놓으면, 이후 재순위화가 판별해야 할 문제가 쉬워집니다. 이 접근의 값어치는 후보들이 표면적으로 비슷한 도메인에서 커집니다. 법률 검색이 정확히 그런 경우입니다. 같은 법률 용어를 공유하는 조문과 판례는 임베딩 공간에서 촘촘히 뭉치기 쉬워, 유사도 점수만으로는 쟁점이 다른 문서를 갈라내기 어렵습니다. 다만 그래프를 구성하고 변형하는 비용이 추가되므로, 후보 수가 적을 때는 오히려 손해입니다. 언제 켜고 끌 것인지를 정하는 정책이 기법 자체만큼 중요합니다.
3. 애초에 구조로 좁히는 길
세 번째 갈래는 문제를 앞단으로 옮깁니다. SAG 계열의 접근은 밀집 유사도 검색이 구조화된 제약과 다중 홉 추론에 약하다는 점을 지적하며, 검색을 구조화 질의로 재구성합니다. 지식 그래프를 도입해 이 약점을 메우는 방법은 이미 있었지만, 의미의 파편화와 유지보수 부담, 증분 갱신의 어려움이라는 비용이 따랐습니다. 구조화 질의는 그 대안으로 제시됩니다. 법률 도메인은 이 관점에서 유리한 조건을 갖고 있습니다. 법령명과 조문 번호, 사건번호, 선고 일자, 심급은 모두 명시적으로 구조화된 값이며, 사용자의 질의에도 자주 그대로 등장합니다. 유사도로 헤매기 전에 이 값들로 후보를 좁힐 수 있다면 재순위화가 감당할 목록 자체가 짧아집니다. 저희 파이프라인이 질의에 등장한 조문과 사건번호를 결정론적으로 먼저 회수해 컨텍스트 최상단에 고정하는 것도 같은 사고입니다.
4. 세 갈래를 법률 검색에 배치하는 순서
세 접근은 경쟁 관계가 아니라 서로 다른 지점에 놓입니다. 구조화 제약은 가장 앞단에서 후보 수 자체를 줄이고, 그래프 정리는 남은 후보의 판별 난도를 낮추며, 계산 재사용은 그럼에도 남은 재순위화 비용을 깎습니다. 실무적으로는 앞단부터 손대는 편이 효율적입니다. 뒤로 갈수록 개선의 절대량은 크지만 구현과 운영의 복잡도도 함께 오르기 때문입니다. 특히 법률 검색에서는 앞단의 구조화 제약이 비용뿐 아니라 정확성에도 직접 기여합니다. 사용자가 특정 조문을 지목했는데 유사도가 높은 다른 조문이 상위에 오는 상황은, 비용 문제이기 이전에 근거의 문제입니다. 순서를 정할 때 비용 절감만 보지 말고 어느 단계가 근거의 정확성을 함께 올리는지를 기준으로 삼아야 합니다.
5. 재순위화가 감당해서는 안 되는 일
마지막으로 경계를 분명히 해 둘 필요가 있습니다. 재순위화는 후보의 순서를 정하는 장치이지 근거의 진위를 판정하는 장치가 아닙니다. 아무리 정교한 재순위화라도 존재하지 않는 조문을 상위에 올릴 수 있고, 실제로 후보 안에 오귀속된 판례가 섞여 있으면 그것을 걸러 주지 못합니다. 저희 구조에서 검색 계층과 검증 계층을 분리해 둔 이유가 여기에 있습니다. 검색은 근거 후보를 넓게 모으는 일을 맡고, 인용의 실존과 일치 여부는 그 뒤의 게이트가 판정합니다. 재순위화를 개선하면 게이트가 걸러 내야 할 양이 줄어 결과적으로 답변의 완결성이 올라가지만, 게이트를 대신할 수는 없습니다. 검색 품질 개선을 검증 완화의 근거로 삼는 순간 순서가 뒤집힙니다.
기술적 트레이드오프
긴장 관계 후보를 넓게 잡으면 근거를 놓칠 위험이 줄지만 재순위화 비용과 지연이 커지고, 좁게 잡으면 빠르지만 1차 검색 단계에서 필요한 조문이나 판례가 탈락할 수 있습니다. 비용 최적화 기법은 이 긴장을 완화할 뿐 없애지는 못합니다.
실무적 해소 단계별로 책임을 나누어 해소합니다. 구조화 제약이 명시적으로 주어진 질의는 앞단에서 결정론적으로 후보를 좁혀 재순위화가 감당할 목록을 줄이고, 그렇지 않은 질의만 넓은 후보와 무거운 재순위화를 태웁니다. 그리고 어느 경로를 타든 최종 인용은 동일한 검증 게이트를 통과하게 해, 비용 절감이 근거의 신뢰도를 잠식하지 못하도록 막습니다.
법마디 OS에 적용한다면
법마디의 검색 계층은 이미 두 갈래로 나뉘어 있습니다. 질의에 조문이나 사건번호가 직접 등장하면 검증 자산에서 해당 본문을 결정론적으로 회수해 컨텍스트 최상단에 고정하고, 그렇지 않은 경우 의미 검색으로 후보를 모읍니다. 오늘 살펴본 세 갈래를 여기에 대입하면 개선 지점이 분명해집니다. 첫째, 구조화 제약 경로를 더 넓혀야 합니다. 지금은 명시적 인용만 잡지만, 법령명과 기간, 심급 같은 값도 질의에서 추출해 후보를 좁힐 수 있습니다. 둘째, 의미 검색 경로에서 후보 수를 늘릴 여지를 검토할 만합니다. 재순위화 비용을 낮추는 기법이 성숙하면 재현율을 높이는 쪽으로 손잡이를 돌릴 수 있기 때문입니다. 셋째, 어떤 경로를 택하든 인용 게이트는 그대로 둡니다. 검색이 좋아지면 게이트에서 잘려 나가는 문장이 줄어 답변이 충실해지지만, 그 개선을 이유로 게이트의 판정 기준을 낮추는 일은 없어야 합니다.
기술적 함의
- 검색 비용을 줄이는 가장 값싼 수단은 모델 교체가 아니라 앞단의 구조화 제약이며, 법률 도메인은 그 제약이 이미 명시적으로 존재하는 드문 영역입니다.
- 재순위화 기법은 후보 수가 많을 때만 이익이 나므로, 언제 켜고 끌지를 정하는 정책이 기법 선택보다 운영에 더 큰 영향을 줍니다.
- 검색 품질 향상은 검증 게이트가 잘라 낼 양을 줄이는 방식으로 답변을 충실하게 만들 뿐, 게이트 자체를 대체하지 않습니다.
"검색을 잘한다는 것은 더 많이 읽는 것이 아니라 무엇을 다시 읽지 않아도 되는지를 아는 일에 가깝습니다. 법률 도메인은 그 판단을 도와줄 구조화된 단서를 이미 충분히 갖고 있습니다. 저희가 먼저 손볼 곳도 모델이 아니라 그 단서를 쓰는 방식입니다."
참고 자료
- arxiv.org Ricci-Filtration: Boosting Retrieval-Augmented Generation Reranker to Query-Answer Tasks by Discrete Ricci Flow
- arxiv.org CompRank: Efficient LLM Reranking via Token-Level Compression and Decoding-Free Scoring
- arxiv.org SAG: SQL-Retrieval Augmented Generation with Query-Time Dynamic Hyperedges
