초거대 코퍼스에서의 RAG 스케일링 장벽과 어휘적 검색의 재발견

초록 최근 RAG 아키텍처는 고차원 밀집 임베딩과 그래프 기반 인덱싱 등 복잡한 신경망 검색 기법에 과도하게 의존하는 경향을 보여왔습니다. 그러나 최근 연구가 실측한 '스케일링 장벽(Scaling Walls)'은 밀집 벡터 공간의 왜곡이 아니라 그래프 계열 RAG 의 인덱스 구축 비용입니다. 그래프 방식은 실제 배치 규모에 이르기 전에 구축 장벽에 부딪혔고, 밀집 검색에 대한 논문의 판정은 '효율적이지만 정확도가 낮다'였습니다. 반면 전통적 어휘 매칭 알고리즘인 BM25는 데이터 규모 확장에 따른 성능 저하 폭이 가장 적었으며, 지연 시간과 토큰 소모량 면에서도 압도적인 효율을 보였습니다. 본 칼럼에서는 초거대 법률 데이터 환경에서 신경망 검색의 기하학적 한계를 분석하고, 법마디 OS가 지향해야 할 계층적 검색 최적화 파이프라인의 청사진을 제시합니다.

수백만 건의 판결문과 법령, 결정례를 단일 RAG 파이프라인에 통합할 때 많은 엔지니어들은 최신 다국어 밀집 임베딩 모델이나 복잡한 지식 그래프 인덱스를 최우선 해법으로 떠올립니다. 의미적 유사성(Semantic Similarity)을 포착하는 신경망 모델이 키워드 매칭보다 본질적으로 우월하다는 오랜 믿음 때문입니다. 그러나 이 믿음을 규모별 통제 실험으로 검증한 결과는 달랐습니다. 다만 그 실험이 인덱싱한 51만여 건은 법률 문서가 아니라 EnterpriseRAG-Bench 의 가상 기업 문서(위키·채팅 스레드·티켓·이메일·회의록·CRM 기록·코드리뷰)이므로, 아래 수치는 법률 코퍼스에서 직접 측정된 값이 아닙니다. 2026년 7월 말 발표된 대규모 RAG 스케일링 연구(arXiv:2607.26497)는 28개의 중첩 계층으로 코퍼스 규모를 약 450배까지 변화시키며 이 축을 통제 실험으로 측정했고, 무조건적인 승자가 아니라 규모에 따른 교차(crossover)를 보고했습니다. 코퍼스 토큰 1,000만 건 부근에서 BM25 가 에이전트 탐색을 앞지르고 그보다 큰 모든 계층에서 선두였으며, 밀집 검색은 효율적이지만 정확도가 낮고 그래프 계열은 배치 규모에 이르기 전에 구축 장벽에 부딪혔습니다. 법률 AI가 다루는 데이터는 사소한 조문 번호나 법률 용어 하나의 불일치로도 결론이 뒤바뀌는 영역입니다. 우리는 이제 '더 복잡한 신경망이 언제나 더 나은 결과를 낸다'는 기술적 환상을 걷어내고, 스케일링에 따른 검색 메커니즘의 근본적 특성을 정밀하게 재검토해야 합니다.

핵심 기술 개념

스케일링 장벽 (Scaling Walls)

코퍼스가 커질수록 인덱스 구축 비용이 함께 불어나, 그래프 기반 RAG 가 실제 배치 규모에 이르기 전에 구축 단계에서 막히는 현상입니다. 논문이 이 이름으로 지목한 것은 밀집 벡터 공간의 왜곡이 아니라 구축 비용입니다.

BM25 (Best Matching 25)

문서 내 단어 빈도(TF)와 전체 코퍼스 내 역문서 빈도(IDF)에 문서 길이 정규화를 적용하여 질문과 문서 간의 키워드 연관성을 점수화하는 확률론적 어휘 검색 알고리즘입니다.

밀집 검색 (Dense Retrieval)

텍스트를 고차원 연속 벡터로 변환한 후 코사인 유사도나 내적 연산을 통해 의미적으로 유사한 문서를 찾아내는 신경망 기반 검색 방식입니다.

기술 심층 분석

1

고차원 임베딩 공간의 허브성 왜곡과 스케일링 붕괴 메커니즘

밀집 임베딩 기반 검색의 근본적인 문제는 코퍼스 규모가 커질수록 고차원 벡터 공간 내에서 '허브성(Hubness) 문제'가 극대화된다는 점에 있습니다. 1,000개 수준의 소규모 데이터셋에서는 질문 벡터와 정답 문서 벡터 간의 유클리드 거리 또는 코사인 유사도가 뚜렷한 의미적 군집을 형성합니다. 그러나 문서 수가 10만, 50만 건으로 확장되면 벡터 공간의 고밀도 영역에 수많은 무관한 문서 벡터들이 밀집하게 되며, 특정 벡터들이 거의 모든 쿼리에 대해 최근접 이웃(Nearest Neighbor)으로 반복 선택되는 기하학적 왜곡이 발생합니다. 법률 코퍼스의 경우 '손해배상', '위법성', '입증책임'과 같은 일반 법률 어휘를 포함하는 문서들이 고차원 공간 중심부에 허브로 작용하여, 구체적 사실관계나 특수 조문을 타깃팅하는 쿼리 벡터를 삼켜버립니다. 결과적으로 독자(Reader) 모델에는 노이즈로 가득 찬 컨텍스트가 전달되고, 이는 리걸테크 시스템의 심각한 환각과 논리 붕괴로 직결됩니다.

2

어휘적 결정론: BM25가 초거대 코퍼스에서 우위를 점하는 이유

BM25는 역문서 빈도(IDF) 가중치 메커니즘을 통해 코퍼스가 커질수록 오히려 희소한 전문 용어에 대한 변별력을 강화합니다. 법률 도메인에서 사건 번호, 법조문 제정 연도, 구체적인 특수 죄명 등은 전체 코퍼스 대비 출현 빈도가 극히 낮으므로 매우 높은 IDF 값을 부여받습니다. 논문이 측정한 51만여 건(법률 문서가 아닌 가상 기업 문서) 규모에서도 BM25의 스코어링 수식은 고유 어휘가 명확히 일치하지 않는 문서를 엄격하게 영점(Zero) 처리하여 검색 후보군에서 원천 배제합니다. 신경망 임베딩이 부드러운 의미적 연속성에 기반하여 유사한 어조의 오도된 문서를 끌어오는 반면, BM25는 어휘적 엄밀성에 기반한 하드 필터링 효과를 자연스럽게 발휘하는 것입니다. 이로 인해 초거대 스케일에서 발생하는 검색 공간 왜곡의 영향을 거의 받지 않고 안정적인 재현율을 유지할 수 있습니다.

3

연산 복잡도와 서빙 지연 시간의 현실적 비용 분석

고도화된 신경망 검색 및 지식 그래프 탐색 기법은 연산 비용과 서빙 레이턴시 측면에서 치명적인 오버헤드를 수반합니다. HNSW(Hierarchical Navigable Small World)와 같은 벡터 인덱스는 50만 건 이상의 문서와 다중 청크를 관리할 때 막대한 메모리(RAM)를 점유하며, 그래프 기반 인덱싱은 쿼리당 다단계 홉(Multi-hop) 탐색으로 인해 수 초 이상의 추론 지연을 발생시킵니다. 이는 실시간 법률 검토와 질의응답을 요구하는 실무 환경에서 시스템 처리량(Throughput)을 급격히 저하시키는 병목이 됩니다. 반면 역색인(Inverted Index) 구조에 기반한 BM25는 극도로 경량화된 메모리 풋프린트를 유지하며 밀리초(ms) 단위의 결정론적 검색 속도를 보장합니다. 다만 질의당 토큰에서는 신경망 검색이 오히려 적습니다. 논문 실측은 BM25 5.8K, DenseRAG 4.9K, HippoRAG 2 6.5K 로 규모에 거의 무관하게 비슷했고, '수십 배'에 해당하는 39배·60배는 인덱스 없이 파일트리를 순차 탐색하는 File-System Agent 가 BM25 보다 더 많이 쓴 수치입니다. BM25 의 실제 강점은 토큰 우위가 아니라, LLM 을 쓰지 않는 역색인이라 구축 비용이 들지 않고 비용-정확도 전선의 최저비용 끝을 지킨다는 점, 그리고 코퍼스가 커질수록 정확도에서 앞선다는 점입니다.

4

단일 기법의 맹신을 넘어서: 적응형 2단계 라우팅 설계

그렇다면 밀집 임베딩은 대규모 시스템에서 완전히 폐기되어야 하는 기술인가에 대해 공학적으로 답해야 합니다. BM25는 어휘 불일치(Vocabulary Mismatch) 문제, 즉 동의어나 문맥적 표현 차이를 포착하지 못한다는 본질적 한계를 여전히 안고 있습니다. 따라서 진정한 해결책은 단일 기법의 우월성을 주장하는 것이 아니라, 스케일링 특성에 맞춘 계층적 결합 파이프라인을 구축하는 것입니다. 초거대 코퍼스 전체를 대상으로 하는 1차 리트리벌 단계에서는 BM25를 통해 수십만 건의 검색 공간을 수백 건 수준의 고신뢰 후보군으로 빠르게 압축(Pruning)합니다. 이후 노이즈가 제거된 좁은 후보군 내에서만 고정밀 밀집 임베딩 또는 교차 인코더(Cross-Encoder) 기반 재순위화(Re-ranking)를 적용함으로써 두 기법의 강점을 결합하고 스케일링 장벽을 완벽히 우회할 수 있습니다.

기술적 트레이드오프

긴장 관계 어휘 검색(BM25)의 높은 키워드 식별력 및 연산 효율성과 신경망 밀집 검색의 유연한 의미적 맥락 파악 능력 사이의 상충 관계입니다. 전자는 표현이 조금만 달라져도 관련 판례를 누락할 위험이 있고, 후자는 거대 코퍼스에서 의미적 노이즈가 폭증하여 검색 정밀도가 붕괴됩니다.

실무적 해소 우리는 이 긴장을 2단계 적응형 하이브리드 파이프라인으로 해결합니다. 1단계에서 BM25의 역색인을 활용해 50만 건 이상의 코퍼스에서 조문·용어 중심의 상위 후보를 1차 필터링하고, 2단계에서 제한된 후보군에 대해서만 도메인 특화 교차 인코더를 적용해 의미적 맥락을 심층 재순위화함으로써 연산 비용을 억제하면서 검색 무결성을 달성합니다.

이 주장이 틀리는 조건

반증 조건 코퍼스 규모를 키웠을 때 어휘 매칭의 성능 저하 폭이 밀집 검색보다 크게 관측되면 이 글이 인용한 실측의 방향은 틀린다. 그래프 계열이 실제 배치 규모에서 구축 비용 없이 색인을 완성하는 경우, 장벽 진단도 성립하지 않는다. 난이도를 먼저 재어 두 단계로 나눈 라우팅이 단일 기법보다 낮은 정확도를 보인다면 그 설계도 버려야 한다. 이 관찰 중 하나라도 확인되면 어휘 검색 재발견 결론을 철회한다.

법마디 OS에 적용한다면

법마디 OS는 이번 스케일링 연구 결과를 반영하여 판례 및 법령 인덱싱 엔진의 아키텍처를 전면 고도화합니다. 첫째, 100만 건 이상의 법원 판결문과 법령 데이터를 관리하는 코어 저장소에 BM25 기반의 고성능 역색인 클러스터를 1차 방어선으로 전진 배치합니다. 둘째, 사용자 질의가 유입되면 법률 전문 개체명(법조문 번호, 죄명, 절차 용어)을 식별하여 BM25를 통해 초거대 코퍼스에서 500개의 후보 문서를 10ms 내에 1차 추출합니다. 셋째, 추출된 500개 후보군에 대해서만 법마디 OS 자체 경량 밀집 임베딩 및 상호작용 재순위화 모델을 구동하여 상위 10개의 핵심 증거 문서를 정제합니다. 넷째, 독자(Reader) LLM에 주입되는 컨텍스트의 노이즈 밀도를 사전에 측정하여, 관련성 임계값을 넘지 못하는 문서는 프롬프트 구성 단계에서 강제 드롭(Drop)하는 무결성 필터를 가동합니다. 이러한 계층적 파이프라인을 통해 인프라 비용을 대폭 절감하면서도 대규모 스케일링 환경에서의 검색 정확도와 응답 속도를 동시에 극대화할 것입니다.

기술적 함의

RAG 시스템의 고도화는 맹목적인 복잡한 신경망 도입이 아니라 데이터 규모(Scale)에 따른 기하학적 특성의 이해에서 출발해야 합니다.
초거대 법률 데이터 환경에서는 어휘적 엄밀성을 보장하는 고전적 알고리즘이 오히려 신경망 검색의 노이즈 붕괴를 막는 핵심 안전장치가 됩니다.
지연 시간과 인프라 비용을 고려한 2단계 계층적 인덱싱 설계가 엔터프라이즈 리걸테크의 표준 아키텍처로 자리 잡을 것입니다.

"기술의 성숙은 화려한 모델의 나열이 아니라, 규모의 한계 속에서 가장 단순하고 견고한 수학적 해법을 적재적소에 배치하는 엔지니어링의 정직함에서 완성됩니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급