초거대 코퍼스에서의 RAG 스케일링 장벽과 어휘적 검색의 재발견

초록 최근 RAG 아키텍처는 고차원 밀집 임베딩과 그래프 기반 인덱싱 등 복잡한 신경망 검색 기법에 과도하게 의존하는 경향을 보여왔습니다. 그러나 최근 연구에 따르면 코퍼스 규모가 수십만 건(최대 512,000개 문서) 단위로 확장되는 환경에서는 밀집 검색 공간의 왜곡과 노이즈 중첩으로 인해 심각한 '스케일링 장벽(Scaling Walls)'이 발생함이 실험적으로 증명되었습니다. 반면 전통적 어휘 매칭 알고리즘인 BM25는 데이터 규모 확장에 따른 성능 저하 폭이 가장 적었으며, 지연 시간과 토큰 소모량 면에서도 압도적인 효율을 보였습니다. 본 칼럼에서는 초거대 법률 데이터 환경에서 신경망 검색의 기하학적 한계를 분석하고, 법마디 OS가 지향해야 할 계층적 검색 최적화 파이프라인의 청사진을 제시합니다.

수백만 건의 판결문과 법령, 결정례를 단일 RAG 파이프라인에 통합할 때 많은 엔지니어들은 최신 다국어 밀집 임베딩 모델이나 복잡한 지식 그래프 인덱스를 최우선 해법으로 떠올립니다. 의미적 유사성(Semantic Similarity)을 포착하는 신경망 모델이 키워드 매칭보다 본질적으로 우월하다는 오랜 믿음 때문입니다. 그러나 실제 50만 건 이상의 법률 문서를 인덱싱하고 엔드투엔드 평가를 수행해보면, 데이터 볼륨이 커질수록 밀집 벡터 공간 내 유사도 거리가 조밀해지며 엉뚱한 노이즈 문서를 상위 랭크로 끌어올리는 심각한 성능 붕괴를 목격하게 됩니다. 2026년 7월 말 발표된 대규모 RAG 스케일링 연구(arXiv:2607.26497)는 이러한 현상을 수리적으로 입증하며, 초거대 코퍼스 환경에서 오히려 고전적 알고리즘인 BM25가 정확도와 비용 모든 면에서 신경망 검색을 상회한다는 충격적인 결과를 보여주었습니다. 법률 AI가 다루는 데이터는 사소한 조문 번호나 법률 용어 하나의 불일치로도 결론이 뒤바뀌는 영역입니다. 우리는 이제 '더 복잡한 신경망이 언제나 더 나은 결과를 낸다'는 기술적 환상을 걷어내고, 스케일링에 따른 검색 메커니즘의 근본적 특성을 정밀하게 재검토해야 합니다.