증거를 의심하는 RAG — 오염 탐지와 중단 판단
검색 증거를 그대로 믿지 않고 의심하는 연구가 같은 주에 셋 나왔습니다. 오염 탐지, 중단 시점 판단, 근거 부재 시의 행동 신뢰성입니다.
초록 RAG는 외부 코퍼스를 추론의 증거로 취급합니다. 그 전제가 깨지면 — 문서가 주입되거나, 증거가 모자라는데 계속 검색하거나, 아예 근거가 없는데 답을 지어내면 — 검색은 정확성을 높이는 대신 오류를 정당화하는 장치가 됩니다. 2026년 8월 13일 arXiv에 올라온 세 편은 각각 그 세 지점을 다룹니다. 법마디의 fail-closed 인용 게이트가 서 있는 자리와 정확히 겹칩니다.
검색 증강 생성의 기본 가정은 단순합니다. 모델이 모르는 것은 밖에서 찾아오면 된다는 것입니다. 그런데 이 가정은 찾아온 것이 옳다는 두 번째 가정을 조용히 데리고 옵니다. 법률 영역에서 그 두 번째 가정은 위험합니다. 검색된 문서가 폐지된 조문이거나, 누군가 의도적으로 심어 둔 것이거나, 애초에 질문에 답할 만큼 충분하지 않을 수 있기 때문입니다. 2026년 8월 13일 arXiv에 올라온 세 편의 논문은 공교롭게도 모두 이 두 번째 가정을 겨냥합니다. 증거가 오염되었는지, 증거가 충분해졌는지, 그리고 증거가 아예 없을 때 모델이 어떻게 행동하는지입니다. 오늘은 이 셋을 법마디의 검증 계층에 비추어 보겠습니다.
핵심 기술 개념
지식 오염(knowledge poisoning)
공격자가 외부 코퍼스에 문서를 주입해 모델이 원하는 주장을 내놓도록 유도하는 공격입니다. RAG가 코퍼스를 추론 증거로 취급하기 때문에 성립합니다.
자기참조 대조(self-referenced contrast)
신뢰할 수 있는 외부 기준 없이, 검사 대상 시스템 자체에서 기준을 구성해 이상을 탐지하는 방식입니다. RAGSieve는 같은 검색의 상위와 하위 순위를 맞대어 비교합니다.
구조화 중단 판단(structured stopping judgment)
다회차 검색에서 언제 멈출지를 충분성과 공백 관점으로 판정하는 것입니다. 배치된 정책이 각 궤적의 첫 STOP으로 결정되므로 독립 분류가 아니라 순차 선택 문제가 됩니다.
기술 심층 분석
① 오염 탐지 — 기준을 밖에서 빌리지 않는다
RAGSieve(arXiv 2608.13010)는 기존 탐지기들이 신뢰할 수 있는 참조, 특정 공격의 흔적, 또는 코퍼스 위상에 민감한 전역 임계값에 의존한다는 점을 문제로 짚습니다. 셋 다 현실에서 확보하기 어려운 전제입니다. 대신 검사 대상 시스템 자체에서 기준을 만듭니다. RSQ는 질의 국소 대조로 상위 5개 후보를 같은 검색의 6~20위와 맞대어 채점해 정답 앵커의 집중과 캐리어 전이를 탐지하고, RSG는 코퍼스 국소 대조로 각 문서를 의미적으로 유사하되 어휘적으로 구별되는 이웃들과 비교해 질의가 도착하기 전에 조율된 밀도를 탐지합니다. 세 QA 데이터셋과 여섯 가지 오염 구성에서 RSQ는 AUROC 95.2%를 기록했고 클린 5% 기준에서 오염의 82.2%를 탐지했다고 보고합니다.
② 중단 판단 — 더 찾는 것이 늘 이득은 아니다
다회차 RAG는 증거가 쌓이는 동안 언제 검색을 멈출지 정해야 합니다. arXiv 2608.13237은 배치된 정책이 각 궤적의 첫 STOP으로 결정되기 때문에 이것이 독립적인 상태 분류가 아니라 순차 선택 문제라고 지적합니다. 연구진은 S2G-RAG의 구조화된 충분성·공백 판단을 고정된 Search-R1 파이프라인에 적용하고, 900개의 서로 겹치지 않는 HotpotQA 질문에서 뽑은 3,009개 상태로 Qwen3.5-2B 판정기를 학습시켰습니다. 추론기·검색기·코퍼스·프롬프트·검색 예산은 그대로 두고 판정기 체크포인트와 중단 임계값만 그룹 검증에서 선택해 확정 평가 전에 동결했습니다. 확정 테스트에서 검색 호출은 네이티브 대비 77회(3.70%) 줄었고 공식 Exact Match는 0.625%p 낮아졌습니다. 크지 않은 폭이지만, 방향이 분명합니다 — 중단을 판단 가능한 대상으로 다루면 비용과 정확성을 명시적으로 맞바꿀 수 있게 됩니다.
③ 근거가 없을 때의 행동 — 정확도가 아니라 신뢰성
SciFigBench(arXiv 2608.13267)는 기존 비전-언어 모델 벤치마크가 지각과 추론 정확도, 즉 모델이 이미지에서 본 것을 얼마나 잘 서술하고 추론하는지에 치중해 왔고, 불확실성 아래의 행동 신뢰성 — 시각적 증거가 없거나 오도될 때 어떻게 행동하는가 — 에는 관심이 적었다고 지적합니다. 이 벤치마크는 250개 도형에 600시간이 넘는 주석 작업을 들여 지각·추론·행동 신뢰성을 함께 평가하고, 이미지 변환·추론 질문·저항 프로브·캡션 편향 프로브·선택적 블러 대상을 통해 34,000개가 넘는 평가 설정으로 확장합니다. 이 문제 설정은 법률 영역에 그대로 옮겨집니다. 근거가 없을 때 '모른다'고 말하는가, 아니면 그럴듯한 것을 만들어 내는가는 정확도 점수가 잡아내지 못하는 축입니다.
④ 법마디의 위치 — 세 축이 이미 하나로 묶여 있다
법마디의 파이프라인은 이 세 축을 서로 다른 단계에서 다룹니다. 오염 축은 검증 자산(SSOT)이 담당합니다 — 인용의 1차 근거를 국가법령정보센터에서 검증한 자산으로 한정하므로, 검색 결과에 무엇이 섞여 들어오든 인용의 출처가 될 수 없습니다. 중단 축은 프리패치와 단계별 예산이 담당합니다. 행동 신뢰성 축은 fail-closed 게이트가 담당합니다 — 생성된 답변의 인용을 전수 검증하고, 확인되지 않으면 그 문장을 지우거나 답변 자체를 차단합니다. 중요한 것은 이 세 장치가 모델 뒤에 있다는 점입니다. 모델을 바꿔도 같은 검증을 통과해야 하므로, 품질 보증의 책임이 생성기에서 검증 계층으로 옮겨져 있습니다.
⑤ 남는 문제 — 탐지기 자신은 누가 검증하는가
세 논문이 공통으로 남기는 물음이 있습니다. 탐지기와 판정기 자신의 신뢰성입니다. RAGSieve는 검사 대상 시스템에서 기준을 만들기 때문에, 그 시스템 전체가 기울어 있으면 기준도 함께 기웁니다. 중단 판정기는 학습된 모델이므로 학습 분포 밖에서 어떻게 행동할지 보장되지 않습니다. 법마디도 같은 문제를 안고 있습니다 — 인용 게이트가 조용히 죽으면, 그 침묵은 '위반이 없었다'와 구분되지 않습니다. 그래서 게이트가 살아 있음을 증명하는 양성 대조를 따로 두고, 통과해야 하는 입력과 거부해야 하는 입력을 함께 고정해 매 실행 확인합니다. 검증 계층을 두는 것과 그 계층이 실제로 돌고 있음을 아는 것은 다른 일이고, 후자를 빠뜨리면 앞의 투자가 통째로 무의미해집니다.
기술적 트레이드오프
긴장 관계 증거를 더 의심할수록 안전해지지만, 답할 수 있는 질문이 줄고 비용이 오릅니다.
실무적 해소 중단 판단 연구가 보여준 교환비가 참고가 됩니다 — 검색 호출을 3.70% 줄이는 대가로 Exact Match가 0.625%p 낮아졌습니다. 어느 쪽을 감수할지는 도메인이 정합니다. 법률에서는 잘못된 인용 하나가 사용자의 판단을 그르치므로, 답변이 짧아지는 쪽을 택하는 것이 옳습니다. 다만 그 선택을 하려면 무엇을 잃었는지 셀 수 있어야 하고, 그래서 제거된 인용을 기록으로 남기는 일이 함께 가야 합니다.
법마디 OS에 적용한다면
세 논문을 법마디에 대입하면 각각 이미 자리를 가진 장치와 만납니다. 오염 축은 검증 자산이 맡습니다 — 인용의 1차 근거를 국가법령정보센터에서 검증한 조문·판례로 한정하므로, 검색 결과에 무엇이 섞여 들어와도 인용 출처가 될 수 없습니다. RAGSieve가 탐지로 푸는 문제를 출처 제한으로 먼저 좁히는 셈입니다. 중단 축은 단계별 예산이 맡습니다. 행동 신뢰성 축은 fail-closed 인용 게이트가 맡아, 생성된 답변의 인용을 전수 검증하고 확인되지 않으면 그 문장을 지우거나 답변을 차단합니다. 다만 세 논문이 함께 남기는 물음 — 탐지기 자신은 누가 검증하는가 — 은 우리에게도 그대로 적용됩니다. 게이트가 조용히 죽으면 그 침묵은 '위반이 없었다'와 구분되지 않습니다. 그래서 통과해야 하는 입력과 거부해야 하는 입력을 함께 고정해 매 실행 확인하는 양성·음성 대조를 따로 둡니다. 검증 계층을 두는 일과 그것이 실제로 돌고 있음을 아는 일은 다른 일입니다.
기술적 함의
- 검색 결과를 증거로 쓰려면 그 증거가 오염될 수 있다는 전제에서 출발해야 합니다. 신뢰할 수 있는 자산으로 인용 출처를 한정하는 것이 가장 단순한 방어입니다.
- '언제 멈출까'는 비용 문제가 아니라 정확성 문제이기도 합니다. 충분성 판단을 명시적 대상으로 만들면 교환비를 측정할 수 있게 됩니다.
- 정확도 지표는 근거가 없을 때의 행동을 보지 못합니다. 모르는 것을 모른다고 말하는지를 따로 재야 합니다.
"증거를 의심하는 일은 비용이지만, 법률에서는 그 비용이 가장 싼 보험입니다."
