이종 출처 혼입: MCP 에이전트의 출처 인지형 검증 구조
MCP 기반 리걸 에이전트가 여러 도구 출력을 취합하는 과정에서 발생하는 이종 출처 혼입의 기제를 분석하고 출처 인지형 사실성 검증 설계를 논증합니다.
초록 최근 LLM 에이전트는 모델 컨텍스트 프로토콜(MCP)을 통해 단일 검색 통로를 넘어 법령 API, 판례 데이터베이스, 정형 사건 기록 등 복수의 외부 도구를 동시 호출하여 종합적인 답변을 생성합니다. 그러나 기존 RAG 충실도 평가 체계(RAGAS, MiniCheck, SummaC 등)는 검색된 모든 증거를 단일 풀(Pool)로 병합한 후 단순 사실 부합 여부만 판정하는 태생적 한계를 지닙니다. 이로 인해 어떤 사실이 참조 데이터 어딘가에는 존재하지만 에이전트가 지목한 구체적 출처와 일치하지 않는 '이종 출처 혼입(Cross-Source Conflation)' 결함이 발생합니다. 본 칼럼에서는 다중 도구 연계 환경에서 발생하는 의미적 전이 및 출처 오귀인 현상을 시스템적으로 규명하고, 최근 발표된 ProvenanceGuard 연구를 바탕으로 개별 클레임과 도구 식별자를 정밀 대조하는 출처 인지형 검증 기제를 고찰합니다. 아울러 법률 AI 아키텍처에서 조문과 판례의 출처 경계를 엄격히 유지하기 위한 엔지니어링 전략을 제시합니다.
법률 에이전트가 실제 실무에서 작동할 때 마주하는 상황은 단일 문서 요약이나 단순 질의응답보다 훨씬 복잡합니다. 변호사나 법률 연구자가 의뢰인의 복합적인 사건을 검토할 때 조문 조회 도구, 판례 검색 도구, 사건 기일 원장 도구를 연속적으로 가동하듯, 현대의 LLM 에이전트 역시 MCP를 매개로 이종의 도구를 순차적으로 호출합니다. 문제는 이처럼 다양한 출처에서 유입된 콘텍스트가 단일 프롬프트 버퍼로 쏟아져 들어올 때 발생합니다. 에이전트는 여러 도구의 출력 텍스트를 하나의 일관된 문장으로 엮어내지만, 그 과정에서 판례의 설시 사항을 법령 조항의 요건으로 설명하거나 A 사건의 사실관계를 B 조문의 예외 사유로 둔갑시키는 출처 왜곡을 빈번하게 일으킵니다. 외부 검증 모듈이 취합된 콘텍스트 전체를 기준으로 '해당 문장이 주어진 텍스트에 포함되어 있는가'만 묻는다면 이러한 왜곡은 무결한 답변으로 오판됩니다. 내용이 어딘가에 적혀 있다는 사실만으로는 충분하지 않으며, 바로 그 도구의 그 결과에서 도출되었는지를 입증하는 출처 인지형 검증 체계가 필요한 이유입니다.
핵심 기술 개념
이종 출처 혼입 (Cross-Source Conflation)
다중 도구나 복수의 문서에서 추출된 서로 다른 정보 조각들이 하나의 답변으로 합성되는 과정에서 출처와 맥락이 잘못 결합되어 사실관계가 왜곡되는 현상입니다.
출처 인지형 검증 (Source-Aware Verification)
생성된 각 원자적 주장이 단순히 전체 참조 풀에 부합하는지를 넘어 구체적으로 지정된 특정 도구 출력 및 원본 데이터에 엄밀히 귀속되는지 추적하여 판정하는 기법입니다.
모델 컨텍스트 프로토콜 (Model Context Protocol, MCP)
LLM이 외부 데이터 소스, 데이터베이스, 도구들과 표준화된 인터페이스를 통해 상태를 교환하고 상호작용할 수 있도록 규정한 개방형 프로토콜입니다.
기술 심층 분석
단일 풀링 콘텍스트의 맹점과 기존 사실성 검증 지표의 한계
기존 생성 AI 연구에서 널리 활용되어 온 RAGAS 충실도 지표나 MiniCheck, AlignScore, SummaC와 같은 정밀 사실성 검사 체계는 검색 증거의 단일 풀링(Evidence Pooling)을 전제로 설계되었습니다. 즉, 시스템이 외부에서 획득한 텍스트 조각들을 하나의 거대한 콘텍스트 블록으로 이어 붙인 뒤, LLM이 생성한 각 문장이 해당 텍스트 덩어리에 의해 함의(Entailment)되는지 여부만을 측정합니다. 이러한 접근법은 단일 RAG 파이프라인에서는 유효할 수 있으나, 다중 도구가 결합된 MCP 환경에서는 치명적인 검증 사각지대를 형성합니다. 예를 들어 MCP를 통해 호출된 '조문 조회 도구' 결과와 '하급심 판례 도구' 결과가 동시에 콘텍스트에 입력되었을 때, 모델이 '민법 제103조에 따라 피고는 징벌적 손해배상 책임을 진다'고 오기재하더라도 통합 콘텍스트 내에 민법 제103조와 징벌적 손해배상 관련 하급심 판시가 모두 존재한다면 기존 검증기는 이를 사실 부합으로 통과시킵니다. 주장의 구성 요소들이 전체 버퍼 어딘가에 실재한다는 사실이 각 주장의 법률적 출처가 정당하다는 것을 보증하지 못한다는 점이 풀링 기반 검증의 구조적 결함입니다.
다중 도구 출력 간 어텐션 간섭과 교차 오귀인 메커니즘
트랜스포머 기반 디코더는 자기주의(Self-Attention) 메커니즘을 통해 콘텍스트 윈도우 내의 모든 토큰 간 상호작용 가중치를 계산합니다. MCP 에이전트가 조문, 판례, 행정해석 등 성격이 상이한 도구들을 차례로 호출하여 수천 토큰 이상의 출력을 콘텍스트에 누적할 때, 서로 다른 도구 블록 간의 토큰 유사도로 인해 어텐션 가중치가 비정상적으로 분산되는 어텐션 간섭(Attention Interference)이 발생합니다. 특히 법률 텍스트는 '과실', '손해배상', '해제' 등 동일한 전문 용어가 서로 다른 법적 효과와 요건을 지닌 채 반복적으로 등장하므로, 디코더의 특정 계층에서 법령의 조항 번호 토큰과 판례 본문의 법적 평가 토큰이 비정상적으로 강하게 결합하는 현상이 나타납니다. 그 결과 모델은 조문의 법적 요건을 설명하는 문장에 판례의 특정 사실인정 결과를 근거로 매핑하거나, 판례의 판시사항을 설명하면서 엉뚱한 법령 조항을 인용구로 부착하는 교차 오귀인(Cross-Attribution Error)을 일으키게 됩니다. 이는 단순한 환각(Hallucination)이 아니라 실제 존재하는 복수의 진실이 부적절하게 융합되어 발생하는 고차원적 결함입니다.
ProvenanceGuard: 세분화된 클레임-출처 분해 및 신경-기호적 추적
최근 공개된 ProvenanceGuard 프레임워크는 이러한 도구 기반 에이전트의 이종 출처 혼입을 방지하기 위해 출처 인지형 검증 파이프라인을 체계화했습니다. 핵심 원리는 에이전트의 최종 출력을 원자적 클레임(Atomic Claim) 단위로 분해함과 동시에, 각 클레임이 표면적으로 지목하고 있는 명시적 출처 식별자(MCP Tool ID 및 Message Payload ID)를 기호적으로 추출하는 것입니다. 이후 검증 시스템은 전체 통합 콘텍스트를 탐색하는 대신, 해당 클레임이 명시한 특정 도구의 출력 페이로드만을 분리된 격리 격자(Isolated Grid)로 인출하여 자연어 함의(NLI) 검증을 수행합니다. 만약 클레임의 내용이 다른 도구 출력에는 존재하지만 지목된 도구 출력에는 존재하지 않는다면, 전체 콘텍스트 기준의 참/거짓과 무관하게 '출처 불일치(Source Mismatch)' 플래그를 발생시키고 해당 문장을 즉각 격리합니다. 이러한 신경망 기반 함의 분석과 기호적 메타데이터 추적의 결합은 에이전트가 아무리 복잡한 도구 체인을 순회하더라도 각 진술의 계보(Lineage)를 단일 도구 수준에서 수학적으로 강제할 수 있도록 지원합니다.
법률 추론에서의 연쇄적 출처 오염과 검증 차단벽 설계
법률 분야에서 출처 혼입 문제는 단순한 인용 오류를 넘어 후속 추론 체인의 치명적 붕괴를 초래합니다. 복합적인 법률 쟁점을 다루는 다중 에이전트 파이프라인에서는 선행 에이전트의 출력이 후속 에이전트의 사고 입력(Context)으로 주입되는 경우가 많습니다. 이때 선행 단계에서 법령의 적용 범위와 판례의 예외 판시가 혼입된 진술이 여과 없이 통과되면, 후속 에이전트는 이를 확정된 전제로 취급하여 잘못된 법적 결론을 도출하는 '오염 전파(Contamination Propagation)' 현상이 발생합니다. 이를 원천 차단하기 위해서는 MCP 도구 호출 단계마다 엄격한 계약 기반 차단벽(Contract-Based Barrier)을 배치해야 합니다. 도구의 반환값에 고유한 암호학적 해시 및 구조화된 스키마 태그를 부여하고, 에이전트가 이를 참조하여 문장을 생성할 때 해당 태그가 포함된 인라인 포인터를 의무적으로 출력하도록 디코딩 규칙을 강제함으로써, 검증기가 런타임에 지연 없이 출처의 일치성을 검사하고 위반 시 즉시 재작성을 유도하는 구조가 확립되어야 합니다.
기술적 트레이드오프
긴장 관계 개별 문장마다 참조된 특정 MCP 도구의 페이로드를 역추적하여 격리 검증을 수행하는 방식은 완벽한 출처 무결성을 제공하지만, 도구 호출 횟수에 비례하여 NLI 연산 비용과 응답 지연 시간(TTFT 및 Latency)이 선형적으로 증가하는 긴장을 유발합니다.
실무적 해소 법적 리스크가 높은 규범적 진술과 단순 요약 진술을 분류하는 경량 분류기를 전면에 배치하여 차등 검증을 수행하고, 자주 인용되는 법령 API 결과 및 공서 판례에 대해 사전 검증된 출처 임베딩 캐시를 구축함으로써 실시간 응답성을 유지하면서 고위험 혼입 결함을 선별 제어합니다.
이 주장이 틀리는 조건
반증 조건 다중 MCP 도구를 연계한 법률 질의응답 실험에서, 단일 풀링 콘텍스트 기반 검증기를 통과한 답변군과 ProvenanceGuard형 출처 격리 검증기를 통과한 답변군 간에 법률 전문가의 출처 정확도 평가 일치율 차이가 통계적 유의수준(p < 0.01) 내에서 0%에 수렴하거나, 도구 출력이 5개 이상으로 증가해도 교차 출처 혼입 결함 발생률이 1% 미만으로 유지되는 현상이 관측된다면 본 칼럼의 논지는 성립하지 않습니다.
법마디 OS에 적용한다면
법마디 OS는 60개 법률 분야별 AI 리더와 복합 쟁점을 논의하는 CSO 서연 주재의 협의 구조를 갖추고 있으며, 답변에 포함된 조문과 판례 인용을 국가법령정보센터(law.go.kr) 원문과 엄격히 대조하여 확인되지 않은 인용을 차단하는 시스템을 운용하고 있습니다. 현재 우리는 판례·조문 조회 도구(MCP)를 통해 실시간 데이터를 주입받고 있으나, 여러 법률 영역의 조문과 판례가 동시에 호출될 때 발생하는 이종 출처 혼입을 방어하기 위해 ProvenanceGuard의 출처 인지형 검증 메커니즘을 시스템 코어에 통합하는 업그레이드를 단계적으로 추진할 계획입니다. 구체적으로 법마디 OS의 MCP 인터페이스가 law.go.kr API로부터 조문 데이터를 수신할 때와 판례 원문을 수신할 때 각각 서로 다른 고유 출처 식별자(Source Origin Token)를 페이로드 헤더에 주입하도록 통신 계층을 개편하겠습니다. 생성 모델이 변호사시험 기출 코퍼스나 실무 조언을 작성할 때 특정 조문 번호나 판례 판시를 인용하면, 기존 원문 대조 엔진이 단순 텍스트 일치 여부만 확인하던 방식을 넘어 해당 인용문이 지정된 도구 토큰의 범위 내에서만 인출되었는지를 교차 검증하는 인라인 소스 가드를 신설하겠습니다. 이를 통해 협의 과정에서 발생할 수 있는 의미적 간섭을 원천 분리하고, 국가법령정보센터 원문 대조의 정밀도를 단일 문자열 매칭에서 도구 단위의 엄격한 출처 귀속성 검증으로 고도화하여 법률 AI의 무결성을 완성해 나갈 것입니다.
기술적 함의
- 통합 텍스트 풀에 기반한 전통적인 RAG 충실도 검증 체계는 다중 도구 MCP 에이전트의 출처 왜곡을 걸러낼 수 없습니다.
- 정확한 법률 답변을 보장하기 위해서는 사실의 참·거짓 판정을 넘어 개별 진술과 도구 페이로드 간의 1:1 귀속성을 강제해야 합니다.
- 출처 인지형 격리 검증은 다단계 법률 추론 체인에서 발생하는 오류 전파와 환각 누적을 차단하는 핵심 아키텍처입니다.
"기술이 다루는 대상이 법률일 때, 어디선가 참인 지식을 가져오는 것만으로는 부족하며 오직 정확한 근거에서 도출된 지식만이 신뢰라는 이름을 얻을 수 있습니다."
