GASP 기반 법률 RAG의 문장 단위 환각 제어 | 법마디(Lawmadi) OS 기술칼럼

초록 법률 AI 시스템에서 생성된 답변의 신뢰성을 보장하기 위해서는 문장 단위(Span-level)의 미세 환각을 실시간으로 감지하는 기술이 필수적입니다. 기존의 환각 탐지 기법들은 전체 답변에 대한 단일 점수만을 부여하거나 무거운 판별 모델을 추가로 요구하는 한계를 지녔습니다. 본 논증에서는 검색된 증거 청크를 개별적으로 제거하는 섭동(Perturbation)을 유도하고, 이에 따른 토큰 예측 확률 분포의 변화를 젠슨-샤논 다이버전스(JSD)로 측정하는 GASP 프레임워크를 분석합니다. 이를 통해 추가적인 모델 파인튜닝 없이도 법률 RAG 시스템의 추론 무결성을 획기적으로 향상시킬 수 있는 아키텍처적 대안을 제시합니다.

법률 자문이나 판례 분석을 지원하는 생성형 AI 시스템에서 '그럴듯한 오답'은 단순한 기술적 결함이 아닌, 법적 책임과 신뢰의 붕괴를 초래하는 치명적인 위험 요인입니다. 특히 법률 RAG(검색증강생성) 시스템이 수많은 판례와 조문을 참조하여 답변을 생성할 때, 특정 문장이 실제 제공된 증거 문맥에 정확히 접지(Grounding)되어 있는지 판별하는 것은 극도로 까다로운 과제입니다. 기존의 환각 탐지 방식은 답변 전체의 유사도를 평가하는 수준에 그쳐, 어떤 구체적인 법적 주장이나 인용구가 왜곡되었는지 실시간으로 추적하지 못했습니다. 엔지니어들은 이를 해결하기 위해 대규모 분류 모델을 추가로 도입하곤 했으나, 이는 시스템의 지연 시간(Latency)과 운영 비용을 기하급수적으로 증가시키는 트레이드오프를 낳았습니다. 이러한 한계를 돌파하기 위해 최근 학계에서 제안된 GASP(Grounding-Aware Sensitivity by Perturbation) 기술은 추가적인 학습 없이 오직 문맥의 섭동만을 이용하여 문장 수준의 환각을 정밀 타격하는 혁신적인 접근법을 제시합니다. 우리는 이 기술의 내부 동작 메커니즘을 해부하고, 법률 도메인에서의 실질적 효용성을 논하고자 합니다.

핵심 기술 개념

접지 감도 (Grounding Sensitivity)

생성된 답변 문장이 참조 문서(Context)에 얼마나 의존하고 있는지를 정량화한 지표로, 문맥 정보가 제거되거나 변형되었을 때 모델의 출력 확률 분포가 변화하는 민감도를 의미합니다.

섭동 (Perturbation)

시스템의 입력 데이터에 의도적인 미세 변화를 주는 행위로, RAG 시스템에서는 검색된 특정 증거 청크(Chunk)를 입력 컨텍스트에서 누락시키거나 순서를 변경하는 방식으로 구현됩니다.

젠슨-샤논 다이버전스 (Jensen-Shannon Divergence, JSD)

두 확률 분포 간의 유사성을 측정하는 대칭적이고 유계된 수리적 지표로, 컨텍스트의 존재 유무에 따른 모델의 토큰 생성 확률 분포 차이를 계산하는 데 활용됩니다.

기술 심층 분석

1

GASP의 핵심 동작 원리 - 문맥의 섭동과 접지성 측정

GASP의 핵심 메커니즘은 답변 문장을 고정한 채, 입력 문맥에 인위적인 섭동(Perturbation)을 가하여 모델의 내부 토큰 생성 우도(Likelihood) 변화를 추적하는 것입니다. 구체적으로, RAG가 생성한 특정 문장 S에 대해 전체 문맥이 주어졌을 때의 조건부 확률 P(S|C), 문맥이 전혀 주어지지 않았을 때의 확률 P(S|empty), 그리고 특정 증거 청크 C_i를 제외했을 때의 확률 P(S|C-C_i)를 비교합니다. 만약 문장 S가 실제 검색된 증거 C_i에 강하게 접지되어 있다면, 해당 청크가 제거된 섭동 상태에서 우도가 급격히 하락하게 됩니다. 반대로 문장 S가 모델의 자체 파라미터 지식에 의존한 환각이거나 무관한 주장이라면, 문맥의 존재 여부나 특정 청크의 유무와 상관없이 확률 변화가 거의 발생하지 않는 특성을 보입니다. 이러한 인과적 확률 변화를 감지함으로써 모델의 내부 상태를 직접적으로 프로빙할 수 있습니다.

2

젠슨-샤논 다이버전스(JSD) 기반의 확률 분포 변화 정량화

단순히 특정 토큰의 개별 우도 하락만을 관찰하는 것은 언어 모델 특유의 문맥적 노이즈나 토큰 빈도 편향으로 인해 오탐을 유발할 수 있습니다. GASP는 이를 극복하기 위해 전체 답변 문장의 토큰들에 대한 확률 분포 자체를 비교하는 젠슨-샤논 다이버전스(JSD) 분석을 도입합니다. 완전한 문맥 하의 토큰 분포 P와 섭동이 가해진 문맥 하의 분포 Q 사이의 JSD를 계산하여, 정보의 전송 손실과 분포 간의 거리를 대칭적으로 측정합니다. 이 수리적 접근은 단순 차이 계산보다 이상치에 강건하며, 법률 문서와 같이 고도로 구조화되고 정형화된 어휘가 반복되는 환경에서 미세한 의미론적 왜곡을 포착하는 데 탁월한 성능을 발휘합니다. JSD 값이 임계값 이상으로 크게 요동치는 경우에만 해당 문장이 해당 청크에 유의미하게 결합되어 있다고 판정하는 정밀한 필터링 구조를 완성합니다.

3

추가 모델 학습 배제(Zero-Shot)를 통한 비용 효율성 극대화

기존의 문장 단위 환각 탐지 아키텍처들은 대개 NLI(Natural Language Inference) 모델이나 별도의 판별용 LLM을 호출하여 '함의(Entailment)' 여부를 재검증하는 2차 파이프라인을 거쳐야 했습니다. 이는 법률 AI 서비스의 실시간성을 저해하고 API 호출 비용을 두 배 이상 폭증시키는 치명적인 한계를 가졌습니다. 반면 GASP는 이미 답변을 생성한 기본 LLM의 은닉 상태(Hidden States)나 토큰 예측 로짓(Logits)을 그대로 활용하여 섭동 연산을 수행합니다. 즉, 추가적인 신경망 레이어나 외부 모델의 추론 연산 없이 오직 입력 토큰의 마스킹과 순방향 패스(Forward Pass)의 국소적 재계산만으로 환각을 판별합니다. 이로 인해 연산 자원의 낭비를 최소화하고 대규모 법률 문서 검색증강 파이프라인에서도 밀리초(ms) 단위의 극히 낮은 오버헤드로 실시간 무결성 검증을 수행할 수 있는 엔지니어링적 기반을 제공합니다.

4

GASP의 기술적 한계와 완화 전략

GASP 프레임워크가 지닌 본질적 한계는 입력 컨텍스트의 길이가 매우 길어지거나 참조하는 증거 청크의 수가 많아질 때 발생합니다. 각 청크를 하나씩 제거하며 순방향 패스를 반복해야 하는 섭동 연산의 특성상, 청크 수 N에 비례하여 연산 복잡도가 증가하는 O(N)의 한계를 지닙니다. 법률 RAG에서 수십 개의 판례를 동시에 참조할 경우, 이러한 반복적 로짓 계산은 지연 시간(Latency)의 병목이 될 수 있습니다. 이를 완화하기 위해 본 연구진은 1차적으로 조밀 검색(Dense Retrieval) 단계에서 유사도 점수가 가장 높은 상위 K개의 핵심 청크만을 선별하여 섭동 대상 후보군을 좁히는 하이브리드 필터링 아키텍처를 제안합니다. 또한, 문장 내에서 명사구나 법률 요건을 나타내는 핵심 키워드 토큰에 대해서만 선택적으로 로짓 변화를 추적하는 '적응형 마스킹'을 결합함으로써 연산 비용을 획기적으로 절감할 수 있습니다.

기술적 트레이드오프

긴장 관계 GASP 프레임워크는 추가적인 판별 모델 없이 문장 단위 환각을 정밀 탐지하는 강점이 있습니다. 하지만 참조 청크의 개수와 답변 길이에 비례해 순방향 패스(Forward Pass) 횟수가 증가하여 실시간 지연 시간(Latency)이 늘어나는 단점이 존재합니다. 이는 연산 자원의 효율성과 탐지의 초정밀성 사이에서 발생하는 본질적인 긴장 관계를 보여줍니다.

실무적 해소 이러한 트레이드오프는 모든 문장과 청크에 대해 무차별적으로 섭동을 가하는 대신, 1차적으로 엔트로피 분석을 통해 모델이 스스로 확신이 낮은 문장(Low-confidence spans)만을 선별하고, 해당 문장과 연관된 상위 3개의 핵심 증거 청크에 대해서만 국소적으로 GASP 연산을 수행하는 '적응형 다단계 프로빙' 기법을 도입함으로써 실무적으로 해결할 수 있습니다. 또한, 병렬 연산 파이프라인을 통해 여러 섭동 컨텍스트의 로짓 계산을 배치(Batch) 단위로 동시에 처리함으로써 지연 시간을 단축시킵니다.

법마디 OS에 적용한다면

법마디 OS의 실시간 판례 검증 모듈에 GASP 아키텍처를 이식하기 위해, 우리는 생성된 법률 의견서의 각 '판시 사항'과 '참조 조항' 문장을 추출하는 파이프라인을 구축할 것입니다. 사용자가 입력한 사실관계에 대응해 법마디 OS가 초안을 생성하면, 백엔드에서는 각 문장 단위로 GASP 필터가 가동되어 실제 데이터베이스에서 검색된 판결문 원본 청크들과의 접지 감도를 측정합니다. 특히 대법원 판례의 핵심 요지 문장이 검색된 판결 이유(Ratio Decidendi) 청크가 제거되었을 때 JSD 수치가 급격히 떨어지는지 실시간으로 모니터링합니다. 만약 특정 판례 인용 문장의 JSD 변화율이 임계값 이하로 나타나면, 시스템은 이를 '출처 불명 또는 환각 의심 문장'으로 즉각 기각하고 사용자 인터페이스 상에 경고 표시를 띄우거나 자동 재검색 쿼리를 발송합니다. 이 과정에서 연산 효율을 극대화하기 위해, 법마디 OS의 경량화된 로컬 임베딩 모델을 활용해 연관성이 높은 핵심 문맥 청크만 섭동 대상에 포함시키는 동적 마스킹 레이어를 세부 설계할 예정입니다. 결과적으로 법마디 OS는 어떠한 외부 상용 API의 추가 호출 없이도, 자체 추론 엔진 내부에서 판례 왜곡 및 조문 조작을 원천 차단하는 강력한 무결성 방어벽을 갖추게 됩니다.

기술적 함의

외부 검증 모델에 의존하지 않는 자체 로짓 분석 기반의 환각 제어가 리걸테크의 새로운 보안 표준이 될 것입니다.
문장 단위(Span-level)의 세밀한 접지성 측정을 통해 법률 문서의 부분적 왜곡을 실시간으로 차단할 수 있습니다.
섭동 기반 분석은 모델의 블랙박스적 추론 과정을 수리적으로 설명 가능한 형태로 변환하는 교두보 역할을 합니다.

"법을 다루는 AI의 무결성은 타협의 대상이 아니며, 우리는 단 한 줄의 환각도 허용하지 않는 수리적 정밀함으로 사법적 신뢰를 증명해 나갈 것입니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급