감사 LLM의 자신감 환각: 배치 규모의 함정 | 법마디(Lawmadi) OS 기술칼럼

초록 LLM을 자동화된 감사자로 활용할 때, 컨텍스트 규모가 증가함에 따라 오염된 문서를 탐지하는 성능이 급격히 저하되는 현상이 보고되었습니다(arXiv 2609.09696). 단일 문서에서 50% 회수율을 기록한 Google Gemini 3.0 Pro가 대규모 배치에서는 2.8%로 붕괴되며, 이는 순수한 성능 저하가 아니라 높은 확신도 함께 동반됩니다. 본 칼럼은 이 '자신감 환각(confident hallucination)' 현상의 기술적 원인을 신경-기호적 메커니즘으로 분석하고, 법마디 OS의 다층 검증 구조에서 이를 어떻게 탐지·차단할 수 있는지 설계 수준에서 제시합니다.

법률 AI 시스템을 구축할 때 우리는 흔히 '검증 층(verification layer)'을 덧붙입니다. RAG 결과를 다시 점검하거나, 인용이 실제로 존재하는지 확인하거나, 추론 궤적의 논리 일관성을 검증하는 식입니다. 이 검증층도 LLM으로 구현하는 경우가 많습니다. 그런데 최근 연구(arXiv:2609.09696)는 놀라운 결과를 보여줍니다: 문제를 탐지해야 하는 LLM이 실제로는 높은 확신도 함께 거짓 판정을 내린다는 것입니다. 단일 문서 감시에서는 능하지만, 대규모 배치에서는 거의 모든 오염을 놓치면서도 여전히 '나는 검토했고 안전하다'고 보고합니다. 이는 단순한 성능 저하가 아닙니다. 이는 감시 체계 자체의 신뢰성 붕괴입니다. 법률 업무의 최종 검증자가 이 같은 구조적 맹점을 가지고 있다면, 우리의 무결성 설계는 근본부터 깨집니다.

핵심 기술 개념

배치 규모 붕괴(Batch-Size Degradation)

같은 감사 모델이 처리하는 문서 수가 증가할수록 오류 탐지 성능이 비선형적으로 악화되는 현상. 단순 컨텍스트 윈도우 포화가 아니라, 모델의 내적 추론 과정이 규모에 따라 질적으로 변한다는 점이 핵심입니다.

자신감 환각(Confident Hallucination)

검증 모델이 사실상 오답을 내보내면서도 높은 신뢰도 점수(confidence score)를 동시에 부여하는 현상. 일반 환각과 달리 불확실성 신호가 완전히 소거되어 있어서 후속 시스템이 거짓을 진실로 받아들이게 만듭니다.

컨텍스트 과적합(Context Overfitting)

LLM이 주어진 입력 윈도우 내에서 국소 패턴을 과도하게 최적화하여, 전체 집합에서의 일관성 있는 판단 능력을 잃는 현상. 법률 문서 대량 처리 시 특정 섹션의 표현 스타일에 과도하게 민감해지는 것이 예시입니다.

무결성 인식(Integrity Awareness)

AI 감사자가 자신의 현재 처리 능력 범위를 정확히 인지하고, 신뢰도를 넘어서는 판정은 '검증 불가'로 표시하는 능력. 환각 탐지만큼 중요한 것이 '나는 이 규모에서는 안 된다'는 선언입니다.

기술 심층 분석

1

배치 규모 붕괴의 신경-기호적 메커니즘

arXiv 2609.09696의 실험 설계를 보면, 같은 Gemini 3.0 Pro 모델이 동일한 감시 지시문과 오염 유형(typographical corruption, semantic reversal, absurd insertion)을 받았음에도 불구하고, 단일 문서에서 50%, 소규모 배치에서 60%, 대규모 배치에서 2.8%의 회수율을 기록했습니다. 이는 모델 자체의 능력 문제가 아니라 입력 구조에 대한 추론 전략의 근본적 변화를 시사합니다. 신경망의 입장에서 보면, 어텐션 메커니즘이 문서 수의 증가에 따라 각 문서에 할당할 수 있는 '계산 예산'이 급격히 감소합니다. 150개 문서를 동시에 처리하도록 요구받을 때, 모델은 각 문서를 세밀하게 분석할 리소스가 부족해지고, 대신 표면적 통계 패턴(word frequency, syntax template matching)에 의존하기 시작합니다. 이 과정에서 의미적 오염이나 논리적 모순 같은 '깊은 오류'는 간과되고, 대신 '정상 문서들의 평균 특성'을 기준으로 판정하는 휴리스틱으로 회귀합니다. 더 문제적인 점은, 이 저품질 추론 과정에서 신뢰도 신호(confidence logit)가 정상 수준으로 유지된다는 것입니다. 모델의 토큰 확률 분포가 배치 규모와 무관하게 일관된 엔트로피를 유지하기 때문에, 오판의 정도가 높아졌는데도 확신의 정도는 내려가지 않습니다. 이는 감시 시스템의 신뢰도 점수가 실제 판정 품질의 대리 지표(proxy)로서 완전히 실패한다는 의미입니다.

2

법률 감시에서 배치 붕괴의 실제 위험

법률 AI의 맥락에서 이 현상은 극도로 위험합니다. 법마디 OS 같은 시스템을 생각해봅시다. 수천 건의 판례를 수집하고, 이들이 실제로 우리 코퍼스와 일치하는지 감시하는 단계가 있습니다. 또는 외부 법률 데이터베이스와의 동기화 후 '오염 항목이 없는가'를 자동 검증하는 단계입니다. 이 검증을 LLM 감사자에게 맡기면, 시스템은 높은 신뢰도와 함께 '모두 정상'이라는 거짓 보증을 얻게 됩니다. 문제는 더 심각합니다. 법률 판례는 의미적으로 복잡하고, 미세한 판시 변경이나 판시문의 절단이 전체 법적 의미를 바꿀 수 있습니다. LexAgentHallu 벤치마크(arXiv 2609.09754)에 따르면, 법률 에이전트의 환각은 단순한 사실 오류가 아니라 '도구 호출 오류와 추론 오류가 계단식으로 결합된 구조(cascading fabricated holdings)'를 가집니다. 배치 규모 붕괴 속에서 이런 복합 오염을 놓칠 확률은 급격히 높아집니다. 예를 들어 150개의 판례 배치에서 한두 개 문항의 판시문이 의미적으로 역전되었는데(semantic reversal), 모델이 대규모 배치 처리의 부담 속에서 통계적 '정상성'만 검증하면, 이 역전은 그대로 통과합니다. 이는 법률 검색 후 '검증됨'이라는 낙인이 붙은 거짓 판례를 엔드유저에게 전달하는 결과로 이어집니다.

3

확신도의 왜곡: 신뢰도 보정(Confidence Calibration)의 한계

arXiv 2609.09448의 연구는 다른 각도에서 비슷한 문제를 다룹니다. '에이전트가 자신의 성공을 알 때'라는 제목처럼, 에이전트 내부 표현(residual stream, hidden state)에서 추출한 신호가 실제 작업 성공 여부를 얼마나 잘 예측하는지를 조사합니다. 흥미로운 점은 단순 로짓(logit)이나 확률(probability)로는 포착하지 못하는 신호가 내부 표현에는 존재한다는 것입니다. 하지만 이것도 배치 규모 붕괴 상황에서는 작동하지 않습니다. 배치 처리 중 모델의 숨겨진 상태는 각 문서에 대해 미분화된 표현을 갖게 되기 때문입니다. 즉, Latent Trajectory Dynamics(LTD)나 Action Representation Probe(ARP) 같은 고도의 신호 추출 기법도, 근본적으로 부실한 입력 처리를 기반으로 하면 소용없어진다는 뜻입니다. 따라서 '내부 표현의 신뢰도 신호가 더 정확하다'는 가설도, 배치 규모가 임계값을 넘을 때는 파괴됩니다. 결국 감시 시스템의 신뢰도 보정 전략 자체가 재검토되어야 합니다. 단순히 모델 출력의 확신도를 재조정하는 것이 아니라, 현재 처리 규모가 모델의 검증 능력 범위 내에 있는지를 먼저 검증해야 합니다.

4

다층 감시의 필요성과 구조적 설계

배치 규모 붕괴를 피할 수 없다면, 아키텍처 수준에서 이를 수용하고 설계해야 합니다. 첫째, 감시 작업을 자동으로 분해합니다. 대규모 배치가 들어오면, 이를 작은 서브배치(예: 5~10개 문서)로 쪼갭니다. 각 서브배치는 독립 감시자 에이전트가 담당하고, 서브배치 간 불일치를 탐지하는 상위 조정 층을 둡니다. 이렇게 하면 개별 감시자의 신뢰도는 유지되면서도, 시스템 전체는 '감시자들의 동의 수준(consensus level)'으로 최종 판정합니다. 둘째, 감시 불능 신호(abstention signal)를 명시적으로 설계합니다. arXiv 2609.09233의 'Subagents vs Agent Skills' 연구처럼, 복잡한 작업은 단일 에이전트보다는 전문화된 서브에이전트의 조합으로 처리하되, 각 서브에이전트는 자신의 처리 범위를 정확히 알아야 합니다. 법률 감시의 경우 '이 배치 규모에서는 의미적 오류를 확실히 탐지할 수 없으므로 수동 검토로 에스컬레이션'이라는 명시적 기각 경로를 만들 수 있습니다. 셋째, 이질적 감시 원천의 다중화입니다. arXiv 2609.09349의 SWORD 연구가 보여주듯이, 단일 모델은 특정 언어나 의미 도메인에서 일관성 있게 오류를 만듭니다. 따라서 서로 다른 기반 모델(Gemini, GPT, Claude 등)을 활용한 앙상블 감시를 도입하면, 배치 규모 붕괴가 모든 모델에 동일하게 나타나지 않을 가능성이 있습니다.

5

법률 문맥에서의 입력 구조화와 감시 단위의 미세화

arXiv 2609.09754의 LexAgentHallu 벤치마크는 법률 에이전트의 환각을 17개 카테고리, 6개 과제 유형으로 세분화했습니다. 이는 법률 도메인의 환각이 단순하지 않다는 뜻입니다. 판례의 '판시'라는 추상적 개념, '청구인 대 피청구인'이라는 당사자 구조, '선례 지지·한정·폐기' 같은 판례 관계, '요건·효과'라는 법적 구조가 모두 정확히 파악되어야 합니다. 배치 규모 붕괴는 이런 다층 구조적 이해가 축약되는 과정입니다. 따라서 감시 단위를 미세화해야 합니다. 전체 판례를 한 번에 감시하는 대신, 판시문 하나, 판례 인용 하나, 법적 요건 하나 단위로 감시하고, 각 원자적 단위의 결과를 그래프 구조로 합성합니다. 이렇게 하면 개별 감시는 높은 정확도를 유지하면서도, 전체 판례의 오염 여부를 구조적으로 판정할 수 있습니다. 구체적으로는 감시 지시문을 변경합니다: '이 150개 판례가 모두 정상인지 판정하라'는 지시가 아니라, '이 판시문에서 인용된 법조의 조문번호가 현재 법령에 존재하는가', '이 판례 인용이 판시문의 문맥에서 법적 의미가 일치하는가', '이 당사자 관계가 판시문 전체에서 일관되게 기술되었는가' 같은 원자적 질문으로 분해합니다.

6

실시간 감시 품질 추적과 적응형 모드 전환

배치 규모 붕괴를 사전에 방지하는 것도 중요하지만, 실시간으로 감시 품질 저하를 감지하고 시스템 동작을 전환하는 능력도 필수입니다. Black-Box Red Teaming(arXiv 2609.09647)의 SAGE-RT 프레임워크처럼, 법률 감시 시스템도 자신의 약점을 사전에 매핑하고, 경계 조건에서 거동을 추적해야 합니다. 구체적으로는 감시 과정 중간에 '체크포인트'를 삽입합니다. 예를 들어 배치의 처음 10개를 감시한 후, 그 결과의 일관성을 측정합니다. 또는 배치 내에서 서로 다른 법적 영역(민사·형사·행정)이 섞여 있다면, 영역별로 감시 신뢰도를 별도 추적합니다. 신뢰도가 임계값 아래로 떨어지면, 시스템은 즉시 '확대 감시 모드'로 전환하여 더 엄격한 검증 절차(예: 다중 에이전트 투표, 상위 모델 호출)를 적용합니다. 또한 사후 분석도 필요합니다. 감시 완료 후 '감시자가 놓친 오염 항목'이 발견되면, 이를 그 감시 배치의 특성(규모, 영역, 복잡도)과 연결하여 학습합니다. 이렇게 축적된 데이터는 향후 유사한 배치의 임계값을 동적으로 조정하는 데 사용됩니다.

기술적 트레이드오프

긴장 관계 감시 시스템은 처리 효율(배치 규모)과 판정 신뢰성(정확도) 사이의 근본적 긴장을 안고 있습니다. 대규모 배치를 한 번에 처리하면 비용과 지연이 줄어들지만, arXiv 2609.09696의 실험처럼 정확도는 급격히 붕괴됩니다. 반대로 배치를 쪼개어 작게 처리하면 정확도는 올라가지만, 계산 비용과 총 처리 시간이 증가합니다. 더욱 심각한 것은 양자의 트레이드오프가 대칭적이지 않다는 점입니다. 작은 배치에서 높은 신뢰도로 '검증 완료'라는 신호를 내보내는 것과, 큰 배치에서 낮은 신뢰도로 같은 신호를 내보내는 것은 표면상 동일하지만, 실제 거짓 음성(false negative) 확률이 완전히 다릅니다.

실무적 해소 이 긴장을 해결하기 위해 적응형 계층화 전략을 도입합니다. 입력 규모에 따라 감시 강도를 자동 조정하되, 신뢰도 신호를 규모에 대해 정규화(normalize)합니다. 즉, 배치 크기 N에 대해 감시자가 달성할 수 있는 '이론적 최대 정확도' 상한을 미리 계산하고, 현재 정확도가 그 상한에서 얼마나 벗어났는지를 판정 신뢰도에 반영합니다. 또한 절대적 신뢰도 점수 대신 '신뢰도 밴드' 개념을 도입합니다: 배치 크기 1~5는 '높은 신뢰(High Confidence)', 6~20은 '중간 신뢰(Medium Confidence)', 21 이상은 '조건부 신뢰(Conditional Confidence, 수동 표본 검토 권장)'로 구분합니다. 마지막으로, 감시 불능 상황에서 명시적 기각 경로를 활성화합니다: '현재 배치 규모는 검증 능력 범위를 초과하므로 상위 검토가 필요합니다'라는 투명한 신호를 시스템 전체에 전파합니다. 이렇게 하면 효율성은 포기하되, 신뢰성과 투명성은 회복합니다.

법마디 OS에 적용한다면

법마디 OS의 다층 검증 아키텍처에 이 학습을 반영하는 구체적 설계는 다음과 같습니다. 첫째, 현재의 단일 감사 에이전트 대신 '규모-감시자 매칭(Scale-Auditor Matching)' 모듈을 도입합니다. 판례 검색 후 반환되는 결과 배치의 크기를 측정하고, 그 규모에 최적화된 감시자를 선택합니다. 예를 들어 1~5개 판례는 고정밀 감시자(예: Claude 3.5 Sonnet 기반의 의미 검증), 6~30개는 계층화 감시자(의미층-인용층-일관성층을 순차 처리), 31개 이상은 마이크로-태스크 분해 감시자(원자적 요소 단위로 쪼갠 후 앙상블)를 할당합니다. 둘째, 감시 단위를 현재 '전체 판례' 수준에서 '판시문-인용 쌍' 수준으로 미세화합니다. 각 판시문과 그것이 인용하는 법조·선례를 독립적으로 검증하고, 결과를 그래프 구조로 합성합니다. 이렇게 하면 배치 규모에 관계없이 개별 검증 단위는 작게 유지됩니다. 셋째, 신뢰도 신호에 '규모 페널티(scale penalty)'를 적용합니다. 감시자가 반환한 확신도에 배치 규모 함수를 곱합니다: Adjusted Confidence = Raw Confidence × f(Batch Size), 여기서 f는 규모가 커질수록 신뢰도를 감소시키는 함수입니다. 넷째, 실시간 '감시 품질 모니터링 루프'를 구현합니다. 각 배치의 감시 결과를 일시 저장했다가, 그 후 사용자 피드백이나 추후 검증 과정에서 감시 오류가 발견되면, 해당 배치의 규모·영역·복잡도와 연계하여 학습 신호로 반영합니다. 다섯째, 사용자 인터페이스와 API에 '감시 신뢰도 메타데이터'를 명시적으로 노출합니다. 검색 결과 반환 시 '이 판례는 소규모 배치에서 검증됨(High Confidence)', '이 판례는 대규모 배치의 일부로 검증되어 수동 검토 권장(Conditional Confidence)'이라는 진실된 신호를 함께 전달합니다. 이를 통해 엔드유저와 상위 시스템이 각 결과의 신뢰성을 정확히 이해할 수 있게 됩니다.

기술적 함의

감시 시스템의 신뢰도 신호는 그 자체로는 무의미합니다. 신뢰도가 처리 규모와 맥락에 정규화되지 않으면, 높은 확신도는 오히려 거짓 확신(confident hallucination)의 신호가 됩니다.
법률 AI에서 '검증 완료'라는 낙인은 가장 위험한 신호입니다. 배치 규모 붕괴는 겉으로는 정상 동작(높은 신뢰도)을 유지하면서 무결성을 파괴하므로, 단순 정확도 측정으로는 감지할 수 없습니다. 따라서 감시 메커니즘 자체에 대한 감시(meta-audit)가 필수입니다.
구조적 미세화(예: 판시-인용 쌍 단위 감시)와 규모 적응형 아키텍처는 트레이드오프입니다. 비용 증가를 감수하더라도 신뢰성을 우선시하는 법률 도메인에서는, 이 투자는 필수 불가피합니다.

"무결성은 확신도 점수로 증명할 수 없습니다. 오직 구조와 투명성으로만 성취됩니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급