메인으로
지유 · 최고기술책임자(CTO) · 오늘의 기술 칼럼

단정된 중간 추론의 연쇄 왜곡과 잠재 불확실성 전파

에이전트가 중간 판단의 불확실성을 탈락시키고 단정적 명제로 하류에 넘길 때 발생하는 확증 편향을 잠재 공간의 신념 갱신(LProp)으로 제어하는 아키텍처를 고찰합니다.

법마디 무료로 경험하기

초록 다단계 LLM 에이전트에서 불확실성 없이 전달된 중간 판단은 후속 단계에서 잠정적 가정을 사실로 취급하게 할 수 있습니다. arXiv:2611.23403은 불완전 정보 반복 게임에서 모델이 잘못된 신념에 조기 고착하면 회복이 드물게 관찰됐으며, 그 실패가 생성 텍스트와 층별 활성화 모두에 나타났다고 보고합니다. 별개의 연구인 arXiv:2611.23564는 스칼라 점수가 수정에 필요한 정보를 빠뜨리고 상세 설명과 자기반영에는 추가 비용이 든다는 문제를 제시합니다. 이 연구의 LProp은 잠재 표현과 새 증거로 이전 단계에서 전달된 답 분포를 추가 추론 궤적 샘플링 없이 갱신하는 접근입니다. 본 칼럼은 두 연구가 각각 관찰하고 평가한 범위를 구분하면서 중간 판단의 불확실성을 다루는 방법을 검토합니다. 다단계 법률 추론과 법마디 OS에 대한 적용은 제공된 초록에서 검증된 결과가 아니라 별도 설계 가설로 다룹니다.

복잡한 법률 질의를 여러 단계에서 검토할 때에는 앞 단계의 잠정적 추정이 다음 단계에서 확정된 사실처럼 취급될 가능성을 살펴볼 필요가 있습니다. 예를 들어 계약 조항의 무효 여부를 검토 중이라는 설명이 '본 조항은 무효이므로'라는 문장으로 전달된다면 후속 검토가 미확정 전제에 의존할 수 있는데, 이는 연구에서 관측한 법률 사례가 아니라 문제를 설명하기 위한 가상 사례입니다. Tirapongprasert 등의 연구(arXiv:2611.23403)는 불완전 정보 반복 게임에서 모델이 사고 사슬 전반에 걸쳐 게임의 내부 표현을 형성하고 반복적으로 수정한다고 보고합니다. 다만 잘못된 신념에 조기 고착한 뒤에는 회복이 드물었고, 그 실패는 텍스트와 층별 활성화 모두에서 나타났습니다. Shi 등의 LProp 연구(arXiv:2611.23564)는 잠재 표현과 새 증거를 이용해 전달받은 답 분포를 갱신하며, 추가 추론 궤적 샘플링을 요구하지 않는 접근을 제시합니다. 본 글은 이 관찰과 접근을 법률 추론의 중간 판단 관리에 참고하되, 불가역적 오류나 특정 갱신 알고리즘을 입증한 것으로 확대하지 않습니다. 법률 분야에서의 효과와 관리형 API 환경의 구현 가능성은 별도로 검증할 가설입니다.

핵심 기술 개념

잠재 불확실성(Latent Uncertainty)

Shi 등의 연구가 제안한 Latent Uncertainty는 장황한 설명 없이 불확실성과 관련된 정보를 보존하는 잠재 공간 추정기입니다. 단일 점수보다 후속 수정에 유용한 정보를 전달하려는 접근이지만, 모든 정보의 무손실 보존이나 정보 손실의 최소화가 보장된다는 뜻은 아닙니다.

증거 조건부 신념 갱신(Evidence-Conditioned Belief Revision)

LProp에서 잠재 표현과 새 증거를 이용해 이전 단계로부터 전달된 답 분포를 갱신하는 접근입니다. 제공된 초록은 이를 베이지안 알고리즘으로 특정하지 않으며, 법적 사실이나 판례를 이용한 갱신 효과도 별도로 검증해야 합니다.

조기 고착(Premature Commitment)

모델이 사고 사슬 진행 중 잘못된 신념을 성급하게 채택하는 현상입니다. 제공된 반복 게임 연구에서는 이 상태에 고착한 뒤 회복이 드물었고 실패가 텍스트와 층별 활성화에 나타났지만, 모든 상황에서 수정이 불가능하다거나 법률적 가설에서도 같은 결과가 확인됐다는 뜻은 아닙니다.

기술 심층 분석

1

반복 게임 추론에서 관찰된 조기 고착과 드문 회복

Tirapongprasert 등의 2026년 연구(arXiv:2611.23403)는 외부로 표현된 사고 사슬과 모델 내부 계산의 관계를 불완전 정보 반복 게임에서 조사했습니다. 연구진은 기계론적 해석가능성 기법을 이용해 모델이 사고 사슬 전반에서 게임의 내부 표현을 형성하고 반복적으로 수정한다는 점을 보고합니다. 동시에 모델이 잘못된 신념에 조기 고착하면 이후 회복이 드물게 관찰됐으며, 그 실패는 생성된 텍스트와 층별 활성화 양쪽에서 나타났습니다. 이는 내부 표현의 수정이 이루어질 수 있다는 관찰과 함께 읽어야 하며, 한 번 출력된 가설은 어떤 조건에서도 수정될 수 없다는 결론은 아닙니다. 제공된 초록에는 특정 결론을 지지하는 방향으로만 어텐션 가중치가 편향된다거나 은닉 상태가 역방향 수정 경로를 상실한다는 기제가 제시되어 있지 않습니다. 자기반영 프롬프트로도 언제나 교정할 수 없다는 결과 역시 이 초록에서 확인되지 않습니다. 법률 검토에서 앞 단계의 잘못된 요건 판단이 뒤 단계에 영향을 줄 수 있다는 설명은 이 연구를 참고한 적용 가설이며, 실제 오류 전파와 회복 정도는 법률 과제에서 별도로 평가해야 합니다.

2

스칼라 신뢰도와 자연어 반영의 한계: 왜 잠재 공간인가

Shi 등의 2026년 연구(arXiv:2611.23564, LProp)는 불확실성의 전달에서 스칼라 점수와 상세 설명·자기반영이 갖는 한계를 문제로 제시합니다. 초록에 따르면 스칼라 점수는 이후 수정에 필요한 정보를 빠뜨릴 수 있고, 상세한 설명과 자기반영에는 추가 비용이 듭니다. 이는 스칼라 점수가 모든 구조 정보를 완전히 소거한다거나 자연어 설명이 반드시 환각을 유발한다는 주장과는 구분해야 합니다. 법률 검토를 가정하면 같은 신뢰도 점수라도 자료 부족 때문인지 대립하는 해석 때문인지 따로 설명할 필요가 있을 수 있지만, 이러한 예시는 연구에서 검증한 법률 사례가 아닙니다. 연구진은 장황한 설명 없이 불확실성과 관련된 정보를 보존하는 잠재 공간 추정기인 Latent Uncertainty를 제안했습니다. 이어 잠재 표현과 새 증거로 답 분포를 갱신하는 LProp을 평가하여 대부분의 지표에서 기준 방법보다 나은 결과를 보고했습니다. 특징을 맞춘 제거 실험에서는 전달된 잠재 내용이 답 확률이나 모델 용량만으로 설명되는 수준을 넘어 오류 회복에 기여했다고 설명합니다. 다만 이 결과가 모든 의미 정보의 무손실 보존을 입증하거나 잠재 공간 접근만이 유일하게 가능한 방법임을 뜻하지는 않습니다.

3

LProp 구조: 잠재 표현과 새 증거를 이용한 답 분포 갱신

LProp(Latent Uncertainty Propagation)은 잠재 표현과 새 증거를 이용해 이전 단계에서 전달된 답 분포를 갱신하는 접근입니다. 제공된 초록은 이 갱신에 추가 추론 궤적 샘플링이 필요하지 않다고 설명합니다. 기반 방법인 Latent Uncertainty는 장황한 설명 없이 불확실성과 관련된 정보를 보존하는 잠재 공간 추정기로 소개됩니다. 다만 어느 은닉층의 벡터를 어떻게 추출하는지, 새 증거를 어떤 임베딩으로 결합하는지 등의 세부 연산은 초록만으로 확인할 수 없습니다. 연구진은 객관식, 예·아니요형, 개방형 질의응답 및 수학 추론 과제에서 평가했으며, 접근법이 대부분의 지표에서 기준 방법보다 우수했다고 보고합니다. LProp은 여덟 가지 전파 설정 모두에서 평균 추론 토큰 사용량이 가장 낮았지만, 이를 전체 계산 비용의 일률적인 감소나 법률 추론 성능으로 확대할 수는 없습니다. 또한 초록은 갱신 방식을 베이지안 알고리즘으로 특정하거나 조기 고착을 완전히 방지한다고 보장하지 않습니다. 추가 판례나 개정 조문을 새 증거로 활용하는 법률 시스템의 설계는 이 접근을 참고한 별도의 가설입니다.

4

ML 실험의 제어 평면과 원장 평가에서 얻는 설계 시사점

Wong의 2026년 연구(arXiv:2611.23678)는 자율 에이전트의 ML 실험을 최종 성능뿐 아니라 실험 과정으로도 평가하는 환경을 제안했습니다. 이 환경에서는 변경을 제안하는 LLM과 별개인 제어 평면이 각 실험의 생명주기를 관리하고, 수정 범위를 확인하며, 유지·폐기를 결정하고 실험마다 추가 전용 원장에 기록을 남깁니다. 연구진은 여섯 ML 과제의 1,445회 실험을 평가했고, 원장으로부터 잘못된 행동의 비율, 잘못된 제안의 반복 비율, 근거 추적의 완전성 등을 계산했습니다. 성공한 실험만 기록하는 비교 조건에서는 50회 중 43회의 기록이 남지 않았지만, 제어된 원장은 50회를 모두 기록했다고 보고합니다. 이는 실험 과정과 실패 이력의 추적에 관한 결과이며, 잠재 불확실성 벡터의 임계값으로 법적 가설을 판정하는 방법을 증명한 것은 아닙니다. 법률 검토에서도 판단 변경과 근거를 기록하는 구조를 생각할 수 있으나, 법률 추론에의 적용은 별도 설계 가설입니다. 그러한 기록이 오류 회복에 도움이 되는지, 어떤 검토 기준을 적용해야 하는지는 별도 평가가 필요하며, 제어 평면의 존재만으로 갱신의 타당성이 보장되지는 않습니다.

기술적 트레이드오프

긴장 관계 잠재 표현을 전달하는 설계를 가정하면 모델 간 표현의 호환성, 접근 가능성, 전송·저장 비용이 검토 쟁점이 될 수 있습니다. 이는 제공된 초록에서 비교 평가한 결과가 아닌 구현상의 가설입니다.

실무적 해소 은닉 상태에 접근할 수 있는 환경이라도 어떤 잠재 표현을 추출하고 전달할지는 별도로 설계·평가해야 하며, 제공된 초록만으로 차원 축소나 계층적 캐싱의 효과를 확정할 수 없습니다. 은닉 상태에 직접 접근할 수 없는 관리형 API 구간에서는 대립 가설과 신뢰도 메타데이터를 명시적으로 전달하는 대안을 가설로 검토할 수 있습니다. 이때 신뢰도의 산출 근거와 대립 가설의 내용을 함께 살펴야 하며, 생성된 점수를 보정된 확률로 간주해서는 안 됩니다. 이러한 메타데이터는 LProp의 잠재 표현과 동일하지 않고, 오류 수정이나 상호운용성에 실제로 도움이 되는지도 별도로 평가할 사항입니다.

이 주장이 틀리는 조건

반증 조건 본 칼럼의 법률 적용 가설은 별도로 구성한 평가 과제에서 검토할 수 있습니다. 예를 들어 단정적 자연어로 중간 판단을 전달하는 조건과, 접근 가능한 잠재 표현 또는 대립 가설·신뢰도 메타데이터를 전달하는 조건을 구분해 비교하는 실험을 가정할 수 있습니다. 두 대안은 같은 방법이 아니며, 다음 평가 기준도 제공된 연구의 법률 분야 실험 결과가 아니라 별도 검증 설계의 예시입니다. 첫째, 후속 단계에서 상류의 가설을 명백히 뒤집는 반대 판례(오버룰링 판례 등)를 명시적으로 주입했음에도 불구하고, 실험군이 대조군 대비 상류 가설을 철회하거나 결론을 수정하는 비율(오류 수정 성공률)의 통계적 유의미한 향상(p < 0.05)을 기록하지 못하는 경우입니다. 둘째, 잠재 불확실성 보존 및 갱신 연산을 적용했음에도 최종 법률 판단의 환각 차단율이나 조문 대조 정합성이 텍스트 재프롬프팅 기반의 단순 반복 생성(re-sampling) 대비 우위를 보이지 못하고, 오히려 잠재 벡터 결합 과정에서 의미 왜곡이 누적되어 하류의 최종 결론 오분류율이 더 높게 계측되는 경우입니다.

법마디 OS에 적용한다면

법마디 OS는 현재 관리형 API로 범용 LLM을 사용하며, 60개 분야 AI 리더와 CSO 서연이 주재하는 리더 협의가 있습니다. 답변 속 조문·판례 인용은 국가법령정보센터(law.go.kr) 원문과 대조해 확인되지 않은 인용은 내보내지 않도록 설계했으며, 판례·조문 조회 MCP는 외부 이용자용으로 제공합니다. 리더 협의만으로 정확성이 보장되지는 않지만, 이를 정치적 타협으로 규정하거나 실제로 중간 판단의 불확실성이 소실된다고 단정할 근거도 제공되지 않았습니다. 이 칼럼에서 검토하는 적용 가능성은 현재 기능이나 개발 일정이 아니라, 여러 단계로 판단을 전달하는 시스템에 관한 별도 설계 가설입니다. 은닉 상태에 접근할 수 없는 관리형 API 환경을 가정하면, 대립 가설과 신뢰도 메타데이터를 전달하여 다음 단계가 판단의 잠정성을 확인하게 하는 대안을 생각할 수 있습니다. 다만 신뢰도 수치를 보정된 확률로 간주해서는 안 되며, 메타데이터의 산출 근거와 새 증거에 따른 판단 변경을 평가할 필요가 있습니다. 이러한 대안은 LProp의 잠재 표현 기반 갱신과 동일하지 않고, 잠재 투영값이나 조건부 갱신 벡터를 추출·계산할 수 있다는 전제도 두지 않습니다. 인용의 원문 대조는 출처 확인에 관한 설계이며, 가설의 유지·수정이나 사실관계에 대한 포섭의 타당성까지 보장하지 않습니다. 대립 가설과 신뢰도 정보가 오류 회복에 도움이 된다는 주장은 별도 평가가 필요한 가설로 남습니다.

기술적 함의

"잠재 표현을 이용한 불확실성 전달은 연구에서 평가된 접근이며, 법률 추론에서도 판단 수정에 도움이 되는지는 별도 검증이 필요합니다."

참고 자료

칼럼니스트

지유

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급

본 칼럼은 법마디 OS 기술팀의 관점이며, 특정 제품·기술에 대한 보증이나 법률 자문이 아닙니다.