모델은 다르게 틀린다: 교차 모델 합의 검증의 설계

초록 환각 탐지의 한 축은 '오류는 흩어지고 정답은 수렴한다'는 가정 위에 서 있다. 자기 일관성(Self-Consistency) 디코딩과 SelfCheckGPT 류의 샘플 일관성 검사가 이 가정을 운용하는 대표적 기법이다. 그러나 단일 모델의 오류는 무작위가 아니라 학습 분포와 유도 편향을 공유하는 상관된 오류이며, 이 지점에서 다수결은 오답을 강화하는 장치로 뒤집힌다. 본 칼럼은 서로 다른 계열의 모델을 묶는 교차 앙상블이 오류의 탈상관을 제공한다는 관점에서, 오라클이 없는 법리 서술 축에 교차 모델 합의를 2차 검증 신호로 배치하는 설계를 검토한다. 결론적으로 이것은 법마디의 대명제인 LLM 비종속성이 품질 철학이 아니라 신뢰성 공학이라는 논증이기도 하다.

심야에 들어온 임대차 질의에 시스템이 답을 생성한다. 같은 질문을 같은 모델에 다섯 번 물으면 다섯 답이 대체로 같은 결론에 수렴하고, 우리는 그 수렴을 신뢰의 근거로 삼고 싶어진다. 실제로 자기 일관성 디코딩은 여러 추론 경로를 표집해 다수결로 답을 고르는 것만으로 추론 정확도를 끌어올렸고, SelfCheckGPT는 참조 문서 없이도 샘플 간 진술의 표류만으로 환각을 점수화할 수 있음을 보였다. 그러나 이 우아한 가정에는 전제가 하나 숨어 있다. 오류가 서로 독립이라는 전제다. 한 모델이 소추조건을 체계적으로 혼동한다면, 그 모델은 다섯 번을 물어도 다섯 번 같은 방식으로 틀린다. 반복은 확신을 낳고, 확신에 찬 반복 오류는 다수결 검증을 통과한다. 오류의 독립성은 공짜로 주어지지 않으며, 설계로 만들어야 한다. 서로 다른 아키텍처, 다른 학습 데이터, 다른 정렬 절차를 거친 모델을 교차시키는 것이 그 설계의 출발점이다.

핵심 기술 개념

자기 일관성(Self-Consistency)

같은 질문에 대해 여러 추론 경로를 표집한 뒤 다수결로 최종 답을 고르는 디코딩 전략입니다. 정답으로 향하는 경로는 다양해도 결론이 수렴한다는 관찰에 기댑니다.

오류 상관(correlated errors)

같은 모델 또는 같은 계열의 모델들이 학습 분포·유도 편향을 공유해 같은 지점에서 같은 방식으로 틀리는 현상입니다. 오류가 상관되면 표본을 늘려도 다수결의 신뢰도가 개선되지 않습니다.

교차 모델 앙상블

서로 다른 아키텍처·학습 데이터의 모델 출력을 비교·순위화·융합해 하나의 답을 만드는 기법입니다. LLM-Blender처럼 쌍별 비교기로 후보를 겨루게 한 뒤 융합기로 합치는 구조가 대표적입니다.

기술 심층 분석

다수결이 동작하는 이유, 그리고 뒤집히는 지점

자기 일관성 디코딩의 원리는 통계적으로 단순하다. 복잡한 추론 문제의 정답에는 여러 갈래의 타당한 추론 경로가 존재하고, 온도 표집으로 경로를 다양화하면 서로 다른 경로들이 같은 정답에 도착하는 반면 오류 경로들은 제각각의 오답으로 흩어진다. 그래서 결론만 놓고 다수결을 하면 정답의 득표가 가장 두터워진다. 문제는 이 논증이 '오류의 독립성'을 전제한다는 것이다. 모델이 특정 법리를 체계적으로 잘못 내재화했다면 — 예컨대 반의사불벌죄에 친고죄의 고소기간 법리를 잇는 식의 혼동 — 표집 온도를 아무리 올려도 오류는 흩어지지 않고 같은 자리에 쌓인다. 이때 다수결은 오류를 걸러내는 장치가 아니라 오류에 확신을 부여하는 장치로 뒤집힌다. 검증 설계자가 물어야 할 질문은 '몇 번 표집할 것인가'가 아니라 '이 오류는 독립인가, 상관인가'다.

참조 없는 환각 탐지 — 샘플 표류를 신호로 쓰기

SelfCheckGPT의 통찰은 실용적이다. 외부 지식베이스가 없어도, 같은 프롬프트로 여러 응답을 뽑아 응답 간 사실 진술의 일관성을 재면 환각을 추정할 수 있다. 모델이 실제로 알고 있는 사실은 표집을 반복해도 안정적으로 재현되지만, 즉석에서 지어낸 진술은 표집마다 세부가 표류한다는 관찰이다. 검증 대상 문장을 다른 샘플들과 대조해 지지받지 못하는 문장에 높은 환각 점수를 주는 방식으로, 블랙박스 API만으로 작동한다는 점이 강점이다. 그러나 한계도 원리에서 곧장 따라 나온다. 첫째, 문장 단위 대조를 위해 표본 수만큼의 추론 비용이 곱해진다. 둘째, 앞서 본 상관 오류 — 모델이 '일관되게 믿는 거짓' — 는 표류하지 않으므로 이 검사를 그대로 통과한다. 요컨대 샘플 일관성 검사는 즉흥 날조를 잡는 데는 유효하지만, 내재화된 오개념 앞에서는 침묵한다. 두 오류 유형을 구분하는 것이 검증 계층 설계의 첫 단추다.

아키텍처를 섞으면 오류가 탈상관된다

LLM-Blender는 여러 모델의 후보 출력을 쌍별 비교기(PairRanker)로 겨루게 해 순위를 매기고, 상위 후보들을 융합기(GenFuser)로 합쳐 최종 답을 생성한다. 이 설계가 흥미로운 것은 융합의 품질 향상 자체보다, 서로 다른 계열의 모델이 서로 다른 지점에서 틀린다는 관찰을 정면으로 활용한다는 점이다. 학습 코퍼스가 다르고 아키텍처와 정렬 절차가 다르면 내재화된 오개념의 지도도 달라진다. 한 모델이 체계적으로 틀리는 자리에서 다른 계열의 모델은 맞을 수 있고, 그 역도 성립한다. 단일 모델 내부의 표집 다양성이 제공하지 못하는 '오류의 탈상관'을 모델 간 다양성이 제공하는 것이다. 이는 전통적 앙상블 학습에서 약분류기의 독립성이 앙상블 이득의 원천이었던 것과 정확히 같은 구조다. 따라서 교차 모델 합의의 가치는 평균적 품질이 아니라 실패 모드의 비중첩에 있으며, 모델 선택의 기준도 '더 좋은 모델'이 아니라 '다르게 틀리는 모델'이 된다.

스스로 검증 질문을 만드는 사슬 — 생성과 검증의 분리

Chain-of-Verification(CoVe)은 초안을 낸 모델이 그 초안에 대한 검증 질문들을 스스로 생성하고, 각 질문에 초안과 독립적으로 답한 뒤, 그 답들로 초안을 수정하는 절차다. 핵심 설계는 검증 질문에 답할 때 초안을 보여주지 않는다는 것 — 초안의 오류가 검증 단계로 전파되는 경로를 끊는 격리다. 이 구조는 법마디의 Stage 4 검증 계층과 구조적으로 같은 곳을 겨냥한다. 생성자와 검증자를 분리하고, 검증자가 생성물의 프레임에 오염되지 않게 하는 것. 다만 결정적 차이가 있다. CoVe의 검증자는 여전히 같은 모델이므로, 그 모델이 공유하는 오개념까지는 걸러내지 못한다. 법마디가 인용 축에서 이 문제를 겪지 않는 이유는 검증자가 모델이 아니라 외부 오라클(국가법령정보센터 DRF)이기 때문이다. 오라클이 있는 축에서는 오라클이 항상 이긴다. 문제는 오라클이 없는 축 — 조문이 실재하는지가 아니라 법리를 올바로 적용했는지 — 이며, 바로 그 자리가 교차 모델 합의가 2차 신호로 설 자리다.

기술적 트레이드오프

긴장 관계 교차 모델 합의는 추론 호출이 모델 수만큼 곱해지는 비용 구조를 갖고, 그렇게 비용을 치러도 '합의가 곧 진실'은 아니다. 모델들이 학습 데이터를 공유하는 오개념이라면 서로 다른 모델도 함께 틀릴 수 있다.

실무적 해소 실무적 해법은 전량 적용이 아니라 선택적 배치다. 결정론 오라클이 있는 축(인용 실존·내용 일치)은 오라클 단독으로 충분하므로 합의를 걸지 않는다. 합의는 오라클이 침묵하는 고위험 구간 — 무인용 법리 서술, 결정론 규칙(Tier 1)이 커버하지 못하고 LLM 판정기(Tier 2)가 경고를 낸 구간 — 에만 건다. 또한 합의 불일치는 '정답 교체'가 아니라 fail-closed 강등(해당 서술 보류·재검토)으로 처리해, 합의 오류가 새 오류를 만드는 경로를 차단한다.

법마디 OS에 적용한다면

법마디의 대명제는 어떤 LLM으로 교체해도 동일 품질을 내는 것이고, 그 로드맵에는 2차 프로바이더 도입과 패리티 하니스가 이미 놓여 있다. 이 칼럼의 관점에서 보면 패리티 하니스는 단순한 이식 검증 도구가 아니라 교차 모델 합의 인프라의 씨앗이다. 구체적 설계는 이렇다. 첫째, 프로바이더 어댑터 뒤에 두 계열의 모델을 두고, 평상시에는 단일 모델로 서빙하되 Tier 2 shadow 판정기가 법리 경고를 낸 응답 유형에 한해 교차 재생성을 트리거한다. 둘째, 두 모델의 법리 진술을 문장 단위로 정렬·대조해 소추조건·기간·요건 같은 판정 가능한 진술의 불일치를 검출하고, 불일치 문장은 기존 fail-closed 정화기(문장 단위 strip)로 보내 '모르면 멈춘다'를 유지한다. 셋째, 합의·불일치 로그를 Tier 2 shadow 로그와 같은 방식으로 누적해, 어떤 법리 클래스에서 모델들이 함께 틀리는지 — 즉 교차 합의조차 못 잡는 공유 오개념 지대 — 를 식별하고 그 지대를 Tier 1 결정론 규칙 추가의 우선순위 큐로 쓴다. 인용 검증의 DRF 오라클, 결정론 규칙, LLM 판정기, 교차 모델 합의가 각자 다른 오류 유형을 맡는 다층 방어가 되는 셈이다.

기술적 함의

표집 횟수를 늘리는 것과 모델 다양성을 늘리는 것은 다른 문제를 푼다 — 전자는 즉흥 날조를, 후자는 상관 오류를 겨냥한다.
검증 계층의 우선순위는 언제나 외부 오라클이 먼저이고, 합의 신호는 오라클이 없는 축의 보조 신호로만 서야 한다.
프로바이더 다변화는 조달 전략이기 이전에 신뢰성 공학이다 — 다르게 틀리는 모델의 조합이 곧 검증 자산이다.

"신뢰는 한 모델의 확신에서 나오지 않는다. 서로 다르게 틀리는 검증자들의 교차점에서, 그리고 그 교차점마저 의심하는 fail-closed의 습관에서 나온다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급

법마디 OS 무료로 경험하기

본 칼럼은 법마디 OS 기술팀의 관점이며, 특정 제품·기술에 대한 보증이나 법률 자문이 아닙니다.