합의는 환상인가 — 멀티에이전트 협의의 숨은 앵커
멀티에이전트 LLM 협의를 폐루프 동역학계로 모델링해, 각 에이전트의 숨은 사전신념(앵커)이 토론 결과를 지배하는지 실증 진단한 연구를 해설합니다.
초록 여러 LLM 에이전트가 토론해 결론을 모으는 멀티에이전트 협의는 보통 '이웃 의견에 수렴하는' 고전 합의 모델로 이해돼 왔습니다. 최근 arXiv에 공개된 Hidden Anchors in Multi-Agent LLM Deliberation은 이 그림을 뒤집습니다. 각 에이전트는 사전학습이 심어 둔 숨은 내부 신념(앵커)을 품고 있으며, 토론 내내 이 앵커가 의견을 자기 쪽으로 끌어당긴다는 것입니다. 저자들은 앵커 항을 포함한 폐루프 동역학 모델을 세우고, 관측된 의견 궤적에 시스템 식별을 적용해 앵커의 실재를 검증하는 절차를 제안했습니다. 법률 AI의 협의 설계에 직접적인 함의가 있는 결과입니다.
에이전트 세 개가 다섯 라운드 동안 토론을 하고 나면, 그 결론은 토론의 산물일까요, 아니면 각 모델이 처음부터 품고 있던 신념의 재확인일까요. 이 질문은 법률 AI에서 특히 무겁습니다. 복수의 전문가 에이전트가 협의해 쟁점을 정리하는 구조라면, 협의가 실제로 정보를 교환하는지 아니면 각자의 사전신념을 재생하는지에 따라 그 협의의 신뢰 가치가 달라지기 때문입니다. 이번 논문은 이 질문을 수사학이 아니라 동역학계 식별 문제로 바꿔 놓았습니다. 에이전트의 의견 변화를 이웃 의견으로의 끌림(합의 항)과 숨은 앵커로의 끌림(앵커 항)의 합으로 모델링하고, 어느 항이 궤적을 지배하는지를 데이터로 판별합니다. 고전 합의 이론이 금지하는 현상 — 토론 후 확신이 초기 의견들의 범위 밖으로 '탈출'하는 현상 — 이 실제로 관측된다는 것이 출발점입니다.
핵심 기술 개념
숨은 앵커(hidden anchor)
에이전트가 명시적으로 발화한 초기 의견과 별개로, 사전학습이 형성해 둔 잠재적 사전신념입니다. 관측되지 않지만 앵커 게인 계수를 통해 토론 내내 에이전트의 의견을 자기 쪽으로 끌어당깁니다.
볼록포(convex hull) 탈출
고전 개루프 합의 모델에서 최종 의견은 초기 의견들의 볼록 결합 안에 갇혀야 합니다. 토론 후 확신도가 초기 최대값을 넘어서는 관측은 이 제약을 깨며, 외부에서 끌어당기는 앵커의 존재를 시사합니다.
시스템 식별(system identification)
관측된 입출력 궤적으로부터 동역학계의 파라미터를 역추정하는 제어이론 기법입니다. 논문은 의견 확률 궤적에 최소제곱 적합을 적용해 합의 계수와 앵커 게인·앵커 위치를 복원합니다.
기술 심층 분석
개루프 합의 모델은 왜 협의를 설명하지 못하는가
고전 합의 이론(DeGroot 류)은 각 에이전트가 이웃 의견의 가중 평균으로 다가간다고 가정합니다. 이 가정의 수학적 귀결은 명확합니다 — 최종 의견은 반드시 초기 의견들의 볼록포 안에 머물러야 하며, 누구도 처음보다 더 확신할 수 없습니다. 그런데 저자들이 42개 질병 분류의 증상-진단 과제에서 3개 에이전트를 5라운드 토론시킨 결과, 정답 클래스 확률이 초기 최대값을 넘어 볼록포를 탈출하는 궤적이 반복 관측됐습니다. 특히 한 모델 계열에서는 유의미한 여유폭(0.10) 기준으로 전체 실행의 77%가 탈출했습니다. 이는 토론 참여자들 사이의 의견 교환만으로는 설명될 수 없고, 관측되지 않는 외부 인력원이 계 안에 있음을 뜻합니다. 논문의 답이 바로 사전학습이 심어 둔 숨은 앵커입니다.
앵커 항이 포함된 폐루프 모델과 검증 절차
제안 모델에서 에이전트 i의 의견 변화 Δx_i는 두 힘의 합입니다. 이웃과의 차이를 줄이는 합의 항(계수 α)과, 현재 의견을 숨은 앵커 b_i 쪽으로 되돌리는 앵커 항(게인 β_i)입니다. 저자들은 Llama-3.1-70B, Qwen3-32B, gpt-oss-20b 세 오픈웨이트 모델로 10개 질병 × 3개 시드 = 90개 토론 궤적을 수집하고, 최소제곱 시스템 식별로 파라미터를 복원했습니다. 방법론의 핵심은 적합도 자랑이 아니라 검증 설계에 있습니다. 시드 하나를 빼고 학습해 남긴 시드로 예측하는 leave-one-seed-out 홀드아웃으로, 복원된 앵커가 새로운 토론에도 이전(transfer)되는지를 확인합니다. 인샘플 적합도만 보면 세 모델 모두 그럴듯해 보이지만, 홀드아웃 결정계수는 모델별로 극적으로 갈립니다 — 이 갈림이 논문의 실증적 기여입니다.
실증 결과 — 앵커가 '증명'된 모델은 하나뿐이다
Llama 계열은 인샘플 결정계수 0.86, 홀드아웃 0.44로 앵커 모델이 새 시드에도 이전됨을 보였고, 모델 선택 절차에서 80%가 앵커 포함 모델을 택했습니다. 복원된 앵커의 기하도 일관됩니다 — 앵커가 초기 의견 대역보다 0.33 바깥에 위치해, 토론을 밖으로 끌어내는 인력원 역할을 실제로 수행합니다. 반면 Qwen은 홀드아웃 결정계수 0.08로 잡음 경계에 걸쳐 있고, gpt-oss는 음수(−0.94)로 선형 베이스라인보다 못해 앵커 가설이 기각됩니다. 흥미로운 직교성도 보고됩니다. 앵커 역학이 가장 뚜렷한 Llama가 진단 정답률에서는 세 모델 중 가장 낮았습니다. 즉 풍부한 앵커 역학은 과제 성능과 별개의 축이며, '토론이 활발해 보인다'는 것과 '결론이 옳다'는 것은 다른 문제라는 뜻입니다.
저자들이 스스로 밝힌 한계 — 진단 도구이지 만능 열쇠가 아니다
이 논문의 미덕은 한계의 정직한 계량화입니다. 첫째, 앵커의 이전성이 인증된 것은 세 모델 중 Llama 하나뿐이며, 나머지는 잡음 수준이거나 기각됩니다. 둘째, 식별 가능성이 약합니다 — 곱 β_i·b_i는 식별되지만 개별 분리는 시드 여러 개를 모아야 가능하고, 실행 단위 신뢰구간은 46~87%가 0을 포함할 만큼 넓습니다. 모든 주장은 모집단 수준의 집계 위에 서 있습니다. 셋째, 앵커는 내부 표현에서 읽어낸 것이 아니라 출력 궤적에 적합된 잠재변수라, 이를 '내부 신념'으로 해석하는 것은 여전히 해석의 영역입니다. 넷째, 볼록포 탈출 판정은 허용오차 선택에 민감하며, 여유폭을 무시하면 세 모델 모두 75% 수준으로 탈출합니다. 다섯째, 단일 영어 진단 과제·에이전트 3개·5라운드 라는 좁은 설정이라 일반화 근거는 제한적입니다.
기술적 트레이드오프
긴장 관계 앵커 게인이 크면 에이전트가 다수 의견에 쉽게 휩쓸리지 않아 집단사고를 억제하지만, 같은 이유로 잘못된 사전신념이 토론으로 교정되지 않고 고착됩니다. 반대로 앵커가 약하면 정보 교환에는 열려 있지만 협의 전체가 초기 발화의 우연에 좌우됩니다.
실무적 해소 논문의 실용적 해법은 '측정 먼저'입니다. 홀드아웃 시스템 식별로 지금 쓰는 모델 조합의 앵커 강도를 계량한 뒤, 협의를 신뢰할 영역과 외부 검증에 맡길 영역을 나누는 것입니다. 앵커 역학과 과제 정답률이 직교한다는 관측이 말해 주듯, 협의의 활발함을 품질 신호로 오독하지 않는 것이 설계의 출발점입니다.
법마디 OS에 적용한다면
법마디 OS는 복수 리더가 협의 턴을 주고받는 가상 회의(deliberation)를 답변 앞에 배치합니다. 이 논문의 렌즈로 보면, 협의 턴이 실제 상호 반응인지 각 리더 페르소나의 앵커 재생인지가 품질 계측의 대상이 됩니다. 법마디는 이미 후행 턴이 선행 턴의 실제 발언을 참조하도록 하이브리드 체이닝을 배선해 정보 교환의 실재를 구조적으로 강제하고 있고, 무엇보다 협의·답변 어느 쪽도 최종 권위가 아닙니다 — 모든 법령·판례 인용은 협의 결과와 무관하게 DRF 실시간 검증과 fail-closed 게이트를 통과해야 사용자에게 도달합니다. 앵커 편향이 존재하더라도 그것이 미검증 인용으로 새어 나갈 통로가 차단돼 있다는 뜻입니다. 남는 과제는 계측입니다. 협의 로그의 의견 궤적에 이 논문의 홀드아웃 식별 절차를 적용하면, 리더 조합별 앵커 강도를 정량화해 '협의가 가치를 더하는 질의 유형'과 '단일 리더로 충분한 유형'을 데이터로 구분할 수 있습니다. 검증 계층이 정확성을 지키는 동안, 협의 계층의 역학을 투명하게 만드는 것이 다음 단계입니다.
기술적 함의
- 멀티에이전트 협의의 결론은 정보 교환의 산물이 아니라 특정 모델의 사전신념 재생일 수 있으므로, 협의 구조를 도입할 때는 앵커 지배 여부를 먼저 진단해야 합니다.
- 토론 라운드를 늘리는 것이 항상 결론을 개선하지 않습니다 — 앵커가 지배하는 계에서는 라운드 증가가 같은 인력원으로의 수렴을 반복할 뿐입니다.
- 협의 품질 계측은 인샘플 적합이 아니라 홀드아웃 이전성으로 판정해야 하며, 이는 법률 AI 협의 로그에도 그대로 적용 가능한 절차입니다.
"합의처럼 보이는 것이 언제나 합의는 아닙니다. 측정할 수 없는 협의는 신뢰할 수 없고, 측정된 협의만이 설계의 대상이 됩니다. 법률 AI의 다음 신뢰 경쟁은 토론을 몇 명이 하느냐가 아니라, 그 토론의 역학을 누가 계량하고 있느냐에서 갈릴 것입니다."
