맡기면 흔들리는 세 자리: 권위·점검·평가자
법에서 어려운 것은 추론이 아니라 어떤 권위가 지금 적용되는가의 판단입니다. 이번 달 논문 세 편이 그 판단을 모델에 맡겼을 때 무엇이 무너지는지를 각각 다른 자리에서 보여 줍니다.
초록 법률 AI의 실패는 대개 '틀린 답' 의 모양으로 논의되지만, 최근 실측은 실패가 그보다 앞선 자리에서 발생한다고 말합니다. 어떤 근거가 지금 이 사건에 적용되는지, 마지막으로 문서를 훑는 일을 맡길 수 있는지, 그리고 그 판단을 채점하는 평가자를 다시 모델에 맡겨도 되는지입니다. 이 글은 2026년 8월에 공개된 세 편의 논문을 이 세 자리에 각각 놓고 읽습니다. 결론은 하나로 모입니다. 흔들리는 것은 모델의 능력이 아니라 판단의 위치이며, 위치를 바꾸는 설계만이 모델을 교체해도 남습니다.
의료 시험을 잘 푸는 모델이 법률 시험도 잘 풀 것이라는 기대에는 숨은 전제가 있습니다. 두 영역에서 '맞다' 가 같은 뜻이라는 전제입니다. Sycophants in the Courtroom(arXiv:2608.21409, 2026-08-10)은 그 전제를 정면으로 부정합니다. 의학에서 주장은 안정적인 생물학적 실재에 근거한 경험적 증거로 뒷받침되는 반면, 법에서 참은 관할과 시간적 유효성, 그리고 권위 있는 출처들 사이의 위계에 따라 정해진다는 것입니다. 저자들은 지식 회상·그라운딩·확신·강건성 네 축으로 법률과 의료를 비교하는 진단 틀을 만들고, 시간적 유효성과 규범 간 관계를 담은 새 벤치마크에 적용했습니다. 결과는 뚜렷한 비대칭이었습니다. 의료 쪽 모델은 검증된 출처에서 안정적으로 이득을 얻는데, 법률 쪽 모델은 검색된 인용이 유용한지 오도하는지를 판정하는 데서 무너졌습니다. 교란된 맥락에서 과신했고, 표면적인 서식 단서에 흔들렸으며, 모델 규모가 커질수록 이 경향이 오히려 증폭됐습니다. 지시를 더 잘 따르는 능력이 권위를 가장한 교란에 더 약해지는 것과 함께 온 것입니다. 저자들의 표현을 빌리면, 모델은 법을 구속력 있는 선례가 아니라 구조 없는 텍스트로 다루고 있었습니다.
핵심 기술 개념
권위의 적용 판단
검색된 조문이나 판례가 지금 이 사건에 적용되는지, 아직 유효한지, 다른 근거와 모순되지 않는지를 가리는 판단입니다. Sycophants in the Courtroom 은 법률에서의 성능이 추론보다 이 판단에 더 크게 좌우된다고 정리하면서, 이 축이 의료와 법률을 가르는 핵심 차이라고 봅니다.
권위 교란 강건성
권위 있어 보이지만 틀린 정보가 주어졌을 때 모델이 얼마나 버티는지를 재는 축입니다. 같은 논문은 외부 참조가 모델의 내부 지식과 충돌할 때 모델이 권위적이지만 거짓인 정보를 과신하는 경향을 보고했고, 규모가 커질수록 그 경향이 커진다고 적었습니다.
최종 점검(scrubbing)
거래 문서를 마지막으로 훑어 정의어 오용, 잘못된 참조, 일관되지 않은 표현 같은 오류를 잡는 일입니다. ContractScrub(arXiv:2608.20204, 2026-08-20)은 이 작업이 반복적이고 고통스러운 정밀 작업이라 자동화에 적합해 보이지만, 정작 형식적인 평가는 한 번도 이루어지지 않았다고 지적하며 첫 벤치마크를 제안합니다.
LLM 평가자(LLM-as-a-Judge)
모델의 답을 다시 모델이 채점하게 하는 방식입니다. ECtHR 연구(arXiv:2608.17168, 2026-08-17)는 이 평가자가 내부적으로는 일관되지만 훈련된 사람 주석자와는 약하게만 정렬한다고 보고하며, 신뢰할 수는 있어도 사람 평가의 타당한 대체물은 아니라고 결론짓습니다.
기술 심층 분석
첫째 자리 — 인용이 유용한지 오도하는지의 판정
법률 RAG의 표준 서사는 '검색으로 환각을 줄인다' 입니다. 그런데 검색이 가져온 것이 지금 사건에 맞는 권위인지는 누가 판정합니까. Sycophants in the Courtroom 이 겨눈 지점이 여기입니다. 논문은 법률에서의 성능이 추론보다 '외부 권위가 적용 가능하고 유효하며 모순되지 않는지를 정하는 일' 에 달려 있다고 보고, 시간적 유효성과 규범 간 관계를 인코딩한 벤치마크로 이를 재려 했습니다. 관찰된 결과는 두 가지였습니다. 하나는 법률 모델이 검색된 인용의 유용성 판정에서 무너진다는 것이고, 다른 하나는 그 무너짐이 표면적 서식 단서에 반응한다는 것입니다. 문서가 권위 있게 '보이면' 내용의 적합성과 무관하게 신뢰가 올라간다는 뜻입니다. 우리 도메인의 언어로 옮기면 이렇습니다. 개정 전 조문이 그럴듯한 형식으로 들어오면, 모델은 그것이 이미 지나간 판이라는 사실을 스스로 판정하지 못합니다. 그래서 이 판정을 모델 밖에 두는 설계가 필요합니다. 법마디에서 인용 검증은 생성된 문장을 국가법령정보센터 원문과 대조하는 결정론적 계층이 맡고, 그 계층은 모델이 무엇이든 같은 답을 냅니다.
둘째 자리 — 가장 자동화하기 좋아 보이는 일이 가장 안 되고 있었다
ContractScrub 은 자동화 후보로 늘 첫손에 꼽히던 작업을 골랐습니다. 계약서 최종 점검은 긴 문서에 대한 장문 맥락 추론, 일관성 확인, 개체명 인식이라는, 프런티어 모델이 잘한다고 알려진 능력들과 자연스럽게 맞아떨어져 보입니다. 논문은 그럼에도 이 작업에 대한 형식적 평가가 존재하지 않았다는 사실을 지적하고, 경험 있는 변호사들이 손으로 만든 계약서에 정의어 오용, 잘못된 참조, 일관되지 않은 표현 같은 오류 범주를 심어 벤치마크를 만들었습니다. 결과는 저자들 표현으로 '놀랄 만큼 나빴습니다'. 프런티어 모델 중 매크로 평균 재현율 0.75에 도달한 것이 하나뿐이었습니다. 인접해 보이는 일반 벤치마크에서의 좋은 성적이 이 작업으로 이전되지 않은 것입니다. 여기서 얻을 교훈은 성능 수치가 아니라 측정의 위치입니다. 일반 능력의 대리 지표를 보고 도메인 작업의 준비도를 추정하면, 준비되지 않은 것을 준비된 것으로 읽게 됩니다. 좁게 겨눈 도메인 벤치마크가 필요한 이유가 그것입니다.
셋째 자리 — 채점자를 모델에 맡기면 무엇이 보이지 않게 되는가
ECtHR 연구는 유럽인권재판소 사건을 시험대로 삼아, 무엇이 법적으로 유의미한 추론인지를 더 또는 덜 시사하는 여러 프롬프트 전략을 두고 최신 상위 모델을 평가했습니다. 평가는 사람과 LLM 양쪽으로 했습니다. 세 가지가 관찰됐습니다. 첫째, 모델의 법적 추론은 이상적인 수준과 거리가 멀었습니다. 둘째, 산출물은 구조적으로는 완결돼 있으나 내용에서는 얕았습니다. 셋째, LLM 평가자는 내부적으로 일관되지만 훈련된 주석자와는 약하게만 정렬했습니다. 저자들이 특히 강조한 것은 전문가가 다듬은 프롬프트가 더 포괄적인 추론을 이끌어 냈음에도 예측 정확도는 다른 설정보다 나아지지 않았다는 점입니다. 그래서 논문은 두 가지를 권고합니다. 자동화된 LLM 기반 평가에만 의존하지 말 것, 그리고 과제 정확도를 추론 품질의 적절한 대리 지표로 쓰지 말 것. 이 권고는 우리에게 직접적입니다. 검증기의 판정을 다시 모델에게 맡기면, 그 판정은 그럴듯하게 일관되면서 사람이 보는 기준과는 조금씩 어긋난 채로 굳습니다. 어긋남은 지표에 드러나지 않습니다.
세 편이 같은 방향을 가리키는 이유 — 확률적인 것과 결정론적인 것의 경계
세 논문은 서로 다른 자리를 재지만 같은 구조를 드러냅니다. 모델이 잘하는 일과 모델에 맡겨도 되는 일은 다르다는 것입니다. 읽기와 추출, 분류처럼 표현의 다양성을 흡수해야 하는 일은 확률적 계층이 잘합니다. 반면 '이 권위가 지금 유효한가', '이 인용이 원문과 같은가', '이 판정이 어제와 같은 규칙으로 내려졌는가' 는 같은 입력에 같은 답이 나와야 하는 일이고, 그것은 결정론적 계층의 몫입니다. 경계를 흐리면 두 가지 비용이 함께 옵니다. 하나는 Sycophants in the Courtroom 이 보여 준 취약성입니다. 권위를 가장한 입력이 판정을 밀어냅니다. 다른 하나는 ECtHR 연구가 보여 준 불투명성입니다. 판정과 채점이 같은 종류의 기계로 이루어지면 틀렸다는 사실 자체가 관측되지 않습니다. ContractScrub 은 그 사이에서 세 번째 비용을 덧붙입니다. 인접 능력에서의 좋은 성적이 도메인 준비도를 말해 주지 않으므로, 경계를 어디에 그을지는 각 작업마다 직접 재야 한다는 것입니다.
우리 결정과의 대조 — 어제 우리는 검증기에 모델을 붙이지 않기로 했다
법마디는 2026-08-26 에 인용 검증기에 LLM 을 붙이지 않는다는 결정을 확정했습니다. 이유는 두 가지였습니다. 재현성과 환각입니다. 같은 인용에 대해 어제와 오늘 다른 판정이 나오면 그 판정은 검증이 아니고, 검증기가 스스로 근거를 지어내면 검증기는 문제의 일부가 됩니다. 이번 세 논문은 그 결정의 근거를 밖에서 다시 확인해 줍니다. ECtHR 연구는 모델 평가자가 사람 기준과 약하게만 정렬한다고 보고했고, Sycophants in the Courtroom 은 권위 있어 보이는 교란에 모델이 흔들리며 규모가 커질수록 그 경향이 커진다고 보고했습니다. 검증기가 해야 하는 일이 정확히 '권위가 적용되는지 판정하는 일' 이므로, 두 결과는 그 자리를 모델에 맡기지 말라는 같은 권고로 읽힙니다. 다만 이 대조에서 우리가 주장할 수 있는 것은 설계 방향뿐입니다. 우리 검증기의 판정 품질을 이 논문들의 벤치마크로 잰 것은 아니며, 그것은 아직 하지 않은 일입니다.
기술적 트레이드오프
긴장 관계 결정론적 계층은 재현 가능하지만 표현의 다양성에 약합니다. 사람의 문장은 조문 이름을 줄여 쓰고 항·호를 생략하며 대명사로 가리키는데, 규칙 기반 대조는 그 변형을 흡수하지 못해 실제로 존재하는 인용을 미확인으로 떨굽니다. 반대로 모델에게 판정을 맡기면 변형은 잘 흡수하지만 판정이 흔들리고, 흔들림은 지표에 잘 드러나지 않습니다.
실무적 해소 층을 나눕니다. 표현을 정규화하는 일은 확률적 계층이 맡되 그 산출물은 검색 질의와 후보 생성에만 쓰고, 최종 판정은 원문 대조라는 결정론적 계층이 내립니다. 정규화가 실패하면 답을 지어내는 대신 미확인으로 떨어뜨리고, 어떤 축에서 떨어졌는지를 기록에 남깁니다. 그러면 취약한 자리는 판정이 아니라 정규화가 되고, 정규화의 결손은 세어서 고칠 수 있는 문제가 됩니다.
법마디 OS에 적용한다면
법마디에 옮기면 세 가지 작업이 나옵니다. 첫째, 이미 도는 것을 정확히 말합니다. 생성된 답변의 법령 인용을 국가법령정보센터 원문과 대조해 확인되지 않은 인용을 차단하는 계층은 지금 운영 중이고, 이 계층은 모델을 교체해도 남습니다. 검증기에 LLM 을 붙이지 않기로 한 어제의 결정도 같은 계층에 관한 것입니다. 둘째, 아직 아닌 것을 아니라고 적습니다. 권위 교란에 대한 강건성, 즉 그럴듯한 형식을 갖춘 틀린 근거가 들어왔을 때 우리 파이프라인이 어떻게 반응하는지는 아직 별도 지표로 재고 있지 않습니다. Sycophants in the Courtroom 이 만든 축과 같은 형태의 회귀 셋을 우리 코퍼스로 만드는 일이 다음 후보입니다. 셋째, 측정의 자리를 사람 쪽에 남깁니다. 검증기의 판정 품질을 모델 평가자에게 맡기지 않고, 표본을 사람이 직접 읽는 절차를 유지합니다. 느리지만, ECtHR 연구가 보고한 '내부적으로 일관되지만 사람과는 어긋나는' 상태로 굳는 것보다 낫습니다. 세 작업의 방향은 하나로 모입니다. 품질의 책임을 모델이 아니라 교체해도 남는 계층에 두는 것입니다.
기술적 함의
- 도메인 작업의 준비도는 인접 벤치마크 성적으로 추정하지 않는다. ContractScrub 이 보여 준 것처럼 잘할 것 같은 작업일수록 직접 재야 하고, 재지 않은 것은 '아직 모르는 것' 으로 적는다.
- 검증 계층의 판정과 그 판정의 채점을 같은 종류의 기계에 두지 않는다. ECtHR 연구의 권고대로 자동 평가만으로 결론을 내리지 않고, 과제 정확도를 추론 품질의 대리 지표로 삼지 않는다.
- 권위의 유효성 판정은 모델 밖에 둔다. 개정·폐지·시행일 같은 시간 축은 원문 조회로 확인하고, 확인되지 않으면 문장을 내보내는 대신 막는다.
"맡길 수 있는 일과 맡겨도 되는 일은 다릅니다. 그 둘을 가르는 선을 코드로 그어 두면, 모델이 바뀌어도 선은 그 자리에 남습니다."
