다시 학습하면 다른 모델이 나온다: 재현성의 한계와 법률 AI 의 확인 습관
Nature Machine Intelligence 논문이 딥러닝 학습 결과의 재현 불가능성 원인으로 제안한 수수께끼 분지 기하학을 정리하고, 모델이 바뀔 때 법률 AI 의 답을 어떻게 다시 확인할지 가설로 살펴봅니다.
초록 Nature Machine Intelligence 에 2026년 11월 5일 실린 Andrew Ly·Pulin Gong 의 논문은 딥러닝 학습 결과가 외부의 무작위성을 통제해도 예측하고 재현하기 어려운 이유로 '수수께끼 분지 기하학(riddled basin geometry)'을 제안했습니다. 한 해로 가는 초기값 바로 옆에 다른 해로 가는 초기값이 얼마든지 가까이 있다는 구조로, 단순한 신경망 모델에서는 이를 해석적으로 보이고 0에 가까운 불확실성 지수를 유도했으며, 깊은 신경망에서는 시험한 구조·최적화기·학습 절차 전반에서 이와 일치하는 징후를 관찰했다고 밝혔습니다. 저자들은 이를 재현 불가능성의 '후보' 원리로 제시합니다. 본 칼럼은 이 연구가 다룬 것이 모델을 학습하는 과정의 재현성이라는 점을 분명히 한 뒤, 모델이 바뀔 수 있는 환경에서 법률 AI 의 답을 어떻게 다시 확인할지를 필자의 가설로 살펴봅니다.
같은 데이터와 같은 절차로 모델을 다시 학습하면 같은 모델이 나올까요. 논문은 외부의 무작위성을 통제해도 학습 결과를 예측하고 재현하기 어려울 수 있다고 보고, 가까운 초기값이 서로 다른 학습 결과로 이어질 수 있는 수수께끼 분지 기하학을 후보 원리로 제안합니다. 이 질문은 모델을 만드는 쪽의 문제처럼 보이지만, 모델을 가져다 쓰는 쪽에도 닿습니다. 쓰는 모델이 바뀌면 같은 질문에 대한 답도 달라질 수 있기 때문입니다. 다만 이 논문은 답변을 생성할 때의 무작위 표집을 다룬 것이 아니므로, 그 둘을 섞어 읽지 않는 것이 이 글의 전제입니다.
핵심 개념 정의
수수께끼 분지 기하학 (Riddled Basin Geometry)
학습이 도달하는 해마다 그 해로 가는 초기값의 영역(분지)이 서로 얽혀, 어떤 초기값 바로 옆에도 다른 해로 가는 초기값이 있는 구조를 말합니다. 논문은 이것이 아주 미세한 차이가 다른 학습 결과로 이어지는 이유를 설명하는 기제라고 제안합니다.
불확실성 지수 (Uncertainty Exponent)
초기값의 정밀도를 높일 때 결과 예측이 얼마나 나아지는지를 나타내는 값입니다. 논문은 이 값이 0에 가까워, 초기값 정밀도를 크게 높여도 결과의 예측 가능성은 조금밖에 나아지지 않는다고 보았습니다.
외생적 무작위성 (Extrinsic Randomness)
무작위 초기화, 미니배치 순서, 데이터 증강, 연산 장치(GPU)의 수치 오차처럼 학습 바깥에서 들어오는 무작위 요소를 말합니다. 논문은 이것을 모두 통제해도 남는 예측 불가능성을 다룹니다.
전략적 관점
논문이 보인 것과 보이지 않은 것
논문은 단순한 신경망 모델에서 수수께끼 분지가 생기는 경로를 해석적으로 보이고, 0에 가까운 불확실성 지수를 유도했습니다. 깊은 신경망에서는 서로 얽힌 학습 도착점과 0에 가까운 지수를 시험한 구조·최적화기·학습 절차 전반에서 관찰했고, 이를 이 기제와 '일치하는' 징후라고 표현했습니다. 학습된 함수 자체에 대한 불확실성 지수도 새로 제안했습니다. 다시 말해 단순 모델에서는 증명을, 깊은 신경망에서는 일관된 관찰을 제시했고, 저자들 스스로 이를 재현 불가능성의 후보 원리라고 불렀습니다. 모든 딥러닝 모델에 대해 수학적으로 증명된 결론으로 옮겨 적어서는 안 됩니다. 논문의 결론은 학습 과정의 예측 가능성에 관한 것이고, 그 결과가 실제 서비스의 답변 품질에 얼마나 영향을 주는지는 이 논문이 잰 범위 밖입니다.
학습의 재현성과 답변의 흔들림은 다른 문제
이 연구가 다루는 것은 같은 절차로 학습했을 때 같은 모델이 나오는지입니다. 이미 학습된 모델이 답을 만들 때 표집 방식에 따라 답이 달라지는 문제와는 층위가 다릅니다. 법률 AI 를 쓰는 사람에게 이 논문이 직접 말해 주는 것은, 모델을 다시 학습하거나 바꾸면 같은 질문에도 다른 결과가 나올 수 있다는 가능성입니다. 질문 하나에 대한 답이 매번 흔들리는 이유를 이 논문으로 설명하려 하면 원문의 범위를 넘게 됩니다. 두 문제를 구분해 두면, 모델 교체 때 무엇을 다시 재야 하는지와 질문마다 답이 흔들리는 문제를 어떻게 줄일지를 따로 설계할 수 있습니다. 앞의 것은 모델을 바꾸는 시점의 문제이고, 뒤의 것은 같은 모델을 쓰는 매 순간의 문제입니다.
법률 AI 에 옮겨 보면 — 필자의 가설
논문은 법률을 다루지 않으므로 여기서부터는 가설입니다. 같은 절차로 다시 학습해도 다른 모델이 나올 수 있다면, 법률 AI 역시 모델 교체나 재학습 전후에 같은 질문에 늘 같은 답이 나온다고 보장하기는 어렵습니다. 대신 답이 나올 때마다 인용한 조문과 판례를 원문과 다시 대조하고, 어떤 모델 버전이 그 답을 냈는지 기록하며, 모델이 바뀔 때는 정해 둔 질문 묶음으로 결론과 인용이 달라지는지를 재는 방식이 더 현실적일 수 있습니다. 이 방식이 실제로 오류를 줄이는지는 측정해 봐야 합니다. 논문이 깊은 신경망에서 '일치하는 징후'를 관찰한 단계라는 점을 생각하면, 법률 AI 쪽의 대응도 증명된 사실이 아니라 대비책으로 다루는 편이 정확합니다. 어떤 대비가 실제로 쓸모 있는지는 모델이 바뀐 시점 앞뒤의 답을 비교해 봐야 알 수 있습니다.
법마디 OS 가 확인하는 범위
법마디 OS 는 모델을 직접 학습하지 않고 관리형 API 로 범용 언어 모델을 씁니다. 60개 분야 AI 리더와 CSO 서연이 주재하는 리더 협의 구조를 운영하고, 답변 속 조문·판례 인용은 국가법령정보센터(law.go.kr) 원문과 대조해 확인되지 않은 인용은 내보내지 않도록 설계했습니다. 이 대조는 조문과 판례가 실재하고 문구가 맞는지를 확인할 뿐, 그 법리를 사실관계에 어떻게 적용할지나 답변 전체가 옳은지까지 보증하지 않습니다. 모델을 직접 학습하지 않으므로 이 논문이 다룬 학습 과정의 재현성을 법마디가 통제할 수는 없습니다. 법마디가 다룰 수 있는 것은 모델이 낸 답 쪽이고, 그중에서도 인용이 원문과 맞는지를 확인하는 범위입니다. 그 밖의 판단은 이용자와 전문가의 몫으로 남습니다.
반론과 재반박
예상 반론 학습의 재현성은 모델을 만드는 회사의 문제이고, 완성된 모델을 API 로 쓰는 서비스와는 관계가 없다는 반론이 있습니다.
재반박 학습을 직접 하지 않는 쪽이 이 논문의 기제를 다룰 수 없다는 점은 맞습니다. 다만 쓰는 모델이 바뀌면 같은 질문에 다른 결론이 나올 수 있다는 점은 API 를 쓰는 쪽도 겪는 일입니다. 그래서 학습 과정을 통제할 수 없는 쪽일수록 모델이 아니라 답을 기준으로, 인용과 결론을 원문과 다시 맞춰 보는 절차가 필요하다는 것이 이 칼럼의 가설입니다.
이 주장이 틀리는 조건
반증 조건 다른 연구에서 이 논문이 제안한 기제가 재현되지 않거나, 외생적 무작위성을 통제한 학습의 결과가 충분히 예측 가능하다는 결과가 쌓이면 이 글의 출발점은 약해집니다. 또 모델 버전이 바뀌어도 정해 둔 법률 질문 묶음에서 결론과 인용이 거의 달라지지 않는다는 측정이 꾸준히 나온다면, 답마다 원문을 다시 대조하는 절차의 추가 비용은 다시 따져야 합니다. 그 측정은 질문의 난도와 분야를 고르게 섞은 묶음으로 해야 의미가 있습니다.
법마디 OS가 그리는 미래
법마디 OS 가 지금 말할 수 있는 것은 답변 속 인용을 원문과 대조하는 설계까지입니다. 모델이 바뀔 때 결론이 얼마나 달라지는지는 실제로 재 본 뒤에 말해야 한다고 봅니다. 그래서 먼저 할 일은 약속이 아니라 측정입니다. 분야와 난도를 고르게 섞은 질문 묶음을 정해 두고, 쓰는 모델이 바뀔 때마다 결론과 인용이 어떻게 달라지는지를 기록해 보는 것입니다. 그 기록이 쌓인 뒤에야 이 칼럼의 가설이 맞는지 말할 수 있습니다. 측정 결과가 나오면 무엇이 달라졌고 무엇은 그대로였는지를 숨기지 않고 함께 밝히는 것이 이용자가 도구를 판단하는 데 필요한 정보라고 봅니다.
전략적 함의
- 논문은 딥러닝 학습 결과의 재현 불가능성에 대해 수수께끼 분지 기하학을 후보 원리로 제안했다. 깊은 신경망에서는 일치하는 징후를 관찰한 단계다.
- 학습의 재현성과 답변 생성의 무작위성은 층위가 다르다. 이 논문으로 답변의 흔들림을 설명하면 원문 범위를 넘는다.
- 모델이 바뀔 수 있는 환경에서는 답마다 인용을 원문과 다시 대조하고 모델 버전을 기록하는 방안을 시험해 볼 만하다. 아직은 가설이다.
"모델 교체나 재학습 전후에도 같은 답이 나온다고 가정하기보다, 답변의 근거를 원문과 대조하는 방안을 시험해 볼 수 있습니다."
