벤치마크가 놓치는 것: 추론 점수와 실무의 거리
법률 벤치마크 점수가 오르면 실무에서도 잘할까요. 최근 연구는 그 전제를 정면으로 의심합니다. 무엇이 측정되고 무엇이 빠져 있는지, 그리고 대신 무엇을 재야 하는지를 짚습니다.
초록 법률 AI의 발전은 대체로 벤치마크 점수로 이야기됩니다. 그런데 최근 연구들은 그 점수가 측정하는 것이 변호사가 실제로 하는 일과 상당히 다르다는 점을 지적합니다. 시험 문제를 푸는 능력과 사건을 처리하는 능력은 요구되는 성질이 다르며, 후자에는 무엇을 물어야 할지 정하기, 부족한 사실을 확인하기, 확신이 서지 않을 때 멈추기가 포함됩니다. 이 칼럼은 기존 평가가 놓치는 축을 정리하고, 사람이 개입하는 지점을 전제로 설계된 오케스트레이션과 적응형 검색 연구가 그 공백을 어떻게 메우려 하는지를 살펴봅니다.
어떤 시스템이 좋아졌다고 말하려면 무엇을 기준으로 재야 합니다. 법률 AI에서 그 기준은 오랫동안 문제 풀이였습니다. 사법시험 유형의 문항, 조문 적용 과제, 판례 검색 정확도 같은 것들입니다. 이 지표들은 비교 가능하고 재현 가능하다는 큰 장점이 있고, 실제로 초기 발전을 이끌었습니다. 그러나 실무자에게 이 점수를 보여 주면 반응이 미지근한 경우가 많습니다. 점수가 높은 시스템을 실제 업무에 놓았을 때 기대만큼 도움이 되지 않는 경험이 쌓였기 때문입니다. 최근 연구들은 이 괴리를 감이 아니라 문제로 정식화합니다. 법률 추론을 잘하는 것과 변호사 일을 하는 것은 같지 않으며, 지금의 벤치마크는 앞의 것만 재고 있다는 지적입니다. 오늘은 무엇이 빠져 있는지, 그리고 그 공백을 메우려는 설계가 어떤 모습인지 살펴보겠습니다.
핵심 기술 개념
과제 고립형 평가
업무를 잘게 쪼개 각 하위 과제를 독립적으로 채점하는 평가 방식입니다. 비교가 쉽지만, 앞 단계의 선택이 뒤 단계를 제약하는 실제 업무의 인과 구조를 반영하지 못합니다.
사람 개입 지점(human-on-the-loop)
자동화된 처리 흐름 안에서 사람이 확인하고 방향을 바꿀 수 있도록 미리 설계된 지점입니다. 사람이 매 단계를 승인하는 방식과 달리, 위험이 큰 분기에서만 개입하도록 배치합니다.
적응형 검색
질의의 성격에 따라 검색 전략 자체를 바꾸는 방식입니다. 단순 사실 확인과 다단계 추론이 필요한 질문에 같은 검색을 적용하지 않고, 필요한 만큼만 깊이 들어가도록 조정합니다.
기술 심층 분석
1. 문제를 푸는 일과 사건을 맡는 일의 차이
시험 문항은 무엇을 물어야 하는지가 이미 정해진 상태로 주어집니다. 사실관계가 정리되어 있고, 쟁점이 명시되어 있으며, 답의 형식도 고정되어 있습니다. 실무는 그 반대편에서 시작합니다. 의뢰인이 가져오는 이야기에는 법적으로 무의미한 사정이 잔뜩 섞여 있고, 정작 결론을 가르는 사실은 빠져 있는 경우가 많습니다. 변호사가 처음 하는 일은 답을 내는 것이 아니라 무엇을 더 물어야 하는지를 정하는 것입니다. 최근 법률 벤치마크를 재고하자는 연구들이 지적하는 공백이 정확히 이 지점입니다. 지금의 평가는 잘 정돈된 입력에 대한 출력의 정확성만 재고, 입력을 정돈하는 능력은 재지 않습니다. 그런데 실무에서 오류가 생기는 곳은 대체로 후자입니다. 잘못된 질문에 정확히 답하는 시스템은 점수가 높아도 위험합니다.
2. 고립된 과제 점수는 누적 효과를 감춘다
두 번째 공백은 시간축입니다. 평가가 하위 과제를 독립적으로 채점하면, 각 단계의 정답률이 높아도 이어 붙였을 때 결과가 무너지는 상황을 포착하지 못합니다. 법률 업무는 앞 단계가 뒤 단계를 강하게 제약하는 구조입니다. 초기에 잡은 청구원인이 이후 주장과 증거의 범위를 정하고, 첫 서면의 프레임이 심리 전체를 따라다닙니다. 고립 평가에서는 각 단계가 매번 올바른 전제에서 다시 시작하므로 이 제약이 사라집니다. 실제 시스템에서는 앞 단계의 작은 오류가 뒤로 갈수록 증폭되는데, 평가에서는 그 증폭이 관측되지 않습니다. 결과적으로 우리는 단계별로는 훌륭하지만 이어 놓으면 쓸 수 없는 시스템을 만들고도 그 사실을 지표로 알아채지 못하게 됩니다.
3. 멈추는 능력은 왜 측정되지 않는가
세 번째로 빠진 축은 기권입니다. 실무에서 좋은 판단자의 특징 중 하나는 확신이 서지 않을 때 결론을 미루고 확인 절차를 밟는 것입니다. 그런데 대부분의 벤치마크는 모든 문항에 답을 요구하고, 답하지 않으면 오답으로 처리합니다. 이 채점 규칙 아래에서 최적 전략은 확신이 없어도 가장 그럴듯한 답을 내는 것입니다. 즉 평가 방식 자체가 모델에게 무리한 단정을 학습시키는 유인을 줍니다. 법률 도메인에서 이 유인은 특히 해롭습니다. 근거가 불충분할 때 단정하는 답변은 사용자를 회복하기 어려운 선택으로 이끌기 때문입니다. 평가를 다시 설계한다면 기권을 오답과 구분해 채점하는 항목이 필요합니다. 언제 답하지 않았는지, 그리고 그 판단이 옳았는지를 함께 재야 합니다.
4. 사람을 전제로 설계된 흐름
평가의 공백을 메우는 실천적 접근 하나는 애초에 사람이 개입할 지점을 설계에 명시하는 것입니다. 법률 증거개시 영역에서 제안되는 사람 개입 오케스트레이션은 자동 처리와 인간 검토를 대립시키지 않고, 어느 분기에서 사람이 판단해야 하는지를 흐름 안에 배치합니다. 이 관점에서 시스템의 품질은 자동화 비율이 아니라 개입 지점을 얼마나 잘 골랐는지로 평가됩니다. 위험이 낮은 대량 작업은 통과시키고, 결과가 뒤집힐 수 있는 분기에서만 사람을 부르는 설계가 좋은 설계입니다. 이 기준은 벤치마크 점수와 완전히 다른 축이며, 실무 도입 여부를 실제로 좌우하는 것도 이쪽입니다. 어떤 시스템을 쓸지 결정할 때 조직이 정말로 묻는 질문은 얼마나 정확한가가 아니라 언제 나를 부르는가입니다.
5. 검색 전략을 질의에 맞추는 일
같은 문제의식이 검색 계층에도 적용됩니다. 모든 질의에 같은 깊이의 검색을 적용하면 단순한 확인 질문에는 과하고 복잡한 질문에는 부족합니다. 에이전트가 질의의 성격을 판단해 검색 전략을 바꾸는 적응형 구성은 이 불일치를 줄이려는 시도입니다. 구조화된 데이터가 있는 질의는 구조로 좁히고, 개념적 질의는 넓게 훑는 식입니다. 다만 여기에도 평가의 문제가 그대로 따라옵니다. 적응이 잘 되었는지를 재려면 질의 유형별로 나눈 평가 집합이 필요한데, 단일 평균 점수는 그 차이를 지워 버립니다. 결국 어느 계층에서든 결론은 같습니다. 무엇을 재는지가 무엇을 만들지를 정하며, 평균 하나로 뭉뚱그린 지표는 개선의 방향을 알려 주지 않습니다.
기술적 트레이드오프
긴장 관계 실무에 가까운 평가는 현실을 잘 반영하지만 재현하기 어렵고 비용이 큽니다. 반대로 고립된 과제 점수는 값싸고 비교 가능하지만 실제 도움과의 상관이 약합니다. 둘 중 하나만 택하면 각각 다른 방식으로 개선 방향을 왜곡합니다.
실무적 해소 두 지표를 다른 용도로 쓰는 것으로 해소합니다. 고립 점수는 회귀 감시용으로 두어 변경이 기존 능력을 깨뜨리지 않았는지 빠르게 확인하고, 실무형 평가는 도입 판단과 우선순위 결정에만 씁니다. 그리고 어떤 지표를 보든 기권과 오답을 구분해 기록해, 단정하는 방향으로 시스템이 최적화되지 않도록 채점 규칙 자체를 바로잡습니다.
법마디 OS에 적용한다면
법마디의 평가 체계는 지금 두 축으로 되어 있습니다. 하나는 인용 게이트로, 답변에 등장한 조문과 판례가 실재하고 맥락에 맞는지를 전수 검증합니다. 다른 하나는 정기 품질 점검으로, 고정된 시나리오 집합을 돌려 응답이 구조와 근거를 갖추었는지 확인합니다. 오늘의 논의에 비추면 보완할 지점이 분명합니다. 첫째, 기권을 별도로 측정해야 합니다. 근거가 부족할 때 인용 문장이 제거되는 것은 이미 작동하지만, 시스템이 스스로 확인이 필요하다고 말한 경우와 아무 말 없이 얕게 답한 경우가 지표상 구분되지 않습니다. 둘째, 단계 누적을 보는 시나리오가 필요합니다. 지금 시나리오는 대체로 단발 질의라, 대화가 이어지며 앞의 판단이 뒤를 제약하는 상황에서의 일관성은 측정되지 않습니다. 셋째, 사람을 부르는 지점의 적절성입니다. 어떤 질의에서 전문가 연결을 안내했는지를 사후에 검토하면, 자동화의 경계가 제대로 그어져 있는지 확인할 수 있습니다.
기술적 함의
- 평가 방식이 시스템의 성격을 만들며, 모든 문항에 답을 요구하는 채점은 근거가 부족할 때도 단정하는 시스템을 만듭니다.
- 단계별 정답률이 높아도 이어 붙이면 무너질 수 있으므로, 앞 단계가 뒤를 제약하는 누적 시나리오가 평가에 포함되어야 합니다.
- 실무 도입을 좌우하는 질문은 정확도가 아니라 언제 사람을 부르는가이며, 그 개입 지점의 적절성도 측정 대상이 되어야 합니다.
"측정하지 않는 것은 개선되지 않고, 잘못 측정한 것은 잘못된 방향으로 개선됩니다. 법률 AI에서 지금 가장 값싼 개선은 모델을 바꾸는 일이 아니라 무엇을 재고 있는지를 다시 보는 일입니다."
