상한을 재는 시험, 하한에서 열리는 시장
법률 AI 벤치마크는 전문가가 다듬은 입력 위에서 성능의 상한을 잰다. 그러나 변호사 없이 오는 사람이 만드는 하한이야말로 시장이 비어 있는 구간이며, 검색을 붙일수록 그 구간의 위험은 커진다.
초록 법률 AI의 성능 경쟁은 전문가가 쟁점을 정리해 넘긴 입력 위에서 측정되어 왔다. 최근 연구는 이런 설계가 모델 성능의 상한만을 재며, 접근성 주장은 오히려 하한 — 정리되지 않은 서술, 묻힌 사실, 누락, 오탈자를 담은 본인소송 당사자의 입력 — 에서 검증되어야 한다고 지적한다. 이 칼럼은 상한과 하한의 간극을 시장 구조의 문제로 읽는다. 상한은 이미 여러 사업자가 붐비는 포화 구간이고, 하한은 측정조차 되지 않아 비어 있는 구간이다. 그리고 검색 증강이 답변 가능성을 높이는 대신 되묻는 행동을 줄인다는 관찰은, 하한을 방치한 채 성능만 올리는 경로가 왜 위험한지를 보여 준다. 결론은 하나다. 하한을 제품 사양으로 명시하는 조직이 다음 구간을 가져간다.
법률 AI의 성능표를 읽을 때 우리가 잘 보지 않는 것이 있다. 그 점수가 어떤 입력 위에서 나왔는가 하는 점이다. 대부분의 법률 벤치마크는 쟁점이 이미 특정되고 사실관계가 정리된 문제를 모델에게 준다. 그런데 그렇게 정리하는 작업 자체가 법률 전문가가 하는 일이다. 즉 우리는 전문가가 절반을 끝내 놓은 상태에서 나머지 절반을 얼마나 잘하는지를 재고, 그 점수로 '변호사를 구하지 못하는 사람에게 도움이 된다'고 말해 왔다. 최근 발표된 한 연구는 이 논증의 이음매를 정확히 지적한다. 접근성은 상한이 아니라 하한의 문제이며, 하한은 전문가의 손을 거치지 않은 입력에서만 드러난다는 것이다. 이 지적은 학술적 겸손의 표현으로 읽히기 쉽지만, 전략의 언어로 옮기면 훨씬 날카로운 문장이 된다. 모두가 같은 구간에서 경쟁하고 있고, 정작 시장이 비어 있는 구간은 아무도 재지 않는다.
핵심 개념 정의
성능의 상한과 하한
상한은 입력이 전문가에 의해 정리된 조건에서 측정된 성능이고, 하한은 정리되지 않은 실제 이용자의 입력에서 나타나는 성능입니다. 두 값의 간극은 모델의 능력 차이가 아니라 입력 조건의 차이에서 생기며, 접근성 주장은 하한에서만 경험적으로 검증됩니다.
본인소송 입력
변호사를 선임하지 않은 당사자가 스스로 작성한 서술을 말합니다. 시간 순서가 뒤섞인 이야기, 결정적 사실의 누락, 법에 대한 통념, 표기 오류가 함께 섞여 들어오며, 이런 조건은 일반 기계학습 문헌에서 성능 저하가 알려진 조건과 겹칩니다.
인식과 행동의 괴리
모델이 질문의 모호함을 판별하라고 하면 판별해 내지만, 실제 응답 상황에서는 되묻지 않고 곧바로 답해 버리는 현상입니다. 능력의 부재가 아니라 기본 행동의 문제라는 점에서, 해결의 책임이 모델 성능이 아니라 제품 설계 쪽에 놓입니다.
전략적 관점
우리는 상한을 재고 하한을 약속해 왔다
법률 벤치마크의 표준 형식은 쟁점이 명시된 문제와 정리된 사실관계를 모델에 제시하는 것이다. 이 설계에는 정당한 이유가 있다. 비교 가능성을 확보하려면 입력이 통제되어야 하기 때문이다. 그러나 통제된 입력은 곧 전문가가 이미 수행한 전처리를 뜻하고, 그 위에서 측정된 값은 조건이 가장 좋을 때의 성능, 곧 상한이다. 문제는 그 상한을 근거로 접근성을 이야기해 왔다는 데 있다. 변호사를 구하지 못하는 사람에게 전처리를 해 줄 사람은 없다. 그 사람이 가져오는 것은 정리된 쟁점이 아니라 겪은 일이다. 시간 순서가 섞이고, 정작 결정적인 사실이 문장 한가운데 묻혀 있으며, 법에 대한 통념이 사실 서술과 구분되지 않은 채 들어온다. 최근 연구는 기존 벤치마크의 문항에 이런 성질의 교란을 넣어 두 조건의 간극을 보여 주었다. 여기서 중요한 것은 특정 점수가 얼마나 떨어졌는가가 아니라, 그 간극이 지금까지 아무 지표에도 나타나지 않았다는 사실이다. 측정되지 않는 성질은 개선되지 않고, 개선되지 않는 성질은 경쟁의 대상이 되지 않는다.
검색을 붙일수록 되묻지 않는다
하한의 문제를 자료 부족으로 이해하면 처방은 간단해진다. 검색을 붙이면 된다. 그러나 최근의 한 관찰은 그 처방이 정확히 반대 방향의 부작용을 낳을 수 있음을 보여 준다. 모델에게 이 질문이 모호한지 판별하라고 요구하면 모델은 대체로 모호함을 알아본다. 그런데 실제 응답 상황에서는 되묻는 대신 곧바로 하나의 해석을 골라 답해 버린다. 인식은 있는데 행동이 따라오지 않는 것이다. 더 눈여겨볼 대목은 검색된 맥락이 주어질 때 이 격차가 더 벌어진다는 관찰이다. 답할 수 있게 되는 만큼 되묻을 이유가 줄어들기 때문이다. 법률 영역에서 이 성질은 특히 위험하다. 임대차인지 명도인지, 계약 해제인지 해지인지, 기간의 기산점이 언제인지에 따라 답이 갈리는데, 이용자는 자신이 무엇을 빠뜨렸는지 모르기 때문에 되묻지 않으면 그 사실은 영원히 등장하지 않는다. 그리고 잘 검색된 근거가 붙은 답변은 이용자에게 더 확신을 준다. 하한을 방치한 채 검색 품질만 올리면, 틀린 전제 위에 세워진 답변이 더 설득력 있게 전달되는 결과에 도달한다.
공공이 먼저 들어온 구간에서 무엇이 남는가
이 구간은 비어 있지만 아무도 손대지 않은 것은 아니다. 스탠퍼드 HAI가 소개한 사례에서 연구진은 로스앤젤레스 관할 법원과 함께 무변론 판결을 자동으로 검토해 법적 오류를 걸러내는 도구와, 당사자의 사정에 맞는 지원 창구로 연결하는 분류 도구를 만들었다. 여기서 연구자가 덧붙인 단서가 중요하다. 접근성을 넓힐 잠재력이 크지만 환각과 편향의 위험이 저소득층에게 더 무겁게 돌아가므로, 법원이 직접 관리하는 방식이 바람직하다는 것이다. 이 판단은 민간 사업자에게 나쁜 소식처럼 들리지만 실제로는 시장의 경계선을 그려 준다. 판결의 적법성 심사처럼 사법 작용에 직접 닿는 구간은 공공이 맡는 것이 옳고, 민간이 정당하게 설 자리는 그 앞단이다. 사람이 아직 법원에 가기 전, 자신에게 무슨 일이 일어났는지를 언어로 정리하지 못한 구간이다. 이 앞단은 공공이 감당하기 어려운 규모와 다양성을 갖고 있고, 동시에 오류의 즉시적 파급이 상대적으로 작아 반복 개선이 가능하다.
하한을 사양으로 적는다는 것
하한을 겨냥한다는 말은 쉬운 질문에 답한다는 뜻이 아니다. 오히려 사양이 늘어난다. 첫째, 되묻기가 기본 동작이어야 한다. 답변 가능성이 높아졌다는 이유로 되묻기를 생략하지 않도록, 무엇이 확정되지 않으면 답을 미룰지를 시스템이 명시적으로 갖고 있어야 한다. 둘째, 이용자가 말하지 않은 것을 탐지해야 한다. 계약서를 썼는지, 언제 통보를 받았는지처럼 결론을 가르는 사실이 서술에 없을 때, 그 부재를 발견해 물어보는 일은 답을 만드는 일과 다른 능력이다. 셋째, 답의 근거와 한계가 함께 표시되어야 한다. 법령과 조문을 확인해 제시하고, 확인되지 않은 것은 확인되지 않았다고 말하는 표시가 필요하다. 넷째, 사람에게 넘기는 경로가 제품 안에 있어야 한다. 법마디 OS가 분야별 리더 구조를 유지하는 이유가 여기에 있다. 전문분야가 나뉘어 있다는 것은 질문을 어느 축으로 좁혀야 하는지를 시스템이 미리 알고 있다는 뜻이고, 되묻기는 그 축을 따라 설계될 수 있다.
측정하지 않으면 경쟁도 없다
전략적으로 가장 중요한 결론은 제품이 아니라 지표에 있다. 어떤 성질이 시장의 경쟁 축이 되려면 먼저 측정되어야 한다. 상한이 경쟁 축이 된 것은 그것을 재는 표준적인 방법이 있었기 때문이고, 하한이 경쟁 축이 되지 못한 것은 재는 방법이 없었기 때문이다. 그래서 하한을 겨냥하는 조직이 가장 먼저 해야 할 일은 기능 개발이 아니라 자기 자신을 재는 도구를 만드는 일이다. 정리되지 않은 서술을 모아 놓은 평가 집합, 결정적 사실이 빠졌을 때 시스템이 그것을 물었는지 세는 지표, 근거로 제시한 법령이 실제로 존재하는지 확인하는 검사가 그것이다. 이 도구들은 겉으로 드러나지 않지만 구조적으로는 해자에 가깝다. 경쟁자가 같은 기능을 복제하는 것은 빠르지만, 무엇을 개선할지 알려 주는 측정 체계를 갖추는 데는 시간이 걸리기 때문이다. 상한 경쟁이 모델 교체로 뒤집히는 반면, 하한 경쟁은 축적된 관측 위에서만 진전한다.
반론과 재반박
예상 반론 하한 최적화는 결국 사용자 경험 개선이지 전략이 아니라는 반론이 가능하다. 되묻기와 누락 탐지는 어느 사업자든 붙일 수 있는 기능이고, 기반 모델이 충분히 좋아지면 정리되지 않은 입력도 알아서 처리하게 되므로 지금의 간극은 시간이 해결한다는 것이다.
재반박 그러나 관찰된 것은 능력의 부재가 아니라 행동의 기본값이었다. 모델은 모호함을 알아보면서도 되묻지 않았고, 검색된 맥락이 주어질수록 오히려 덜 되물었다. 기본값은 모델이 좋아진다고 저절로 바뀌지 않으며, 오히려 성능이 좋아질수록 곧바로 답하는 쪽으로 기운다. 더 근본적으로 이것은 기능의 문제가 아니라 지표의 문제다. 하한을 재는 평가 체계를 갖춘 조직만이 무엇을 고쳐야 하는지 알고, 그 관측은 복제되지 않는다. 기능은 하루면 붙지만 관측은 하루에 쌓이지 않는다.
법마디 OS가 그리는 미래
법마디 OS가 도달하려는 상태는 단계적이다. 단기적으로는 이용자의 서술에서 결론을 가르는 사실이 빠졌을 때 그것을 발견해 되묻고, 확인된 법령 근거와 확인되지 않은 부분을 구분해 표시하는 것이다. 이 두 가지는 이미 인용 검증과 분야별 리더 구조 위에서 부분적으로 작동하고 있으며, 남은 일은 되묻기를 예외가 아니라 기본 동작으로 끌어올리는 것이다. 중기적으로는 정리되지 않은 실제 질문을 모아 자체 평가 집합을 만들고, 되물었어야 할 때 되물었는지를 세는 지표를 정기적으로 관측하려 한다. 상한 점수가 아니라 이 지표가 개선의 방향을 정하게 하는 것이 목표다. 장기적으로는 법률 서비스가 필요한 사람이 자신에게 무슨 일이 일어났는지를 정리하는 단계에서부터 도움을 받고, 그 정리된 결과를 들고 사람 전문가나 공적 창구로 넘어갈 수 있게 하는 것이다. 법률 AI가 변호사를 대신하는 그림이 아니라, 변호사에게 가기 전의 빈 구간을 메우는 그림이다.
전략적 함의
- 성능표의 점수를 볼 때는 그 점수가 어떤 입력 위에서 측정되었는지를 함께 물어야 한다. 전처리된 입력 위의 점수는 접근성에 대해 거의 아무것도 말해 주지 않는다.
- 검색 품질 향상은 되묻기 설계와 함께 가야 한다. 답할 수 있게 만드는 투자만 하면 틀린 전제 위의 답변이 더 그럴듯해지는 방향으로 제품이 이동한다.
- 하한을 겨냥하는 조직의 첫 투자는 기능이 아니라 측정이다. 무엇을 고쳐야 하는지 알려 주는 관측 체계는 기능보다 느리게 복제된다.
"시장은 우리가 재기로 한 것에서만 열린다. 재지 않기로 한 구간은 비어 있는 것이 아니라 보이지 않을 뿐이다."
