측정이 만드는 시장: 리걸 AI 평가 인프라의 부상

초록 이 칼럼은 리걸 AI 시장에서 '평가 인프라'가 독립적인 전략 변수로 부상하는 현상을 분석한다. 블라인드 비교 플랫폼과 독립 벤치마크 리포트의 등장은 구매 결정의 언어를 데모·브랜드에서 측정 지표로 옮기고 있다. 핵심 논지는 세 가지다. 측정되지 않는 위험은 관리될 수 없고, 측정되는 순간 위험은 가격이 매겨지며, 따라서 검증 가능한 품질 주장만이 지속 가능한 경쟁 우위가 된다는 것이다. 결론으로 평가 조작 우려(굿하트의 법칙)에 대한 해법으로 평가 다원화를 제시하고, 법마디 OS의 검증 계층이 이 흐름에서 갖는 위치를 짚는다.

이번 주 리걸테크 시장에는 서로 다른 듯 같은 두 소식이 있었다. 하나는 대체 법률 서비스 기업 퍼시피언트(Percipient)가 법률 전문가들이 AI 모델을 블라인드로 맞붙여 투표하는 무료 플랫폼 Certera.AI를 베타로 내놓은 것이고, 다른 하나는 '얇은 래퍼(thin wrapper)' 논쟁이 허쉬 초콜릿 포장지 비유와 함께 다시 점화된 것이다. 전자는 답변의 품질을 브랜드를 가린 채 재겠다는 시도이고, 후자는 모델 위에 얹힌 층의 가치를 어떻게 셈할 것인가라는 질문이다. 두 소식은 같은 방향을 가리킨다. 리걸 AI 시장의 다음 국면은 누가 더 그럴듯한 데모를 보여주는가가 아니라, 누가 측정을 견디는가로 갈린다는 것이다. 법률은 오류의 비용이 비대칭적으로 큰 도메인이기에, 측정의 등장은 다른 어떤 산업보다 시장 구조를 깊게 바꾼다. 오늘은 이 '평가 인프라'의 부상을 전략의 눈으로 읽는다.

핵심 개념 정의

블라인드 평가(Blind Evaluation)

모델의 정체를 가린 채 결과물만으로 우열을 판정하게 하는 평가 방식. 브랜드·선입견 효과를 제거해 품질 신호만 남기는 것이 목적이다.

평가 인프라(Evaluation Infrastructure)

일회성 리뷰가 아니라 지속적으로 축적·갱신되는 벤치마크, 리더보드, 검증 체계의 총체. 시장 참여자들이 공유하는 '품질의 자'가 된다.

굿하트의 법칙(Goodhart's Law)

측정 지표가 목표가 되는 순간 좋은 측정이기를 멈춘다는 원리. 벤치마크 최적화(가르치기)로 지표와 실제 품질이 괴리되는 현상을 설명한다.

전략적 관점

구매의 언어가 데모에서 데이터로 바뀐다

기술 시장의 초기 국면에서 구매 결정은 언제나 서사가 지배한다. 인상적인 데모, 유명 로펌의 도입 소식, 모델 이름의 후광이 판단을 대신한다. 그러나 도입이 확산되고 실패 사례가 축적되면 시장은 서사의 한계비용을 학습하고, 판단의 근거를 외부화할 수 있는 장치를 찾는다. Certera.AI의 설계가 정확히 이 수요를 겨냥한다. 법률 프롬프트 하나를 두 모델에 동시에 보내 나란히 놓고, 익명 모드에서는 투표가 끝날 때까지 모델의 정체를 숨긴다. 계약서를 첨부해 검토·수정 작업을 시키는 것도 가능하며, 투표는 집계되어 공개 리더보드로 쌓인다. 브랜드를 가리는 순간 남는 것은 답변의 품질뿐이라는 이 단순한 구조가 구매의 언어를 바꾼다. 공급자 입장에서 이것은 마케팅 우위의 감가상각을 뜻한다. 데모는 한 번 통하지만 리더보드는 매일 갱신되기 때문이다. 측정이 반복되는 시장에서 지속 가능한 지위는 측정을 잘 견디는 제품 구조에서만 나온다.

환각의 측정이 신뢰 시장을 연다

위험은 측정되기 전에는 관리의 대상이 아니라 공포의 대상이다. 스탠퍼드 HAI 연구진이 법률 질의에서 대규모 언어모델의 환각이 만연함(pervasive)을 체계적으로 측정해 보인 연구는, 연방 대법원장이 연례 보고서에서 환각을 언급할 만큼 커진 불안을 수치의 영역으로 끌어내렸다. 여기에 실무 과업 기반으로 법률 AI 도구들을 직접 평가한 Vals Legal AI Report 같은 독립 리포트가 더해지면서, '이 도구는 얼마나 틀리는가'가 처음으로 비교 가능한 질문이 되었다. 전략적으로 중요한 것은 측정이 위험을 없애지 않는다는 점이다. 측정은 위험에 가격을 매기고, 가격이 매겨진 위험은 관리와 거래의 대상이 된다. 보험이 통계 없이 성립하지 않듯, 법률 AI의 신뢰 시장은 환각률의 측정 없이 성립하지 않는다. 법마디 OS가 모든 인용을 국가법령정보센터와 실시간 대조하고 검증에 실패하면 답변을 차단하는 fail-closed 구조를 고수하는 이유가 여기에 있다. 환각을 줄이겠다는 다짐이 아니라, 미검증 인용이 이용자에게 도달하는 경로 자체를 구조적으로 막아 검증 가능한 상태를 만드는 것이 신뢰 시장에 입장하는 조건이기 때문이다.

래퍼 논쟁의 종결자는 논평이 아니라 평가다

'결국 LLM 위의 얇은 래퍼 아니냐'는 폄하는 리걸테크 스타트업이 가장 자주 받는 공격이다. 이번 주 로사이츠에 실린 반론은 허쉬 초콜릿의 포장지 비유로 이를 받아친다. 포장지는 먹을 수 없는 얇은 층이지만 브랜드의 일관된 품질 약속, 위생과 성분 표시, 제조 기준과 규제 준수, 문제가 생겼을 때의 책임(accountability)을 담는다는 것이다. 비유는 설득력이 있지만, 나는 이 논쟁의 승부처가 수사(修辭)에 있지 않다고 본다. 어떤 층이 얇은 포장인지 두꺼운 시스템인지는 논평이 아니라 측정이 판정한다. 정말 얇은 래퍼라면 블라인드 비교에서 원본 모델과 유의미한 차이를 만들지 못할 것이고, 검증 자산과 그라운딩, 도메인 워크플로가 결합된 시스템이라면 그 격차가 수치로 드러날 것이다. 법마디 OS의 대명제인 LLM 비종속성 — 품질은 모델이 아니라 검증 자산과 fail-closed 검증 계층이 보장한다는 설계 철학 — 역시 본질적으로 측정을 전제한 주장이다. 어떤 모델을 꽂아도 동일 품질이 나온다는 명제는 동일한 질의 세트를 복수 모델로 돌려 검증 통과율을 비교하는 실험으로만 증명된다. 그래서 평가 인프라의 부상은 우리에게 위협이 아니라, 아키텍처로 경쟁해 온 쪽이 비로소 실력을 입증할 수 있는 무대다.

평가는 이벤트가 아니라 축적 자산이다

평가를 일회성 검증 이벤트로 이해하면 전략을 놓친다. 리더보드는 투표가 쌓일수록, 벤치마크는 회차가 거듭될수록, 검증 체계는 검증된 사례가 축적될수록 더 신뢰받는 자가 된다. 즉 평가 인프라는 네트워크 효과와 축적 효과를 갖는 자산이며, 먼저 쌓기 시작한 쪽이 기준 설정자의 지위를 얻는다. 이 구조에서 공급자가 취할 수 있는 위치는 둘이다. 외부의 독립 평가를 수동적으로 받는 피평가자에 머물거나, 자신의 품질 주장을 스스로 측정 가능한 형태로 만들어 상시 검증 체계를 내재화하는 것이다. 법마디 OS는 후자를 선택해 왔다. 수만 건의 검증 법령·판례 자산 위에서 모든 답변의 인용을 실시간 검증하고, 주간 품질 점검이 검증 실패를 점수 상한으로 강제하는 하드 게이트를 상시 가동한다. 다만 자체 평가는 그 자체로는 완결되지 않는다는 점을 정직하게 인정해야 한다. 내부 하니스는 독립 평가와 교차 확인될 때 비로소 시장의 신뢰로 전환된다. 자체 검증 체계를 갖춘 공급자일수록 외부의 블라인드 테스트와 독립 벤치마크를 회피할 이유가 없고, 회피하지 않는다는 사실 자체가 신호가 된다.

반론과 재반박

예상 반론 평가가 기준이 되는 순간 공급자들은 실제 품질이 아니라 리더보드에 최적화하기 시작한다. 굿하트의 법칙대로 벤치마크는 오염되고, 블라인드 투표조차 길고 유창한 답변을 선호하는 인간 편향을 재는 것에 불과할 수 있다.

재반박 타당한 우려이며 실제로 반복돼 온 역사다. 그러나 이 우려의 논리적 귀결은 평가 무용론이 아니라 평가 다원화다. 과업 기반 독립 벤치마크, 블라인드 선호 투표, 그리고 인용의 실존을 확인하는 결정론적 검증 게이트는 서로 다른 것을 재고 조작의 비용도 서로 다르다. 특히 '인용한 조문과 판례가 실제로 존재하고 내용이 일치하는가'는 유창함 편향과 무관하게 참·거짓이 판정되는 지표라 선호 조작이 침투할 틈이 좁다. 굿하트의 법칙은 단일 지표에 권력이 집중될 때의 저주이지 측정 자체의 저주가 아니다. 서로 독립적인 자가 여러 개 있는 시장에서는 하나의 자를 속이는 비용보다 품질을 실제로 올리는 비용이 더 싸진다.

법마디 OS가 그리는 미래

법마디 OS의 경로는 단계적이다. 단기적으로는 지금의 상시 검증 체계를 더 단단히 한다. 모든 답변의 인용을 국가법령정보센터와 실시간 대조하는 fail-closed 게이트와 주간 품질 점검의 하드 게이트를 유지하며, 검증 법령·판례 자산을 계속 축적한다. 중기적으로는 LLM 비종속 대명제를 측정으로 증명한다. 동일한 질의 세트를 서로 다른 모델로 돌려 검증 통과율과 답변 품질의 동등성을 확인하는 패리티 하니스를 구축해, '모델을 교체해도 품질이 유지되는가'라는 질문에 수치로 답한다. 장기적으로는 한국 법률 AI 시장에도 독립적이고 공개적인 평가 기준이 자리 잡는 흐름에 기여하고자 한다. 이용자가 브랜드나 광고가 아니라 검증된 지표로 법률 AI를 고르는 시장, 그것이 법률 접근성이라는 우리의 사명과 측정이라는 시장의 진화가 만나는 지점이라고 믿는다.

전략적 함의

리걸 AI의 구매 결정 기준은 데모·브랜드·모델명에서 독립 평가와 측정 지표로 이동하고 있으며, 마케팅 우위의 수명은 짧아진다.
측정 가능한 품질 주장만이 전략 자산이 된다 — 검증할 수 없는 주장은 신뢰 시장에서 비용으로 남는다.
평가 조작(굿하트)의 해독제는 평가의 포기가 아니라 서로 독립적인 평가 층위의 다원화다.

"측정할 수 없는 우위는 우위가 아니다 — 시장이 이제 자를 들기 시작했다."

참고 자료

칼럼니스트

서연

최고전략책임자 (CSO · Chief Strategy Officer)

미국 연방대법원 로클럭 출신급 / 글로벌 Top3 전략 컨설팅 파트너급

법마디 OS 무료로 경험하기

본 칼럼은 법마디 OS 전략팀의 관점이며, 투자 권유나 법률 자문이 아닙니다.