같은 질문에 같은 답: 재현성이 값이 되는 자리
법률 시장에서 팔리는 것은 좋은 답이 아니라 다시 꺼내 보일 수 있는 답입니다. 같은 입력에 같은 출력을 내놓지 못하는 도구가 왜 책상 위에서 멈추는지 살펴봅니다.
초록 이 칼럼은 법률 AI의 확산을 막는 병목이 가격이나 성능이 아니라 재현성에 있다고 본다. 법률 업무의 산출물은 누군가 이름을 걸고 서명하는 문서이고, 서명은 같은 질문에 같은 답이 돌아온다는 전제 위에서만 성립한다. 최근 업계 자료는 도입률이 올라가는 동안에도 사용이 개인의 책상 단위에서 멈춰 조직의 표준 절차로 올라서지 못하는 상태를 보여 준다. 이 글은 그 정체를 조직문화 문제가 아니라 '변동하는 산출물은 위임될 수 없다'는 구조 문제로 재정의하고, 경쟁의 단위가 답변 품질에서 답변의 안정성과 그 기록으로 옮겨가는 과정을 분석한다.
법률 사무소에서 어떤 도구가 자리를 잡았는지 알아보는 가장 빠른 방법은 사용 빈도가 아니라 그 도구의 산출물이 문서에 그대로 실려 나가는지를 보는 것입니다. 실려 나간다면 누군가 그 결과에 이름을 걸었다는 뜻이고, 실려 나가지 않는다면 아무리 자주 켜도 그것은 개인의 참고 도구에 머뭅니다. 지금 법률 AI가 놓인 자리가 정확히 그 경계선입니다. 업계 조사는 도입 자체는 이미 보편에 가까워졌지만 대다수 팀이 여전히 프롬프트와 도구를 각자 시험해 보는 단계에 머물고, 공유된 절차나 연결된 지식 체계까지 나아간 조직은 소수라고 전합니다. 흔한 진단은 조직문화입니다. 그러나 문화라는 말은 원인을 지목하기보다 원인을 덮습니다. 저는 그 자리에 더 건조한 설명을 놓으려 합니다. 위임할 수 없는 것은 표준이 될 수 없고, 같은 입력에 다른 출력을 내놓는 산출물은 애초에 위임의 대상이 되지 못합니다.
핵심 개념 정의
재현성(reproducibility)
같은 입력과 같은 조건에서 같은 산출물이 다시 나오는 성질입니다. 법률 업무에서는 정답에 가까운가보다, 어제의 답과 오늘의 답이 같은가가 먼저 요구됩니다.
감사 추적(audit trail)
무엇을 물었고 무엇이 돌아왔으며 어떤 모델이 돌았고 누가 승인했는지를 사후에 되짚을 수 있게 남긴 기록입니다. 산출물 자체가 아니라 산출물의 내력을 자산으로 만드는 장치입니다.
거버넌스 레이어
모델을 직접 부르는 대신, 어떤 작업에 어떤 모델을 쓸지·어디서 사람의 승인을 받을지를 규칙으로 정해 두고 그 사이에서 호출을 중개하는 계층입니다. 모델은 교체 가능한 부품이 되고 규칙과 기록이 남습니다.
전략적 관점
법률에서 팔리는 것은 답이 아니라 서명 가능한 답이다
일반적인 소비자 제품에서 좋은 답은 그 자체로 값을 합니다. 법률 업무는 다릅니다. 여기서 산출물은 최종 소비물이 아니라 누군가의 이름이 실리는 중간재입니다. 변호사가 의견서를 내보내는 순간 그 문장의 책임은 도구가 아니라 서명한 사람에게 귀속되고, 그 사람은 자신이 확인할 수 있는 것만 실을 수 있습니다. 그래서 법률 시장의 구매 결정은 '이 답이 좋은가'가 아니라 '이 답을 내가 확인하고 서명할 수 있는가'라는 질문을 통과해야 합니다. 이 차이가 확산 곡선의 모양을 바꿉니다. 일반 시장에서는 성능이 오르면 채택이 따라 오르지만, 법률 시장에서는 성능이 올라도 확인 비용이 그대로면 채택은 개인 실험 단계에서 멈춥니다. 실제로 도입률과 사용 깊이가 함께 움직이지 않는 현상이 그 증거입니다. 도구를 켠 사람 수는 늘었는데 그 산출물이 조직의 문서로 올라서지 못한다면, 그것은 사람들이 게을러서가 아니라 서명 요건을 통과하지 못했기 때문입니다.
병목은 값이 아니라 확인 비용이다
가격을 내려 확산을 사려는 시도는 법률 시장에서 잘 듣지 않습니다. 값이 절반이 되어도 결과를 한 줄씩 다시 대조해야 한다면 총비용은 줄지 않기 때문입니다. 도구 값은 한 번 지불하지만 확인 비용은 사용할 때마다 다시 발생하고, 반복되는 비용이 언제나 일회성 비용을 압도합니다. 그래서 확산을 실제로 움직이는 지렛대는 단가가 아니라 한 건을 확인하는 데 드는 시간입니다. 업계 자료가 보여 주는 정체 구간도 같은 방향을 가리킵니다. 사용이 개인의 책상 단위에 머무는 것은 그 단위에서는 확인이 자기 눈으로 끝나기 때문이고, 조직 단위로 올라가지 못하는 것은 남의 산출물을 확인해 줄 방법이 없기 때문입니다. 조직문화라는 진단은 여기서 방향을 잘못 잡습니다. 리더십이 결단한다고 확인 비용이 줄지는 않습니다. 줄여야 할 것은 회의가 아니라 대조에 드는 시간이고, 그 시간은 산출물에 근거와 내력이 함께 붙어 나올 때만 줄어듭니다.
변동성은 결함이 아니라 범용 모델의 설계다
같은 질문을 두 번 던지면 조금씩 다른 답이 돌아온다는 지적은 범용 도구를 법률 업무에 그대로 붙였을 때 가장 먼저 부딪히는 벽입니다. 이것은 고쳐야 할 버그라기보다 범용성을 위해 선택된 성질에 가깝습니다. 다양한 표현을 만들어 내는 능력과 매번 같은 표현을 되돌려 주는 능력은 같은 축의 양 끝이고, 범용 모델은 앞쪽을 선택했습니다. 문제는 법률 업무가 뒤쪽을 요구한다는 데 있습니다. 조직의 위험 성향, 승인 경로, 지난번에 쓰기로 한 문구는 모델 안에 들어 있지 않으므로 매 호출마다 밖에서 다시 넣어 주어야 하고, 넣어 주지 않으면 답은 그때그때의 평균으로 수렴합니다. 여기서 갈리는 설계가 둘입니다. 하나는 더 좋은 프롬프트로 변동을 줄이려는 방향이고, 다른 하나는 변동을 허용하되 결정이 필요한 지점을 모델 밖의 규칙과 도구로 빼내는 방향입니다. 법률 업무에서 지속되는 쪽은 후자입니다. 프롬프트는 개인의 기술로 남지만 규칙은 조직의 자산으로 남기 때문입니다.
모델이 갈아 끼워지는 순간, 남는 것은 기록이다
최근 등장한 거버넌스 계층 제품들은 공통된 형태를 취합니다. 고객이 이미 쓰는 모델을 그대로 가져오게 하되, 어떤 작업에 어떤 모델이 도는지·어디서 사람의 승인을 받는지를 바깥의 규칙으로 정하고, 호출마다 무엇을 물었고 무엇이 돌아왔으며 누가 승인했는지를 남깁니다. 전략적으로 이 구조가 뜻하는 바는 분명합니다. 모델은 교체 가능한 부품의 자리로 내려가고, 교체되지 않는 것은 그 위에 쌓인 규칙과 기록입니다. 부품이 좋아지면 이득은 그 부품을 만든 쪽이 아니라 부품을 갈아 끼울 수 있게 배선해 둔 쪽으로 흐릅니다. 동시에 이 구조는 앞의 세 논점을 한 번에 해결합니다. 규칙이 바깥에 있으니 산출물이 안정되고, 기록이 남으니 남의 산출물도 확인할 수 있으며, 확인할 수 있으니 서명이 가능해집니다. 재현성은 이렇게 모델의 성질이 아니라 시스템의 성질로 옮겨갑니다. 그리고 시스템의 성질이 된 순간부터, 그것은 값을 매길 수 있는 자산이 됩니다.
반론과 재반박
예상 반론 재현성은 전략이 아니라 공학 문제 아닌가. 온도값을 낮추고 캐시를 두면 같은 답이 나오게 만들 수 있고, 그렇다면 이것은 누구나 며칠이면 따라 하는 설정값 차이에 불과하다는 반론이 가능하다.
재반박 설정값으로 얻는 것은 같은 문자열이지 확인 가능한 산출물이 아닙니다. 법률 업무에서 요구되는 재현성은 '두 번 물으면 두 번 같다'가 아니라 '왜 그 답이었는지 뒤에 가서 되짚을 수 있다'입니다. 뒤의 성질은 인용한 근거가 그 시점에 실재했는지, 어떤 규칙을 거쳐 누가 승인했는지가 함께 남아 있어야 성립하고, 그 기록은 설정으로 만들어지지 않고 시간이 지나야 쌓입니다. 게다가 쌓인 기록은 다음 판단의 근거로 재사용되므로 시간이 갈수록 따라잡기 어려워집니다. 따라 하기 쉬운 것은 결정론적 출력이고, 따라 하기 어려운 것은 그 출력이 옳았음을 증명해 온 내력입니다.
법마디 OS가 그리는 미래
법마디 OS가 향하는 자리는 '더 좋은 답을 내는 곳'이 아니라 '답을 확인하는 비용을 가장 낮게 만드는 곳'입니다. 단기에는 이미 갖춘 것을 드러내는 일이 먼저입니다. 인용된 법령과 판례가 실재하는지 게시 전에 대조하고 그 결과를 산출물에 함께 실어, 읽는 사람이 우리 말을 믿지 않고도 확인할 수 있게 합니다. 중기에는 그 확인을 우리 답변 밖으로 넓힙니다. 어느 도구가 만든 답이든 한국 법령·판례 인용을 같은 기준으로 검증해 돌려주면, 확인 비용을 낮추는 일이 우리 제품의 부속이 아니라 그 자체로 하나의 서비스가 됩니다. 장기에는 60명의 리더가 분야별로 남긴 판단과 그 판단이 무엇에 근거했는지의 기록이 축적되어, 같은 질문이 다시 왔을 때 어제와 같은 답을 같은 근거로 내놓는 층이 됩니다. 세 단계 어디에도 새로운 모델은 필요하지 않습니다. 필요한 것은 기록을 버리지 않는 습관과, 확인 결과를 감추지 않고 그대로 내보이는 규율입니다.
전략적 함의
- 법률 AI의 구매 결정은 성능표가 아니라 '이 산출물에 서명할 수 있는가'라는 한 문장에서 갈린다.
- 가격 인하는 확산을 사지 못한다. 반복해서 발생하는 확인 비용을 줄이는 쪽에 투자해야 채택이 조직 단위로 올라선다.
- 모델이 교체 가능한 부품이 될수록 방어 가능한 자산은 그 위에 쌓인 규칙과 기록으로 이동한다.
"좋은 답은 한 번 감탄을 받지만, 같은 답은 매번 서명을 받는다."
