보이지 않는 채택: 관측 가능성이 값을 만든다

초록 법률 AI 채택률은 임계를 넘었지만 값의 인정은 그 속도를 따라가지 못한다. 이 칼럼은 그 괴리의 원인을 성능 부족이 아니라 관측 가능성의 부재에서 찾는다. 전문 서비스에서 값은 생산되는 것이 아니라 승인되는 것이며, 승인은 제3자가 산출물의 근거를 열어볼 수 있을 때만 일어난다. 열어볼 수 없는 산출물은 받아들여지지 않고, 받아들여지지 않는 사용은 숨으며, 숨은 사용은 측정되지 않아 다시 값이 되지 못한다. 이 자기강화 고리를 끊는 지점은 사람을 감시하는 통제가 아니라, 산출물 자체가 근거를 지니고 나오게 하는 설계다.

한 변호사가 밤늦게 준비서면 초안을 정리한다. 도구의 도움을 받았고, 결과도 나쁘지 않다. 그런데 그는 그 사실을 어디에도 적지 않는다. 적을 자리가 없어서가 아니라, 적는 순간 설명해야 할 것이 늘어나기 때문이다. 무엇을 근거로 삼았는지, 그 근거가 실제로 존재하는지, 확인은 누가 했는지. 설명할 방법이 마땅치 않으니 가장 합리적인 선택은 조용히 쓰는 것이 된다. 이 장면은 개인의 일탈이 아니라 구조가 만든 균형이다. 조직은 승인하지 않은 사용을 보지 못하고, 의뢰인은 수임한 법률사무소가 무엇을 어떻게 썼는지 모르며, 감독자는 자동화된 절차가 무엇을 했는지 사후에야 확인한다. 세 층위 모두에서 같은 일이 벌어진다. 일은 이미 일어났는데, 그 일을 볼 수 있는 사람이 없다. 그리고 보이지 않는 일은 값으로 계산되지 않는다. 오늘의 질문은 여기서 시작한다. 법률 AI가 값을 인정받지 못하는 이유가 정말 성능일까, 아니면 보이지 않음일까.

핵심 개념 정의

관측 가능성(Observability)

산출물을 만들지 않은 제3자가 그 산출물의 근거와 형성 과정을 사후에 열어보고 확인할 수 있는 정도. 사람에 대한 감시가 아니라 결과물에 부착된 성질이며, 신뢰를 요구하지 않고 확인을 허용한다는 점에서 선언적 품질 보증과 구분된다.

그림자 채택(Shadow Adoption)

조직이 승인하지 않았거나 조직이 볼 수 없는 방식으로 개인이 도구를 사용하는 상태. 금지에 대한 반발이라기보다, 사용을 드러냈을 때 치러야 할 설명 비용이 사용을 숨겼을 때의 위험보다 크다는 계산의 결과다.

값 인정(Value Recognition)

생산된 효용이 거래 상대에 의해 실제로 값으로 승인되는 절차. 전문 서비스에서 효용의 발생과 값의 인정은 자동으로 연결되지 않으며, 그 사이를 잇는 것이 검증 가능한 근거의 제시다.

전략적 관점

1

값은 생산되지 않는다, 승인된다

제조업에서는 물건이 만들어지는 순간 값이 확정된다. 전문 서비스는 다르다. 변호사가 밤을 새워 쓴 서면은 그 자체로 값을 갖지 않는다. 의뢰인이 받아들이고, 상급자가 서명하고, 법원이 판단의 재료로 삼을 때 비로소 값이 된다. 즉 값은 생산의 결과가 아니라 승인의 결과다. 그리고 승인하는 쪽은 언제나 만들지 않은 사람이다. 만들지 않은 사람이 무언가를 승인하려면 그것을 열어볼 수 있어야 한다. 여기서 법률 AI의 곤경이 드러난다. 생성물의 품질이 아무리 높아도, 그 근거가 어디에서 왔고 실재하는지를 받는 쪽이 확인할 수 없다면 승인 절차가 작동하지 않는다. 승인되지 않은 산출물은 효용이 있어도 값이 되지 못한다. 채택률과 값 인정 사이에 벌어진 간격의 정체가 이것이다. 그 간격은 모델을 더 크게 만들어서 좁혀지지 않는다. 승인 절차가 요구하는 것은 성능의 증가가 아니라 근거의 열람 가능성이기 때문이다.

2

숨음은 일탈이 아니라 합리적 선택이다

조직이 볼 수 없는 사용을 이야기할 때 흔히 규율의 문제로 접근한다. 그러나 개인의 입장에서 계산해 보면 숨는 것이 더 합리적인 국면이 넓다. 사용을 드러내면 즉시 설명 책임이 따라붙는다. 무엇을 근거로 했는지, 그 근거를 어떻게 확인했는지, 확인하지 못한 부분은 어디인지를 스스로 정리해 제시해야 한다. 조직이 그 정리를 도와주는 장치를 주지 않은 채 책임만 개인에게 남겨 두면, 사용을 밝히는 행위는 순수한 비용이 된다. 반면 조용히 쓰고 결과만 내놓으면 그 비용은 발생하지 않는다. 그래서 정책이 금지에서 권장으로 바뀌어도 숨음은 줄지 않는다. 바뀐 것은 선언이지 설명 비용의 구조가 아니기 때문이다. 이 지점을 잘못 읽으면 조직은 감시를 강화하는 방향으로 대응하고, 그 대응은 설명 비용을 더 올려 숨음을 심화시킨다. 통제가 강해질수록 관측 가능성이 낮아지는 역설이 여기서 생긴다.

3

세 층위의 같은 실패

보이지 않음은 한 곳에서만 일어나지 않는다. 첫째 층위는 개인과 조직 사이다. 조직은 구성원이 실제로 무엇을 쓰는지 파악하지 못한 채 정책을 쓴다. 둘째 층위는 법률사무소와 의뢰인 사이다. 의뢰인 다수는 자신이 선임한 쪽이 기술을 쓰는지조차 알지 못하고, 양쪽 모두 그 효과를 재지 않는다. 재지 않으니 값의 재협상도 일어나지 않고, 재협상이 없으니 효율이 값으로 환원되지 않는다. 셋째 층위는 자동화된 절차와 그 감독자 사이다. 절차가 무엇을 했는지 실시간으로 확인한다는 응답보다, 문제가 생긴 뒤에야 알게 된다는 응답이 결코 적지 않다. 세 층위는 서로 다른 문제처럼 보이지만 구조가 같다. 행위는 이미 일어났고, 그 행위를 확인할 수 있는 위치에 아무도 없다. 그리고 확인되지 않은 행위는 조직의 자산으로 축적되지 않는다. 같은 실패가 세 번 반복된다는 사실은 이것이 개별 관행의 문제가 아니라 설계의 공백임을 말해 준다.

4

감시가 아니라 자기증명이다

관측 가능성을 높이라는 말은 사람을 더 들여다보라는 말로 오해되기 쉽다. 그러나 사람을 감시해서 얻을 수 있는 것은 사용 여부의 기록이지 산출물의 신뢰가 아니다. 누가 언제 어떤 도구를 열었는지 안다고 해서, 그 결과로 나온 서면의 인용이 실재하는지가 밝혀지지는 않는다. 필요한 것은 감시의 대상을 사람에서 결과물로 옮기는 일이다. 산출물이 만들어질 때 그 근거가 함께 부착되어, 받는 쪽이 별도의 신뢰 없이도 하나씩 열어볼 수 있게 하는 설계다. 이렇게 되면 개인은 사용을 숨길 이유가 사라진다. 설명 비용을 개인이 문장으로 치르는 대신 산출물이 구조로 치르기 때문이다. 조직은 구성원을 들여다보지 않고도 무엇이 쓰였는지 알게 되고, 의뢰인은 신뢰를 요구받는 대신 확인할 수 있게 된다. 감시는 관계를 훼손하면서 정보를 얻지만, 자기증명은 관계를 건드리지 않고 정보를 남긴다. 두 접근의 비용 구조는 장기적으로 전혀 다르다.

5

검증 계층은 품질 장치이자 관측 장치다

법마디가 스스로를 특정 생성 모델이 아니라 운영체제로 규정해 온 이유가 여기서 다시 설명된다. 검증 계층은 흔히 오류를 막는 안전장치로만 이해되지만, 그 못지않게 중요한 기능은 산출물을 열어볼 수 있게 만드는 것이다. 인용된 조문과 판례가 실재하는지 확인된 것만 남기고, 확인되지 않은 것은 조용히 통과시키지 않는 원칙은 두 가지를 동시에 만든다. 하나는 틀린 근거의 차단이고, 다른 하나는 남은 근거가 확인을 거쳤다는 사실 자체의 기록이다. 후자가 바로 관측 가능성이다. 60명의 리더가 분야를 나누어 응답하는 구조도 같은 맥락에 놓인다. 분업의 효율보다 중요한 것은 어떤 판단이 어느 전문 영역에서 나왔는지가 드러난다는 점이다. 값을 인정하는 쪽이 요구하는 것은 결국 두 가지다. 이 결론의 근거가 무엇인가, 그리고 그 근거를 내가 직접 확인할 수 있는가. 검증 계층은 이 두 질문에 매번 같은 방식으로 답할 수 있게 하는 장치다.

반론과 재반박

예상 반론 관측 가능성은 결국 비용이다. 근거를 부착하고 확인하는 절차는 속도를 떨어뜨리고, 속도야말로 사람들이 기술을 쓰는 이유다. 확인을 요구할수록 도구는 덜 쓰이고, 덜 쓰이면 값이 될 기회 자체가 사라지는 것 아닌가.

재반박 속도와 관측 가능성이 상충하는 것은 확인을 사후에 사람이 할 때다. 근거 확인이 생성 시점에 절차로 들어가면 한계비용은 낮아지고, 대신 뒤에서 발생하던 재작업과 불신의 비용이 사라진다. 확인되지 않은 산출물은 비용을 없앤 것이 아니라 뒤로 미룬 것이다. 미뤄진 비용은 대개 더 나쁜 시점에, 더 큰 규모로 청구된다. 게다가 지금 관측되지 않는 사용은 값으로 계산되지 않으므로, 속도로 얻은 이득은 애초에 장부에 오르지도 않는다. 빠르지만 보이지 않는 일은 조직의 성과로 남지 않는다.

법마디 OS가 그리는 미래

법마디가 그리는 경로는 단계적이다. 단기에는 모든 답변이 인용 단위로 근거를 지니고 나오게 하는 일에 집중한다. 확인된 것과 확인되지 않은 것을 섞지 않고, 확인되지 않았다면 그 사실을 숨기지 않는다. 중기에는 이 성질이 개인의 사용을 조직이 흡수할 수 있는 형태로 바꾸기를 기대한다. 구성원이 사용을 밝혀도 손해를 보지 않는 구조가 되면, 금지하지 않고도 보이지 않던 사용이 드러난다. 장기에는 관측 가능성이 도구의 부가 기능이 아니라 거래의 조건이 되는 국면을 본다. 의뢰인이 결과만이 아니라 그 결과가 어떻게 만들어졌는지를 물을 수 있고, 그 물음에 답할 수 있는 쪽이 값을 인정받는 시장이다. 이는 특정 기술의 승리가 아니라 확인 가능한 일처리가 확인 불가능한 일처리보다 높은 값을 받는 정상적인 질서의 회복에 가깝다.

전략적 함의

채택률은 성과 지표가 아니다. 보이지 않는 채택은 조직의 자산으로 축적되지 않으므로, 무엇이 쓰이는지가 아니라 무엇이 확인 가능한지를 세어야 한다.
사용을 드러내는 데 드는 설명 비용을 개인에게 남겨 두는 한 통제는 실패한다. 비용을 산출물의 구조로 옮기는 설계가 정책보다 먼저다.
값을 인정하는 쪽은 언제나 만들지 않은 사람이다. 그 사람이 열어볼 수 있는 형태로 결과를 내놓는 능력이 곧 값을 받는 능력이다.

"보이지 않는 곳에서 잘한 일은, 아직 값이 되지 못한 일이다."

참고 자료

칼럼니스트

서연

최고전략책임자 (CSO · Chief Strategy Officer)

미국 연방대법원 로클럭 출신급 / 글로벌 Top3 전략 컨설팅 파트너급