묻지 않은 사실이 답을 정한다 | 법마디(Lawmadi) OS 전략칼럼

초록 이 칼럼은 법률 AI의 경쟁 단위를 답변의 품질이 아니라 질문의 처리로 다시 놓는다. 최근 벤치마크는 기존 평가가 질문이 완전하게 주어진다고 가정해 왔으며, 실제로는 결론을 좌우하는 사실이 빠진 질문 앞에서 어떤 최신 모델도 무엇이 빠졌는지 지목하지 못한다는 것을 보였다. 다른 연구는 일반인이 그 답을 검증하지 않은 채 형식과 정서적 안심만으로 실행에 옮긴다는 것을 관찰했고, 세 번째 연구는 정확성만으로는 의존이 정당화되지 않는다는 규범 틀을 제시한다. 세 결과를 겹치면, 값이 생기는 자리는 더 좋은 답이 아니라 답하지 않을 지점을 아는 층이 된다.

법률 AI 제품의 로드맵은 대체로 답변을 좋게 만드는 방향으로 그려진다. 더 큰 모델, 더 넓은 검색, 더 촘촘한 인용. 그런데 이 로드맵은 조용한 전제 하나 위에 서 있다 — 사용자가 판단에 필요한 사실을 이미 다 말해 주었다는 전제다. 실무에서 이 전제는 거의 성립하지 않는다. 보증금을 못 받았다고 말한 사람은 자기가 아직 그 집에 살고 있는지, 확정일자를 언제 받았는지, 계약이 끝난 날이 언제인지를 대개 먼저 말하지 않는다. 그 사실들이 결론을 바꾼다는 것을 모르기 때문에 말하지 않는 것이고, 모른다는 사실이야말로 그가 도움을 구하는 이유다. 최근 발표된 세 편의 연구는 이 지점을 각각 다른 각도에서 건드린다. 하나는 모델이 빠진 사실을 알아채지 못한다는 측정이고, 하나는 사용자가 그 답을 검증하지 않고 실행한다는 관찰이며, 나머지 하나는 정확한 답이라도 그것만으로는 의존을 정당화하지 못한다는 규범적 주장이다. 세 이야기를 겹쳐 놓으면 제품 질문이 바뀐다. 어떻게 더 잘 답할 것인가가 아니라, 언제 답하지 않고 되물을 것인가다.

핵심 개념 정의

질문 측 불충분성(query-side insufficiency)

질문 자체에 법적으로 결정적인 사실이 빠져 있는 상태. 답변 측의 오류가 아니라 입력 측의 결손이므로, 정확도를 아무리 올려도 사라지지 않고 모델이 그 결손을 인지하는지에 따라서만 다뤄진다.

분산된 조언(distributed counsel)

여러 모델의 답을 교차 대조하거나, 생성된 조언을 커뮤니티에 올려 평가를 받은 뒤에 행동하는 검증 방식. 인용한 연구가 소수 사용자에게서 관찰한 구성으로, 검증을 개인이 아니라 집단에 분산시킨다.

인식적 겸손(epistemic humility)

시스템이 자기 역량의 한계를 스스로 표현하고 전달하는 성질. 인용한 규범 틀에서 정당화된 의존의 세 가지 필요조건 가운데 하나이며, 다른 조건으로 대체되지 않는다.

전략적 관점

빠진 사실을 알아채는 것은 답을 잘하는 것과 다른 능력이다

인용한 벤치마크는 기존 법률 평가가 질문이 완전하게 명세되어 도착한다고 가정해 왔다는 지점에서 출발한다. 실제 사용자는 결론을 실질적으로 결정하는 사실을 빠뜨린다. 연구진은 이 결손을 여덟 개의 표준 범주로 나누고, 결손이 결과를 뒤집는 방식을 스위치·게이팅·치명적 선행요건이라는 세 가지 구조적 실패 양식으로 정리했다. 그 위에 여섯 개 법 분야와 스물네 개 미국 관할을 아우르는 항목을 만들고 현직 변호사가 주석을 달았다. 기본 질의 쉰여덟 개에서 결손 변형 백마흔네 개를 파생시켜 모두 이백두 개 항목으로 구성했다. 최신 모델 열 개를 평가한 결과, 빠진 요소를 지목하는 과제에서 어떤 모델도 F2 0.46을 넘지 못했고 재현율의 중앙값은 0.44에 머물렀다. 더 중요한 것은 실패의 모양이다. 모델은 무차별 적으로 유보하거나, 스스로 지어낸 전제 위에서 조용히 답해 버린다. 완전한 질문에는 곧바로 답하면서 결손 질문에는 무엇이 빠졌는지 지목하고 답을 한정하는 모델은 하나도 없었다. 정확도 곡선을 아무리 위로 밀어도 이 축은 따라 올라가지 않는다는 뜻이다.

사용자는 정확성이 아니라 형식을 보고 실행한다

두 번째 연구는 답이 아니라 답을 받은 사람 쪽을 본다. 연구진은 레딧 서사 백쉰세 개와 그에 달린 커뮤니티 반응 오천삼백마흔한 개를 이중 방법으로 분석해, 일반인이 생성된 법률 조언을 어떻게 검증하고 어떻게 행동할 만큼 믿게 되는지를 지도로 그렸다. 한쪽 끝에는 여러 모델을 교차 대조하거나 실행 전에 커뮤니티에 올려 평가를 구하는 소수가 있다. 연구진은 이 구성을 분산된 조언이라고 부른다. 그러나 훨씬 흔한 쪽은 서사가 검증에 대해 아무 말도 하지 않는 경우였다. 사람들은 변호사처럼 보이는 형식과 정서적 안심만으로 조언을 실행에 옮긴다. 연구의 결론은 날카롭다. AI 보조 법률 자조는 검증의 부담을 그 부담을 감당할 준비가 가장 안 된 사람에게 재분배하는 비공식 인프라 위에서 작동하고 있다는 것이다. 제품의 언어로 옮기면, 설득력 있는 문체는 기능이 아니라 위험의 전달자다. 답이 옳은지와 무관하게 형식이 실행을 만들어 내기 때문에, 형식의 완성도를 올리는 일은 검증을 대체하는 것이 아니라 검증의 필요를 감추는 일이 된다.

정확한 답이라고 해서 의존이 정당해지지는 않는다

세 번째 연구는 규범 쪽에서 같은 자리를 짚는다. 저자들은 고위험 전문 업무에서 생성형 AI에 대한 의존이 인식적으로 정당한 것인지, 아니면 행동적으로 유도된 것인지를 구분해야 한다고 본다. 기존 틀이 묻는 정확성· 공정성·설명가능성·안전성·사용자 신뢰는 모두 필요하지만, 사용자가 산출물을 자기 추론의 입력으로 삼아도 되는 조건을 직접 명세하지는 않는다는 것이다. 그래서 저자들은 인식적 신뢰가능성을 별도의 평가 대상으로 세우고, 서로 대체할 수 없는 세 가지 필요조건을 제시한다. 시스템이 자기 역량의 한계를 표현하고 전달하는 인식적 겸손, 사용자가 맥락 안에서 산출물을 검사하고 질문하고 반박할 수 있게 하는 인식적 접근, 그리고 사용자를 정당한 인식 주체로 인정해 그의 지식과 경험을 주변화하지 않는 인식적 부정의에 대한 저항이다. 법률·의료·채용의 실제 사례 분석을 통해, 이 세 조건의 실패가 정확성과 공정성과 사용성의 표준 지표로는 포착되지 않는 해악을 낳는다는 것을 보인다. 앞의 두 연구가 관찰한 현상이 왜 문제인지를 여기서 이름 붙일 수 있다. 되묻지 않는 시스템은 겸손 조건을 비우고, 근거를 열어 보이지 않는 시스템은 접근 조건을 비운다.

그래서 경쟁 단위는 답변이 아니라 질문 처리로 옮겨간다

세 연구를 겹치면 제품 전략의 축이 하나 드러난다. 답변 품질은 이미 여러 공급자가 비슷한 수준으로 밀어 올리고 있고, 사용자는 그 차이를 형식으로만 감별한다. 반면 질문이 부족하다는 사실을 알아채고 무엇이 빠졌는지 이름 붙이는 능력은 최신 모델 전체가 낮은 수준에 머물러 있는 축이다. 비어 있는 축이 곧 경쟁 단위가 된다. 다만 여기서 흔한 오독을 피해야 한다. 되묻기를 늘리는 것이 답이 아니다. 인용한 벤치마크가 관찰한 실패 양식 두 가지 가운데 하나가 바로 무차별적 유보였다. 모든 질문에 되묻는 제품은 아무것도 판단하지 않는 제품이고, 무차별적 유보는 조용한 추정만큼이나 실패다. 필요한 것은 선택적 되묻기다. 빠진 요소가 결론을 스위치처럼 뒤집는지, 절차의 문을 여닫는지, 아예 선행요건을 무너뜨리는지에 따라 되물을지 말지가 갈려야 하고, 그 판정 기준은 모델의 재량이 아니라 분야별로 적힌 자산이어야 한다. 어떤 사실이 결론을 가르는지는 법에 이미 적혀 있기 때문이다. 이것은 더 큰 모델이 아니라 더 정교한 자산이 푸는 문제다.

반론과 재반박

예상 반론 되묻는 제품은 마찰을 늘려 사용자를 잃는다는 반론이 가능하다. 사람들은 즉답을 원해서 왔고, 질문을 되돌려 받으면 답을 주는 다른 서비스로 옮겨 간다. 게다가 인용한 세 연구 가운데 둘은 미국 관할과 영어권 커뮤니티를 대상으로 한 것이어서 한국 사용자에게 그대로 옮길 수 없다.

재반박 관할과 언어의 한계는 그대로 인정한다. 벤치마크는 스물네 개 미국 관할로 구성됐고, 레딧 연구는 자기 보고 서사에 기댄 관찰이므로 한국의 분포를 대신 말해 주지 않는다. 그러나 반론이 기대는 전제, 즉 마찰이 없으면 사용자가 만족한다는 명제는 바로 그 레딧 연구가 뒤집는 지점이다. 검증 없이 실행하는 사용자가 다수라는 관찰은 마찰의 제거가 만족이 아니라 부담의 이전이라는 뜻이고, 그 부담은 가장 감당하기 어려운 사람에게 간다. 또한 반론은 되묻기를 전량 되묻기로 오해한다. 결론을 가르는 요소가 빠졌을 때만 지목해 묻는 방식은 마찰을 늘리는 것이 아니라, 어차피 나중에 틀린 답으로 치러야 할 비용을 앞으로 당겨 오는 일이다. 법률 서비스에서 그 비용은 되돌릴 수 없는 경우가 많다.

법마디 OS가 그리는 미래

법마디 OS에서 이 논의는 새로운 방향이 아니라 이미 가진 구조를 다르게 쓰는 문제다. 지금의 검증 계층은 산출된 답이 인용한 법령과 판례가 실재하는지를 대조해 미검증 인용을 차단한다. 이것은 답변 측의 결손을 막는 장치다. 질문 측의 결손은 아직 같은 수준으로 다뤄지지 않는다. 단기적으로 할 일은 분야별로 결론을 가르는 사실이 무엇인지를 자산으로 적어 두는 것이다. 임대차라면 점유의 계속과 확정일자와 계약 종료일이, 해고라면 사업장 규모와 근속 기간과 서면 통지의 유무가 그 목록에 들어간다. 이 목록은 모델이 추측할 것이 아니라 법령에서 도출되는 것이므로 검증 자산과 같은 방식으로 관리할 수 있다. 중기적으로는 그 목록을 질문 단계에 걸어, 빠진 항목이 결론을 뒤집는 종류일 때에만 되묻고 나머지는 그대로 답하도록 분기시키는 일이 남는다. 되묻지 않기로 한 선택도 함께 기록되어야 한다. 무엇을 물었는지보다 무엇을 묻지 않기로 했는지가 나중에 판단의 근거가 되기 때문이다. 장기적으로는 예순 명의 리더가 각자의 분야에서 이 목록을 관리하는 형태가 목표다. 어느 단계도 더 큰 모델을 필요로 하지 않는다.

전략적 함의

답변 품질 지표만으로 제품을 관리하지 말 것 — 질문이 부족했는지를 알아챈 비율은 별도의 축이고, 지금 비어 있는 축이다.
설득력 있는 문체를 성과로 읽지 말 것 — 형식이 실행을 만든다는 관찰은 문체 개선이 검증의 필요를 가릴 수 있다는 경고다.
무엇이 결론을 가르는 사실인지를 분야별 자산으로 적을 것 — 되물을지 말지의 판정은 모델의 재량이 아니라 자산의 문제다.

"좋은 답은 좋은 질문에서 나오는데, 그 질문을 완성할 책임은 사용자에게 있지 않다."

참고 자료

칼럼니스트

서연

최고전략책임자 (CSO · Chief Strategy Officer)

미국 연방대법원 로클럭 출신급 / 글로벌 Top3 전략 컨설팅 파트너급

법마디 OS 무료로 경험하기

본 칼럼은 법마디 OS 전략팀의 관점이며, 투자 권유나 법률 자문이 아닙니다.