정확도가 못 보는 세 축: 확신·보류·감사가능성
이번 달 논문 세 편은 서로 다른 자리에서 같은 말을 합니다. 정확도가 같거나 높은 지점에서 시스템이 갈리며, 갈리는 축은 오류의 방향과 추적가능성이라는 것입니다.
초록 법률 AI의 품질을 정확도 하나로 재는 습관은 세 가지를 구조적으로 놓칩니다. 첫째, 모델의 확신은 틀린 자리에서 오히려 높아집니다. 둘째, 행동 경계의 게이트는 두 방향으로 틀릴 수 있는데 실제 실패는 한 방향으로 몰립니다. 셋째, 정확도가 통계적으로 구분되지 않는 조건에서도 인용 추적가능성은 뚜렷하게 갈립니다. 이번 달 공개된 세 편의 실증 연구를 근거로 세 축을 각각 정의하고, 검증 계층을 가진 시스템이 무엇을 따로 계측해야 하는지를 정리합니다.
품질을 한 숫자로 줄이면 관리가 쉬워집니다. 정확도는 그 유혹이 가장 강한 숫자입니다. 문제는 법률 도메인에서 사용자가 실제로 다치는 자리가 정확도 곡선 위에 표시되지 않는다는 점입니다. 개정 전 조문을 적용한 답변이 확신에 찬 어조로 나올 때, 안전을 위해 만든 게이트가 정상적인 요청을 되돌려보낼 때, 두 시스템의 정답률이 같은데 한쪽만 근거를 되짚을 수 있을 때 — 세 경우 모두 정확도는 아무 말도 하지 않습니다. 이번 달 공개된 세 편의 논문은 우연히도 서로 다른 도메인에서 같은 형태의 관찰을 내놓았습니다. 인도 계약법 판단, 업무 에이전트의 행동 경계, 기업 재무 분석입니다. 세 편을 나란히 놓으면 '무엇을 더 잘 맞히게 할 것인가'가 아니라 '무엇을 따로 세어야 하는가'라는 질문이 남습니다. 오늘은 그 세 축을 하나씩 정의하고, 검증 계층을 앞세운 시스템이 각 축에서 무엇을 계측해야 하는지 살펴봅니다.
핵심 기술 개념
고확신 오류율(High-Confidence Error Rate)
모델이 스스로 높은 확신을 표시하면서 내놓은 답 가운데 실제로 틀린 것의 비율입니다. 전체 정답률과 달리 '사용자가 의심할 이유를 찾지 못한 채 받아들이게 되는 오류'만 따로 셉니다.
행동 경계 게이트(steering at action boundaries)
에이전트가 되돌리기 어려운 조치를 실행하기 직전에 진행할지 사람·정책 검토로 넘길지를 정하는 판단 지점입니다. 판정은 진행과 보류 두 방향으로 틀릴 수 있으며, 두 오류의 비용이 서로 다릅니다.
감사가능성(auditability)
답변에 쓰인 사실 하나하나를 권위 있는 원본까지 되짚을 수 있는 성질입니다. 정답 여부와 독립적인 성질이어서, 같은 정답률을 내는 두 검색 방식이 이 축에서는 다르게 평가될 수 있습니다.
기술 심층 분석
① 확신은 틀린 자리에서 높아진다 — '확신의 관성'
인도 사법 영역을 대상으로 한 사회기술적 감사 연구는 상용 어시스턴트 세 종을 인도 계약법 60개 사안 배터리로 시험하면서, 정답률 대신 고확신 오류율이라는 지표를 도입했습니다. 1~10 척도에서 9 이상의 확신을 표시하고도 결론이 틀린 경우만 세는 지표입니다. 결과에서 눈여겨볼 것은 순위가 아니라 오류가 모이는 자리입니다. 세 시스템 모두 법이 개정된 지점, 즉 개정 전 규칙과 개정 후 규칙이 갈리는 자리에서 무너졌고, 가장 취약한 시스템은 개정 전 규칙을 적용하면서 평균 9.1의 확신을 붙였습니다. 저자들은 이를 '확신의 관성'이라 부르며 선례 과적합 편향을 원인 가설로 제시합니다. 설계 관점에서 이 관찰이 중요한 이유는, 확신이 무작위로 어긋나는 것이 아니라 학습 분포에서 사례가 많이 쌓인 옛 규칙 쪽으로 체계적으로 기운다는 점입니다. 무작위 오류라면 표본을 늘려 평균으로 관리할 수 있지만, 방향이 있는 오류는 평균으로 흐려집니다. 그래서 개정 이력이 있는 조문은 정답률 표본에서 따로 떼어 별도 축으로 세지 않으면, 전체 점수가 올라가는 동안에도 가장 위험한 구간은 그대로 남습니다.
② 게이트는 두 방향으로 틀릴 수 있지만, 실패는 한 방향으로 몰린다
업무 에이전트의 행동 경계 판단을 재는 벤치마크는 실제 사고에 기반한 106개 시나리오를 진행·보류 라벨이 거의 반반이 되도록 구성하고, 여기에 증거를 뒤집은 거울 시나리오를 짝지어 붙였습니다. 30개 모델 조건에서 나온 결과는 한쪽으로 심하게 기울었습니다. 승인되고 증거로 해소된 정상 업무를 잘못 붙잡은 비율이 28.1퍼센트인 반면, 위험한 작업을 잘못 통과시킨 비율은 1.0퍼센트였습니다. 안전한 방향으로만 실패하니 괜찮다고 읽으면 곤란합니다. 사용자 입장에서 정당한 요청이 넷 중 하나꼴로 되돌아오는 시스템은 결국 우회되며, 우회되는 순간 게이트는 아무것도 지키지 못합니다. 더 뼈아픈 관찰은 거울 시나리오에서 나옵니다. 유명한 사고 원본에서는 98.5퍼센트를 맞히던 모델이 증거를 뒤집은 거울에서는 63.8퍼센트로 떨어졌습니다. 사고의 서사를 기억하고 있을 뿐 증거를 읽고 판단한 것이 아니었다는 뜻입니다. 저자들은 일반 성능과 게이트 보정은 다른 능력이며, 더 큰 모델이 경계에서 오히려 더 자주 과도하게 거절한다고 정리합니다.
③ 정확도가 같아도 감사가능성은 갈린다 — 음성 결과를 그대로 보고한 연구
기업 재무 분석을 대상으로 온톨로지 기반 검색 프레임워크를 평가한 연구는, 자사 방식이 더 정확하다는 결론을 내지 않았습니다. 145개 문항 벤치마크에서 검색을 붙이는 것 자체는 필요했지만, 검색 방식들 사이의 정답률 차이는 통계적으로 구분되지 않았고 저자들은 그 음성 결과를 명시적으로 보고합니다. 축을 바꾸자 순서가 뒤집혔습니다. 인용 추적가능성 지표에서 온톨로지 기반 검색이 가장 높았고, 어휘 기반 기준선과의 차이는 신뢰구간이 0을 포함하지 않았습니다. 함께 보고된 수치가 더 시사적입니다. 그래프 구조를 따라간 검색은 질문 주체 밖에서 끌어온 근거가 426건 중 0건이었던 반면, 어휘 기반 기준선은 그 비율이 16.8퍼센트와 20.2퍼센트였습니다. 정답은 같은데 '왜 이 근거가 여기 있는지'를 설명할 수 있는 정도가 달랐다는 것입니다. 규제 산업에서 답변이 쓸모 있으려면 사후에 되짚을 수 있어야 하므로, 저자들은 구조화된 검색이 비용을 정당화하는 축은 정확도가 아니라 감사가능성이라고 결론짓습니다. 검증 계층을 파는 제품에는 이 결론이 곧 판매 논리이자 계측 항목입니다.
④ 사람 쪽 축 — 검증은 데인 뒤에야 습관이 된다
같은 인도 연구의 2단계는 법학생 380명을 대상으로 한 설문입니다. 여기서 나온 관찰은 제품 설계에 직접 걸립니다. 조작된 인용을 실제로 겪어 본 응답자의 검증 점수는 5점 만점에 4.2였고, 겪어 보지 못한 응답자는 2.8이었습니다. 검증이 교육으로 미리 형성된 습관이 아니라 사고 이후의 반응적 적응이라는 뜻입니다. 여기에 두 숫자가 겹칩니다. 조작된 판례를 제출하면 법정모욕에 이를 수 있다는 사실을 아는 비율은 81.6퍼센트였지만, 윤리적 AI 사용에 관한 정식 교육을 받지 못한 비율이 71.1퍼센트였습니다. 위험은 알지만 확인하는 방법은 배우지 못한 상태입니다. 이 조합에서 제품이 취할 수 있는 태도는 둘뿐입니다. 사용자가 한 번 데이도록 두고 그 뒤의 각성에 기대거나, 검증을 사용자의 습관이 아니라 시스템의 기본값으로 옮기는 것입니다. 인용을 눌렀을 때 검색 결과 페이지가 아니라 원문으로 바로 열리는지, 미검증 인용이 검증된 인용과 시각적으로 구분되는지 같은 세부가 여기서 갈립니다. 사용자가 검증 능력을 갖추기를 기다리는 설계는 사실상 사고를 교육 수단으로 쓰는 설계입니다.
기술적 트레이드오프
긴장 관계 오류의 방향을 따로 세기 시작하면 두 개의 상반된 압력이 동시에 생깁니다. 과잉 차단을 줄이려 문턱을 낮추면 미검증 인용이 새어 나가고, 새는 것을 막으려 문턱을 올리면 정당한 답변이 되돌아옵니다. 두 오류는 단위가 달라 하나의 점수로 합산되지도 않습니다.
실무적 해소 합산하지 않는 것이 해법입니다. 두 오류를 하나의 지표로 묶는 순간 조정 손잡이가 사라지므로, 미검증 통과와 과잉 차단을 각각 독립된 계수기로 두고 서로 다른 임계로 경보를 겁니다. 방향은 여전히 안전 쪽으로 둡니다. 다만 안전 쪽 오류를 '비용 없음'으로 취급하지 않고 매일 세어, 차단 사유를 데이터 결함과 도구 결함으로 나누어 기록합니다. 도구 결함으로 분류된 차단은 게이트를 무르는 근거가 아니라 도구를 고치라는 작업 지시로 흘러가야 합니다.
법마디 OS에 적용한다면
법마디에 그대로 적용할 자리가 오늘 있었습니다. 데일리 법률상식 생성기가 오늘 발행을 차단했는데, 사유는 인용된 조문이 실재하지 않아서가 아니라 자유 텍스트에서 법령명을 뽑는 추출기가 문장 앞부분을 함께 삼켜 존재하지 않는 법령명을 만들어 냈기 때문이었습니다. 실제 조문은 실재했고 검증도 통과할 수 있는 상태였습니다. 즉 데이터 결함이 아니라 도구 결함으로 인한 차단이었고, 위 벤치마크가 말한 '증거로 해소된 정상 업무를 잘못 붙잡는' 오류와 같은 종류입니다. 그런데 현재 우리 계측은 이 차단을 세지 않습니다. 발행 여부와 미검증 인용 건수는 남지만, 차단 사유가 데이터 쪽인지 도구 쪽인지는 로그를 사람이 읽어야 알 수 있습니다. 우선 차단 로그에 사유 분류를 붙이고, 도구 결함 차단을 별도 계수기로 올려 일일 리포트에 노출하는 것이 첫 걸음입니다. 두 번째는 개정 이력 축입니다. 확신의 관성이 개정 지점에 몰린다면, 검증 자산에서 개정 이력이 있는 조문을 표본으로 따로 떼어 답변 품질을 별도 집계해야 합니다. 세 번째는 감사가능성입니다. 인용 원문 직결 비율과 근거가 질문 주체 밖에서 들어온 비율은 이미 계산할 수 있는 값이므로, 정확도와 나란히 놓고 보는 지표로 승격할 수 있습니다.
기술적 함의
- 정확도가 같은 두 시스템은 같은 시스템이 아닙니다. 오류의 방향과 근거의 추적가능성이 다르면 규제 산업에서의 쓸모가 달라집니다.
- 안전한 방향의 오류도 비용입니다. 세지 않으면 줄일 수 없고, 줄이지 않으면 사용자는 게이트를 우회하는 경로를 찾아냅니다.
- 검증을 사용자의 습관에 맡기는 설계는 사고를 교육 수단으로 쓰는 설계입니다. 검증은 기본값이어야 합니다.
"무엇을 더 잘 맞힐 것인가보다, 무엇을 따로 셀 것인가가 시스템의 성격을 결정합니다."
