없다고 말할 자격: 부재 판정은 커버리지의 함수다

초록 이 칼럼은 검색증강 시스템이 부정 답변을 내놓을 자격을 따진다. 관측되지 않았다는 사실은 근거가 질의 범위를 완전히 덮을 때에만 부정을 정당화하고, 그렇지 않으면 답은 미지로 남아야 한다. 최근 연구는 모델이 이 종결 판단에서 불안정하며, 부분적으로만 덮은 근거를 질의를 덮은 것으로 취급하는 비대칭 오류를 보인다는 것을 보고한다. 다단 검색 환경에서는 이유를 맞게 짚으면서도 적절한 비답변으로 결단하지 못하는 지점이 병목으로 지목된다. 결론은 부재 판정을 신뢰도 추정에 맡기지 않고, 답할 수 없는 것을 표현할 수 없게 만드는 구조로 옮기는 것이다.

법률 질의응답에서 가장 위험한 문장은 틀린 조문을 대는 문장이 아니다. 위험한 문장은 그런 조문은 없다고 말하는 문장이다. 틀린 인용은 대조하면 드러나지만, 없다는 단정은 사용자가 확인할 방법을 함께 닫아 버린다. 그리고 시스템 안쪽에서 이 두 문장은 전혀 다른 근거 위에 서 있다. 있다고 말하려면 하나를 찾으면 되지만, 없다고 말하려면 찾지 못했다는 사실만으로는 부족하고 찾을 곳을 다 봤다는 사실이 필요하다. 코퍼스가 그 법령을 얼마나 담고 있는지 모르는 상태에서 나온 없음은, 부재의 진술이 아니라 자기 무지의 진술이다. 최근 한 달 사이 나온 세 편의 연구는 이 문제를 각각 평가와 진단과 설계의 층에서 다룬다. 함께 읽으면 부재 판정을 어디에 두어야 하는지가 분명해진다.

핵심 기술 개념

커버리지 민감 부재추론

관측되지 않았다는 사실이 부정 답변을 정당화하는 것은 근거가 질의 범위를 완전히 덮을 때뿐이고, 그렇지 않으면 답이 미지로 남아야 한다는 원칙을 가리킨다.

과잉 종결(over-closure)

근거가 질의 범위의 일부만 덮었는데도 전부 덮었다고 취급해 없음으로 단정해 버리는 오류다. 반대 방향의 오류는 덮었는데도 모름으로 남기는 과소 종결이다.

구조적 기권(structural abstention)

신뢰도를 추정해 낮으면 거절하는 방식이 아니라, 답할 수 없는 요청을 애초에 표현할 수 없게 만들어 거절이 설계상 자동으로 성립하게 하는 접근이다.

기술 심층 분석

관측되지 않음은 부재가 아니다 — 부정 답변의 정당화 조건

첫 번째 연구는 문제를 정면으로 정식화한다. 어떤 것이 기록이나 목록, 검색된 맥락에서 빠져 있는지 묻는 질의에 대해, 비관측이 부정 답변을 허락하는 것은 근거가 질의 범위를 완전히 덮을 때뿐이고 그렇지 않으면 답은 미지로 남아야 한다는 것이다. 저자들은 이를 커버리지 민감 부재추론이라 부르고, 질문과 관측된 사실을 고정한 채 질의 대비 커버리지만 바꾸는 통제된 쌍 구성과 실제 문서 기반의 대조군 평가로 이루어진 평가 자료를 제시한다. 설계의 핵심은 변수를 하나만 남긴 것이다. 모델이 틀리는 이유가 지식 부족인지 종결 판단의 결함인지 구분되지 않으면, 정확도를 올려도 부재 판정의 신뢰도는 올라가지 않는다. 세 계열의 모델에서 종결 판단은 불안정했고 과잉 종결이 상당했으며, 정당한 부정과 근거 불충분을 안정적으로 구분하지 못했다. 법률 시스템의 언어로 옮기면 이렇다. 없음과 모름을 같은 반환값으로 쓰는 시스템은 이 결함을 측정할 수도 없다.

실패는 비대칭이다 — 부분 커버리지를 전체로 착각한다

같은 연구에서 가장 실무적으로 값이 나가는 관찰은 실패의 방향이 한쪽으로 기울어 있다는 것이다. 모델은 암묵적으로 완전한 근거는 완전하다고 잘 알아보는 반면, 암묵적으로 부분적인 근거를 질의를 덮은 것처럼 취급하는 경향을 보였다. 즉 위험은 대칭적으로 분포하지 않고 없음 쪽으로 쏠린다. 더 중요한 것은 프롬프트로 이 문제를 고치려는 시도의 결과다. 프롬프트 조정은 과잉 종결과 과소 종결 사이에서 오류를 재분배하는 데 그쳤고 일관되게 해소하지 못했다. 구조화된 증서 요구를 통해 오류를 추적했을 때 많은 사례가 근거 커버리지의 오기술로 귀착됐다는 결과도 함께 보고된다. 실제 문서 기반 평가에서도 부분 커버리지의 비대칭은 유지됐고, 강도와 두 방향 오류의 균형만 모델과 프롬프트와 출처에 따라 달라졌다. 여기서 얻는 설계 교훈은 분명하다. 부재 판정의 신뢰도는 프롬프트가 아니라 커버리지를 어떻게 계산하고 어떻게 남기는지에 달려 있다.

거절의 어려움은 이유가 아니라 결단이다

두 번째 연구는 이 문제를 다단 검색 에이전트로 확장한다. 저자들은 답할 수 없는 다단 질문 889건을 엔티티 경로에 근거해 구성하고, 답 미지와 거짓 전제와 불충분 명세라는 세 원인을 뿌리·중간·말단 위치와 교차시켜 전제 검증과 중간 다리 확인과 말단 정지를 각각 따로 관측할 수 있게 만들었다. 그리고 결과를 목표 인식 거절, 유사 거절, 환각 완결, 검색 예산 소진의 네 갈래로 분류한다. 검색증강 모드의 최신 모델 열 종을 재었을 때 목표 인식 정지율이 가장 높은 모델도 42.9%에 그쳤다. 뿌리와 중간 항목이 말단 항목보다 일관되게 어려웠고, 거짓 전제에서 가장 높고 불충분 명세에서 가장 낮은 성적이 나왔다. 그런데 명시적으로 거절에 가까운 응답만 모아 보면 그중 84.7%에서 98.4%가 옳은 이유를 짚고 있었다. 병목은 이유를 모르는 데 있지 않고 적절한 비답변으로 결단하는 데 있다는 뜻이다. 실패한 궤적은 환각이나 검색 예산 소진으로 갈라졌다. 이유를 알면서도 멈추지 못하는 시스템에 필요한 것은 더 나은 판단이 아니라 멈춤을 강제하는 경계다.

통계적 기권과 구조적 기권 — 거절에 신뢰도가 필요하지 않게 만드는 설계

세 번째 연구는 그 경계를 어디에 그을지 제안한다. 저자들이 다루는 대상은 자연어로 데이터베이스를 묻는 시스템인데, 문제 구조는 법률 인용 검증과 같다. 환각된 열 하나나 잘못 집계된 합계 하나가 유창한 오답을 만들고, 사용하는 지점에서 정답과 구별되지 않는다. 소비자가 생성된 질의를 들여다볼 수 없을 때, 더구나 소비자가 사람이 아니라 도구를 쓰는 에이전트일 때, 정확도만으로는 부족하다. 어떤 답을 불신해야 하는지 표시하는 것이 아무것도 없기 때문이다. 저자들이 내놓은 패턴은 생성 껍질과 신뢰 커널의 분리이고, 지키는 불변식은 하나다. 지어낼 수 있는 구성요소는 시스템이 무엇을 답할지에는 영향을 줄 수 있으나 어떤 값을 돌려줄지에는 결코 영향을 주지 못한다. 커널이 표현할 수 없는 요청은 근사되지 않고 거절된다. 저자들은 이를 구조적 기권이라 부르며 선택적 예측과 보정된 신뢰도의 통계적 기권과 구분한다. 여기서 거절은 신뢰도 추정을 필요로 하지 않는다. 답할 수 없는 요청이 표현 자체로 불가능하기 때문이다.

기술적 트레이드오프

긴장 관계 모름을 늘리면 시스템의 유용성이 떨어지고, 없음을 늘리면 신뢰가 떨어진다. 두 오류는 같은 축의 양쪽 끝이므로 한쪽만 줄이는 조정은 다른 쪽을 늘린다. 인용한 첫 연구가 프롬프트 조정에서 관측한 오류 재분배가 정확히 이 긴장이다.

실무적 해소 해소의 방향은 임계값을 옮기는 것이 아니라 판단의 근거를 바꾸는 것이다. 커버리지를 문장으로 추정하지 말고 세는 것이 첫 단계다. 어떤 법령의 조문 목록을 전량 확보했는지, 그 확보가 언제 것인지를 수치로 남기면 종결 판단이 모델의 감각에서 자료의 성질로 이동한다. 두 번째 단계는 그 수치가 없는 경우에 없음이라는 값을 아예 만들 수 없게 반환형을 좁히는 것이다. 그러면 과잉 종결은 임계값 조정 문제가 아니라 표현 불가능성 문제가 되고, 남은 선택은 모름을 말하거나 커버리지를 확보하러 가는 두 가지뿐이 된다.

법마디 OS에 적용한다면

법마디 OS 의 인용 검증기는 이미 이 축 위에 서 있다. 검증기는 조문이 확인됐는지, 확인되지 않았는지, 그리고 코퍼스가 담고 있는데도 찾지 못해 의심스러운지를 갈라 판정한다. 문제는 세 번째 판정, 즉 부재에 가까운 단정이 코퍼스 커버리지에 의존한다는 점이다. 수록이 얇은 법령에서 나온 의심 판정은 법령에 대한 진술이 아니라 코퍼스에 대한 진술이다. 그래서 자산 기준일에 유효기간을 붙여 기간이 지나면 단정을 자동으로 끄게 해 둔 설계는 방향이 맞다. 다음 세 단계가 남는다. 첫째, 법령별 수록 건수와 확보 시점을 커버리지 증서로 만들어 판정과 함께 남기고, 증서가 얇으면 판정 문구를 없음이 아니라 확인 불가로 내린다. 둘째, 조문 단위 질의에서는 해당 법령의 조문 목록을 전량 확보했는지를 판정의 전제 조건으로 명시해, 부분 조회로 얻은 미발견이 부재로 승격되지 못하게 한다. 셋째, 커버리지 증서가 없는 법령과 조문 쌍에 대해서는 부재 판정 자체를 표현할 수 없는 반환형으로 좁힌다. 이렇게 하면 부재 단정은 정책으로 끄는 기능이 아니라 자료가 갖추어질 때만 나타나는 값이 된다. 세 단계 모두 더 큰 모델을 필요로 하지 않고, 이미 있는 자산 통계를 판정 경로에 잇는 작업이다.

기술적 함의

없음과 모름을 같은 반환값으로 쓰는 시스템은 자기 부재 판정의 오류를 측정조차 할 수 없다.
부재 판정의 신뢰도는 프롬프트가 아니라 커버리지를 세고 남기는 방식에서 나온다.
이유를 맞게 짚으면서도 멈추지 못하는 실패에는 더 나은 판단보다 표현 불가능성이 필요하다.

"없다고 말하는 일은 아는 것을 말하는 일이 아니라, 어디까지 봤는지를 말하는 일이다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급

법마디 OS 무료로 경험하기

본 칼럼은 법마디 OS 기술팀의 관점이며, 특정 제품·기술에 대한 보증이나 법률 자문이 아닙니다.