흐린 지문과 흐려진 추세: 입력의 품질을 먼저 매긴다
흐릿한 지문은 선명한 지문과 같은 무게의 증거가 아닙니다. 측정 오차를 무시하면 실제로 있는 관계도 흐려져 보입니다. 미국 국립표준기술연구원의 두 발표를 따라, 법률 AI 가 입력의 품질과 자기 측정기의 오차를 먼저 재야 하는 이유를 다룹니다.
초록 미국 국립표준기술연구원(NIST)은 올해 두 갈래에서 같은 교훈을 내놓았습니다. 하나는 지문 감식입니다. 약 1만 점의 잠재지문 데이터셋(SD 302) 전부에 품질 주석을 달고, 지문 한 점을 넣으면 0~100 의 품질 점수를 돌려주는 도구(OpenLQM)를 공개했습니다. 다른 하나는 나노 측정입니다. 크기 측정이 완벽하다고 가정하는 흔한 분석 오류가 크기와 성질 사이의 관계를 흐리게 만들며, 이를 되돌리려면 기준 물질로 자기 측정 오차부터 추정해야 한다고 밝혔습니다. 이 칼럼은 두 발표를 법률 AI 의 입력 계층으로 옮깁니다. 사용자가 올린 문서, 검색해 온 조문과 판례, 사실관계 진술은 모두 품질이 다른 입력이고, 그 품질을 매기지 않은 채 결론과의 관계를 읽으면 결론의 근거가 흐려집니다.
범죄 현장에서 수집한 지문은 고르지 않습니다. 어떤 부분은 융선이 또렷하고 끊기지 않지만, 어떤 부분은 번지고 끊겨 있습니다. 숙련된 감식관은 이 차이를 알고 흐린 영역에서 찾은 특징에는 덜 기댑니다. 문제는 그 판단이 사람의 눈에만 있을 때 생깁니다. 같은 지문을 두 감식관이 다르게 평가하면 그 증거의 무게는 누가 보았는가에 달리게 됩니다. NIST 가 지문마다 품질 영역을 색으로 칠한 주석을 달고 품질을 숫자로 돌려주는 도구를 공개한 것은 이 판단을 재현 가능한 절차로 바꾸려는 시도입니다. 법률 AI 도 같은 자리에 서 있습니다. 스캔이 흐린 계약서, 날짜가 빠진 사실관계, 요지만 남은 판례 인용은 선명한 원문과 같은 무게로 추론에 들어가서는 안 됩니다. 그리고 그 입력을 재는 우리의 검사기 역시 오차를 가진 측정 도구라는 사실을, 나노 측정 연구가 다른 방향에서 일깨워 줍니다.
핵심 기술 개념
입력 품질 점수(Input Quality Score)
추론에 들어가는 입력 하나하나가 결론을 얼마나 지탱할 수 있는지를 정해진 절차로 매긴 값입니다. NIST 의 OpenLQM 이 지문 한 점에 0~100 점을 매기듯, 법률 AI 에서는 원문 대조 여부·출처의 판본·누락된 요소를 기준으로 문서와 인용마다 등급을 붙입니다.
측정 오차에 의한 관계 희석(Attenuation by Measurement Error)
설명 변수를 부정확하게 재면 그 변수와 결과 사이의 관계가 실제보다 약하게 보이는 현상입니다. NIST 연구진은 이를 조광기를 건드려 빛이 흐려지는 것에 비유했고, 오차를 추정해 보정하면 참된 관계가 드러난다고 보였습니다.
기준 물질(Reference Material)
참값이 알려진 표본입니다. 자기 장비와 방법으로 기준 물질을 재어 참값과의 차이를 보면 그 측정 체계의 오차를 추정할 수 있습니다. 법률 AI 에서는 정답을 이미 아는 질의·인용 묶음이 이 역할을 합니다.
기술 심층 분석
주석이 가르치는 것: 어디를 보고 얼마나 기댈 것인가
NIST 가 2026년 3월 낸 「NIST Helps Fingerprint Examiners With New Data and Software Release」에 따르면, SD 302 는 자원자 200명이 쪽지를 쓰고 회로기판을 집고 지폐를 만지게 한 뒤, 현장 감식에서 흔히 쓰는 방법으로 남은 지문을 채취한 데이터셋입니다. 2019년 첫 공개 이후 90개국이 넘는 나라의 1,000곳이 넘는 연구기관이 내려받았지만, 품질 주석이 달린 지문은 절반 정도뿐이었습니다. 이번에 나머지 전부에 주석이 달렸습니다. 주석은 지문 안에서 품질이 다른 영역을 색으로 구분합니다. NIST 연구자의 설명대로 이 주석은 신입 감식관에게 식별 특징을 어디서 찾을지 가르치고, 알고리즘에게는 어디를 보고 특징의 중요도에 얼마의 무게를 줄지 가르칩니다. 여기서 중요한 것은 주석의 단위가 지문 전체가 아니라 영역이라는 점입니다. 한 점의 지문 안에서도 믿을 수 있는 부분과 없는 부분이 섞여 있고, 증거의 무게는 그 구분 위에서 정해집니다. 법률 문서도 같습니다. 한 계약서 안에서 서명면은 선명한데 별지가 흐릴 수 있고, 한 판례 인용 안에서 사건번호는 맞는데 인용한 요지는 다른 사건의 것일 수 있습니다. 입력을 통째로 믿거나 통째로 버리는 대신, 어느 부분에 기댈 수 있는지를 영역 단위로 적어 두는 것이 주석의 교훈입니다.
품질을 숫자로 돌려주는 도구: 분류는 판단 앞에 온다
두 번째 공개물인 OpenLQM 은 원래 미국 법집행기관만 쓰던 LQMetric 을 NIST 가 비용을 대 맥·윈도·리눅스에서 돌도록 바꾸게 한 뒤 오픈소스로 푼 것입니다. 지문을 넣으면 0~100 사이의 품질 점수를 돌려줍니다. NIST 가 밝힌 쓰임새는 판정이 아니라 분류입니다. 한 현장에서 수백 점의 지문이 나오면 가장 상세한 정보를 담은 것부터 가려내 감식관의 시간을 거기에 쓰게 하는 것입니다. 육군 범죄수사대 감식관은 이 도구가 잠재지문 품질 평가의 객관성과 재현성을 높이는 데 결정적이었다고 말했습니다. 이 순서가 핵심입니다. 품질 점수는 누가 범인인지 말하지 않습니다. 어떤 입력에 판단을 걸어도 되는지를 먼저 말할 뿐입니다. 법률 AI 가 흔히 거꾸로 가는 자리가 여기입니다. 입력이 들어오면 곧바로 결론을 만들고, 품질 문제는 결론이 틀린 뒤에야 발견됩니다. 판단 앞에 분류 단계를 두면, 품질이 낮은 입력은 결론의 근거가 아니라 보충 질문의 대상이 됩니다. 사용자에게 원본 파일을 다시 요청하거나, 원문과 대조되지 않은 인용을 결론의 전제에서 빼는 식입니다.
흐려진 추세: 재는 자의 오차가 관계를 지운다
나노 측정 연구(「NIST Researchers Correct Common Error Confounding Nanotech Measurements」, 2026년 8월)는 다른 쪽에서 같은 문제를 보여 줍니다. 연구자들은 나노입자의 크기를 재고, 크기에 따라 밝기나 약물 탑재량이 어떻게 달라지는지 그래프로 추세를 읽습니다. 그런데 많은 연구가 크기 측정이 완벽하게 정밀하고 정확하다고 가정합니다. 실제로 나노 규모의 크기 측정은 정밀도와 정확도가 제한적이고, 때로는 매우 제한적입니다. NIST 연구진은 이렇게 무시된 크기 오차가 조광기를 건드리듯 크기와 성질 사이의 관계를 흐리게 만든다고 설명했습니다. 몇몇 핵심 논문에서 이 문제를 발견한 뒤 다른 연구들을 살펴보니 비슷한 문제가 이어졌습니다. 법률 AI 의 평가에서도 이 구조가 반복됩니다. 예컨대 '질문이 복잡할수록 인용 오류가 늘어나는가'를 보려면 질문의 복잡도를 재야 하는데, 그 복잡도 측정 자체가 거칠면 실제로 있는 관계가 약하게 보입니다. 그러면 우리는 복잡한 질문에 대한 별도 대비가 필요 없다는, 틀린 안심에 도달합니다. 관계가 없다는 결론은 측정이 충분히 선명할 때만 내릴 수 있습니다.
기준 물질로 자기 오차를 먼저 잰다
NIST 연구진이 내놓은 해법은 보정 공식만이 아니라 그 공식을 쓰기 위한 절차입니다. 보정을 하려면 먼저 자기 측정 오차를 추정해야 하고, 가장 좋은 방법은 신뢰할 수 있는 기준 물질을 자기 장비와 방법으로 재어 기준값과의 차이를 보는 것입니다. 기준 물질이 없는 경우에도 측정의 불확도를 주의 깊게 계산하면 보정을 쓸 수 있다고 덧붙였습니다. 이 절차를 법률 AI 의 검사기에 옮기면 모양이 분명해집니다. 인용이 원문과 맞는지 보는 검사기, 답변의 분야를 가르는 분류기, 문서의 서식을 보는 검사기는 모두 측정 도구입니다. 측정 도구라면 오차가 있고, 그 오차는 정답을 이미 아는 묶음, 곧 기준 물질로 재야 합니다. 틀린 인용을 일부러 섞은 묶음을 검사기에 통과시켜 몇 개를 놓치는지, 옳은 인용을 몇 개나 잘못 막는지를 먼저 알아야 합니다. 그 수를 모르는 채 '이번 주 오류가 줄었다'고 읽으면, 줄어든 것이 오류인지 검사기의 눈인지 가를 수 없습니다. 검사기를 바꾸거나 규칙을 고칠 때마다 기준 묶음을 다시 돌리는 것이 측정의 순서입니다.
기술적 트레이드오프
긴장 관계 입력마다 품질을 매기고 검사기마다 기준 묶음을 돌리는 일은 비용이 든다. 품질이 낮다고 분류된 입력을 보충 질문으로 돌리면 사용자는 한 번에 답을 받지 못하고, 기준 묶음을 만들고 유지하는 데에도 사람의 판정이 필요하다. 반대로 이 단계를 건너뛰면 흐린 입력이 선명한 입력과 같은 무게로 결론에 들어가고, 검사기의 오차는 추세 속에 숨는다.
실무적 해소 비용을 입력의 무게에 비례시킵니다. 모든 입력을 같은 깊이로 검사하지 않고, 결론이 직접 기대는 입력, 곧 결론 문장에 인용되는 조문과 판례, 청구의 근거가 되는 문서만 품질 등급을 필수로 매깁니다. 배경 설명에 쓰이는 입력은 등급 없이 들어가되 결론의 전제가 될 수 없게 표시합니다. 기준 묶음도 매번 새로 만들지 않고, 실제로 틀린 것으로 드러난 사례를 모아 키웁니다. 한 번 잡힌 결함은 다음 검사기의 기준 물질이 되므로 유지 비용이 사고의 수에 따라 늘고, 사고가 없으면 늘지 않습니다. 보충 질문은 품질이 낮은 입력이 결론의 유일한 근거일 때만 던져, 사용자의 대기 시간을 결론이 흔들리는 경우로 한정합니다.
이 주장이 틀리는 조건
반증 조건 다음 관측이 나오면 이 글의 주장은 틀린 것입니다. 결론 문장에 인용된 입력에 품질 등급을 붙여 운영했는데, 등급이 낮은 입력에 기댄 답변과 높은 입력에 기댄 답변의 인용 오류율이 충분한 표본에서 차이 나지 않는다면, 입력 품질이 결론의 신뢰를 가른다는 전제가 우리 과제에는 맞지 않는 것입니다. 또 틀린 인용을 섞은 기준 묶음으로 검사기의 놓침과 과잉 차단을 쟀을 때 그 값이 규칙을 바꿔도 거의 움직이지 않고, 그 값을 무시한 추세 판독과 반영한 판독이 같은 결론을 계속 낸다면, 측정기의 오차를 먼저 재라는 권고는 비용만 더하는 절차라고 인정해야 합니다.
법마디 OS에 적용한다면
법마디 OS 는 답변의 인용을 국가법령정보센터 원문과 대조하고, 대조되지 않으면 그 인용을 결론에 쓰지 않는 쪽으로 설계되어 있습니다. 이것은 지문 감식으로 치면 품질 영역을 나누는 일의 절반입니다. 원문과 맞는 인용과 맞지 않는 인용을 가르기 때문입니다. 남은 절반은 사용자가 올리는 입력입니다. 흐린 스캔본, 날짜가 빠진 사실관계, 출처가 불분명한 판례 요지는 지금도 선명한 입력과 비슷한 무게로 추론에 들어갈 수 있습니다. 그래서 결론 문장이 직접 기대는 입력부터 등급을 붙이고, 등급이 낮은 입력이 결론의 유일한 근거가 되면 답을 확정하기 전에 원본을 다시 묻는 방향으로 다듬어 가려 합니다. 측정 쪽도 같습니다. 우리는 정답을 이미 아는 문항 묶음을 두고 검사기를 시험해 왔고, 한 번 잡힌 결함은 다음 시험의 기준 사례가 됩니다. 검사기의 규칙을 바꿀 때마다 그 묶음으로 놓침과 과잉 차단을 먼저 재고 나서야 발행면의 추세를 읽는 것, 그것이 이 칼럼이 우리에게 요구하는 순서입니다.
기술적 함의
- 입력은 통째로 믿을 대상이 아니라 영역별로 무게를 달 대상이다. 한 문서, 한 인용 안에서도 원문과 대조된 부분과 그렇지 않은 부분을 나눠 적어야 결론이 어디에 기대는지 보인다.
- 품질 점수는 판정이 아니라 분류다. 판단 앞에 분류 단계를 두면 품질이 낮은 입력은 결론의 근거에서 빠지고 보충 질문의 대상이 된다.
- 검사기도 측정 도구다. 정답을 아는 기준 묶음으로 놓침과 과잉 차단을 먼저 재지 않으면, 관계가 없다는 판독이 실제로 없음인지 측정이 흐린 것인지 가를 수 없다.
"흐린 지문은 쓸모없는 증거가 아닙니다. 다만 선명한 지문과 같은 무게로 저울에 올려서는 안 되는 증거입니다. 법률 AI 의 입력도, 그 입력을 재는 검사기도 마찬가지입니다. 무게를 달기 전에 품질을 매기고, 추세를 읽기 전에 자기 측정기의 오차를 먼저 재는 것. 새 기술이 아니라 측정 과학이 오래 지켜 온 순서를 법률의 자리로 옮기는 일입니다."
