성공과 중단의 기준을 착수 전에 고정한다

help맥락

ADR-0001 은 패턴 식별 정확도가 무작위 대비 유의하지 않으면 트랙 폐기를 검토한다고 했다. ADR-0003 은 반증 병렬 제시가 정확도를 떨어뜨리면 재작성한다고 했고, ADR-0007 은 접근 격차가 개선되지 않으면 계속 여부를 다룬다고 했다. ADR-0004 는 오류가능성을 알 수 없는 채로 결과를 내지 않겠다고 했다.

모두 측정을 전제하지만, 무엇을 어떤 방법으로 재서 그 판단에 이를 것인지는 어느 기록에도 없다. 기준이 없으면 이 약속들은 지켜졌는지 확인할 수 없고, 확인할 수 없는 약속은 지켜지지 않는다.

더 큰 문제는 순서다. 만들고 난 뒤에 기준을 정하면 기준은 결과에 맞춰진다. 성능이 기대에 못 미치면 지표를 바꾸고, 그래도 안 되면 기준선을 낮춘다. 이것은 부정직해서가 아니라 자연스럽게 일어난다.

형사절차에서 이 문제는 대칭적이지 않다. 무고한 대상을 가리키는 오류와 진범을 놓치는 오류는 비용이 다르다.

alt_route검토한 대안

gavel결정

1. 각 트랙은 착수 전에 평가 지표·기준선·중단선을 문서로 고정하고 이 기록에서 링크한다. 착수 후 변경하려면 변경 전후 값과 사유를 개정 이력에 남긴다.
2. 기준선은 무작위 추정과 기존 실무 중 더 높은 쪽으로 한다. 무작위보다 낫다는 것만으로는 도입 근거가 되지 않는다.
3. 오류는 단일 수치로 보고하지 않는다. 위양성과 위음성을 분리해 보고하고, 위양성 상한을 다른 지표보다 먼저 정한다. 상한을 넘으면 다른 지표가 아무리 좋아도 통과로 보지 않는다.
4. 정답 데이터가 없어 오류율을 산출할 수 없는 과제는 '정량화 불가'로 고정하고, 그 상태에서는 ADR-0001 의 G2 이상 단계로 올리지 않는다.
5. 평가 결과는 성공과 실패를 모두 이 로그에 게시한다. 기대에 못 미친 시도를 삭제하거나 게시하지 않는 선택을 하지 않는다.
6. 중단선에 닿으면 중단이 기본값이다. 계속하려면 별도 기록으로 근거를 남겨야 하며, 그 근거는 '조금 더 하면 될 것 같다'가 아니라 무엇이 달라졌는지여야 한다.

menu_book근거

• 대법원은 과학적 분석기법에 오류가능성이 내포되어 있는 경우 법원이 분석 대상물과 분석 주체·절차·방법의 동일 여부와 내포된 오류가능성의 정도 등을 면밀히 심리하여 증명력을 판단하여야 한다고 판시하였다(대법원 2014. 2. 13. 선고 2013도9605 판결). 오류가능성의 정도를 법원에 제시하려면 그 정도를 미리 측정해 두어야 한다. 사후에 만들어 낸 수치는 심리의 대상이 될 수 없다.
• 「형사소송법」 제171조 제3항은 감정의 결과에 판단의 이유를 명시하도록 한다. 어느 정도로 믿을 수 있는지를 말할 수 없는 결과는 이유를 갖췄다고 보기 어렵다.
• 「대한민국헌법」 제27조 제4항은 형사피고인이 유죄 판결이 확정될 때까지 무죄로 추정된다고 정한다. 결정 3 이 위양성 상한을 다른 지표보다 먼저 정하는 이유가 여기에 있다. 무고한 대상을 향하는 오류와 진범을 놓치는 오류를 같은 저울에 올리는 것은 이 원칙과 맞지 않는다.
• 미국 국립표준기술연구소의 NISTIR 8503 은 법과학 해석을 개인의 역량 문제가 아니라 시스템 문제로 다루며 오류 관리와 검증을 그 축으로 삼는다. 오류를 사람의 실수로 보면 대책은 주의 촉구에 그치고, 시스템으로 보면 측정과 기준이 필요해진다.
• 결정 6 이 중단을 기본값으로 두는 이유는 비관이 아니라 유인 구조다. 계속이 기본값이면 중단에는 근거가 필요하고 계속에는 필요하지 않다. 이미 투입한 노력이 클수록 그 비대칭은 커진다. 기본값을 뒤집으면 그 압력이 반대로 작동한다.
• 결정 3 이 위양성 상한을 다른 지표보다 먼저 정하도록 한 데에는 통계적 이유도 있다. 집단 간 기저율이 다르면 공정성 기준들을 동시에 충족할 수 없고, 한 기준을 맞추면 다른 기준이 어긋나 상당한 차별적 영향이 발생할 수 있다(Chouldechova, 2017). 즉 '모든 면에서 공정한 임계값'은 존재하지 않으므로, 무엇을 우선할지 먼저 정하지 않으면 사후에 유리한 기준을 골라 공정하다고 주장하게 된다. 무죄추정 원칙에 비추어 우리가 먼저 고정하는 것은 위양성이다.
• 결정 1(착수 전 고정)과 결정 3(측정된 오류)은 법과학 타당성 기준과 같은 방향이다. PCAST(2016)는 기초적 타당성의 요건으로 '측정된 수준에서' 반복·재현·정확성이 제시될 것을 든다. 측정이 없으면 타당성 주장 자체가 성립하지 않으므로, 측정 계획은 결과가 나온 뒤가 아니라 착수 전에 있어야 한다.
• 결정 2 의 기준선 규정은 실제 적용에서 절반만 지켜졌다. 2026-07-25 G1 프로토타입에서 기존 실무의 성능을 측정할 자료가 없어 '무작위와 기존 실무 중 높은 쪽'을 충족하지 못했고, 죄명을 무시한 조문 빈도를 대안 기준선으로 삼았다. 무작위보다는 강한 기준선이지만 규정이 요구한 것은 아니며, 이 한계를 평가 기록에 함께 적었다. 기존 실무를 측정할 수 없는 과제에서는 이 규정이 어떻게 적용되는지가 아직 정해지지 않았다.

warning이 결정이 만드는 한계

• 사전 고정은 유연성을 잃는다. 착수 후 더 나은 지표를 발견해도 즉시 갈아탈 수 없고 이력을 남겨야 한다. 이 마찰은 비용이 아니라 이 결정의 내용이다.
• 위양성 상한을 먼저 정하면 전체 성능이 낮아 보인다. 상한을 지키느라 탐지율을 포기하는 구간이 생기며, 그 수치만 떼어 비교하면 경쟁 제품보다 못해 보일 수 있다.
• 결정 5 의 실패 게시는 평판 비용을 만든다. 잘 안 된 시도가 그대로 공개되므로 외부에서 그 부분만 인용할 수 있다. 그럼에도 실패를 감춘 기록은 성공 기록의 신뢰도까지 떨어뜨린다.
• 결정 4 는 정답 데이터가 없는 과제를 사실상 G1 에 묶어 둔다. 법과학의 여러 영역이 여기에 해당할 수 있으며, 그 경우 이 트랙은 오래 연구 단계에 머문다. 그것이 이 결정의 예상된 결과다.
• 우리는 온프레미스 공급을 기본형으로 정했으므로(ADR-0008) 실사용 성능을 직접 측정할 수 없다. 착수 전 평가는 우리가 통제하는 환경에서만 이루어지며, 그 결과가 현장 성능과 같다고 말할 수 없다.
• 결정 5(성공과 실패를 모두 게시)의 첫 적용 사례가 2026-07-25 G1 프로토타입이다. 중단선은 통과했으나 평가 대상 408건 중 308건(75%)이 근거 부족으로 판단 보류였다. 통과 수치만 적고 보류율을 적지 않으면 그 자체가 이 기록이 금지한 사후 기준 맞추기가 된다.

event_repeat폐기 조건

• 각 트랙의 평가 문서가 확정될 때 — 이 기록에 링크를 추가하고 지표를 명시한다.
• 결정 3 의 위양성 상한을 실제 수치로 정할 수 있게 될 때 — 이 기록을 개정해 값을 적는다. 그전에는 어떤 수치도 대외에 제시하지 않는다.
• 중단선에 실제로 닿아 트랙을 중단하거나 계속하기로 할 때 — 그 판단을 별도 기록으로 남긴다.

balance근거자료

인용 법령

• 「형사소송법」 제171조(감정보고) 제3항감정 결과에 판단의 이유를 명시 — DRF 본문 실증
• 「대한민국헌법」 제27조 제4항유죄 확정 전 무죄추정 — 위양성 비대칭의 근거, DRF 본문 실증

인용 판례

• 대법원 2014. 2. 13. 선고 2013도9605 판결농수산물의원산지표시에관한법률위반·사기·사기미수 — 과학적 분석기법에 오류가능성이 내포되어 있고 동일 기법의 2차 결과가 공소사실과 배치되는 경우, 법원은 분석 대상물과 분석 주체·절차·방법의 동일 여부, 내포된 오류가능성의 정도 등을 면밀히 심리하여 각 증거방법의 증명력을 판단하여야 한다. · ADR-0004 에서 부착한 것과 같은 판례를 다른 국면에서 인용한다. 그 기록에서는 오류가능성의 기재 의무 근거로, 이 기록에서는 사전 측정의 필요 근거로 쓴다. 2026-07-25 DRF 판시사항·판결요지 1:1 대조.

참고자료

• NISTIR 8503 — Forensic DNA Interpretation and Human Factors: Improving Practice Through a Systems Approach미국 국립표준기술연구소(NIST) · Expert Working Group on Human Factors in Forensic DNA Interpretation · 2024-05 — 법과학 해석을 개인 역량이 아닌 시스템 문제로 다루며 오류 관리와 검증을 축으로 삼는다. 2026-07-25 원문(436쪽) 확인.
• Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction InstrumentsChouldechova A. — Big Data 5:153-163 · 2017 — 집단 간 유병률(기저율)이 다를 때 공정성 기준들을 동시에 충족할 수 없어 상당한 차별적 영향이 발생할 수 있음을 보인다. 2026-07-25 arXiv:1610.07524 초록 확인.
• Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-Comparison MethodsPresident's Council of Advisors on Science and Technology (PCAST), Executive Office of the President · 2016-09 — 174쪽. 본문 verbatim: 'Foundational validity for a forensic-science method requires that it be shown, based on empirical studies, to be repeatable, reproducible, and accurate, at levels that have been measured and are appropriate to the intended application.' 기초적 타당성과 적용상 타당성을 구분한다. 2026-07-25 원문 PDF 내려받아 해당 문장과 용어 빈도 직접 확인.

history개정 이력

• 2026-07-25결정 3(위양성 상한 우선)의 근거에 공정성 기준 양립불가에 관한 문헌 1건을 추가.기존 근거는 무죄추정이라는 규범적 이유뿐이었다. 기저율 차이가 있으면 기준들을 동시에 만족할 수 없다는 통계적 사실이 '무엇을 먼저 고정할지'를 정해야 하는 이유를 보강한다.
• 2026-07-25결정 1·3 의 근거에 PCAST(2016) 기초적 타당성 요건을 추가.법의학 문헌 조사에서 '측정된 수준'이 타당성의 구성 요건으로 다루어진다는 점이 확인되어, 사전 측정 요구의 근거를 국내 판례 외로 넓혔다.
• 2026-07-25기준선 규정의 실제 적용 한계와 첫 평가 사례의 보류율을 근거·한계에 기록.G1 프로토타입을 이 기록의 절차대로 수행한 결과, 결정 2 가 측정 불가능한 경우를 다루지 않는다는 점이 드러났다. 규정을 고치지 않고 우선 한계로 기록한다. 또 첫 결과가 중단선을 통과했으므로 결정 5 에 따라 통과 수치와 함께 보류율을 남긴다.

hub담당 리더

마디L60

시스템 총괄 · Master API Gateway

대한민국 변호사급 / 법원행정처 전산정보국장 출신급

설계로그는 특정 법률 분야가 아니라 시스템 전체의 설계 결정을 다룬다. 개별 도메인 리더가 아니라 60명 리더 시스템의 운영·품질을 총괄하는 리더가 담당한다.

리더 프로필 보기 arrow_forward