성공과 중단의 기준을 착수 전에 고정한다

help맥락

ADR-0001 은 패턴 식별 정확도가 무작위 대비 유의하지 않으면 트랙 폐기를 검토한다고 했다. ADR-0003 은 반증 병렬 제시가 정확도를 떨어뜨리면 재작성한다고 했고, ADR-0007 은 접근 격차가 개선되지 않으면 계속 여부를 다룬다고 했다. ADR-0004 는 오류가능성을 알 수 없는 채로 결과를 내지 않겠다고 했다.

모두 측정을 전제하지만, 무엇을 어떤 방법으로 재서 그 판단에 이를 것인지는 어느 기록에도 없다. 기준이 없으면 이 약속들은 지켜졌는지 확인할 수 없고, 확인할 수 없는 약속은 지켜지지 않는다.

더 큰 문제는 순서다. 만들고 난 뒤에 기준을 정하면 기준은 결과에 맞춰진다. 성능이 기대에 못 미치면 지표를 바꾸고, 그래도 안 되면 기준선을 낮춘다. 이것은 부정직해서가 아니라 자연스럽게 일어난다.

형사절차에서 이 문제는 대칭적이지 않다. 무고한 대상을 가리키는 오류와 진범을 놓치는 오류는 비용이 다르다.

alt_route검토한 대안

gavel결정

1. 각 트랙은 착수 전에 평가 지표·기준선·중단선을 문서로 고정하고 이 기록에서 링크한다. 착수 후 변경하려면 변경 전후 값과 사유를 개정 이력에 남긴다.
2. 기준선은 무작위 추정과 기존 실무 중 더 높은 쪽으로 한다. 무작위보다 낫다는 것만으로는 도입 근거가 되지 않는다.
3. 오류는 단일 수치로 보고하지 않는다. 위양성과 위음성을 분리해 보고하고, 위양성 상한을 다른 지표보다 먼저 정한다. 상한을 넘으면 다른 지표가 아무리 좋아도 통과로 보지 않는다.
4. 정답 데이터가 없어 오류율을 산출할 수 없는 과제는 '정량화 불가'로 고정하고, 그 상태에서는 ADR-0001 의 G2 이상 단계로 올리지 않는다.
5. 평가 결과는 성공과 실패를 모두 이 로그에 게시한다. 기대에 못 미친 시도를 삭제하거나 게시하지 않는 선택을 하지 않는다.
6. 중단선에 닿으면 중단이 기본값이다. 계속하려면 별도 기록으로 근거를 남겨야 하며, 그 근거는 '조금 더 하면 될 것 같다'가 아니라 무엇이 달라졌는지여야 한다.
7. 기준선을 정할 때 그 기준선이 무엇으로 맞히는지 함께 확인한다. 과제와 무관한 신호로 기준선이 부풀면 개선폭이 실제보다 작게 보이고, 반대로 시스템이 같은 신호에 기대면 개선폭이 실제보다 크게 보인다. 두 경우 모두 지표가 능력이 아니라 자료의 편중을 재게 된다.
8. 지표 통과와 별개로 산출물을 직접 읽는 점검을 산출 조건으로 둔다. 표본 수와 점검 항목을 미리 정하고, 무엇을 보았고 무엇이 걸렸는지를 산출물에 기록한다. 점검을 거치지 않은 산출물은 지표를 충족해도 내지 않는다.
9. 점검에서 걸린 패턴은 다음 회차부터 자동 검사로 옮긴다. 사람이 매번 같은 것을 보게 두면 점검이 쌓이지 않고, 쌓이지 않는 점검은 사람이 바뀌는 순간 사라진다. 자동으로 옮길 수 없는 판단만 사람에게 남긴다.

menu_book근거

• 대법원은 과학적 분석기법에 오류가능성이 내포되어 있는 경우 법원이 분석 대상물과 분석 주체·절차·방법의 동일 여부와 내포된 오류가능성의 정도 등을 면밀히 심리하여 증명력을 판단하여야 한다고 판시하였다(대법원 2014. 2. 13. 선고 2013도9605 판결). 오류가능성의 정도를 법원에 제시하려면 그 정도를 미리 측정해 두어야 한다. 사후에 만들어 낸 수치는 심리의 대상이 될 수 없다.
• 「형사소송법」 제171조 제3항은 감정의 결과에 판단의 이유를 명시하도록 한다. 어느 정도로 믿을 수 있는지를 말할 수 없는 결과는 이유를 갖췄다고 보기 어렵다.
• 「대한민국헌법」 제27조 제4항은 형사피고인이 유죄 판결이 확정될 때까지 무죄로 추정된다고 정한다. 결정 3 이 위양성 상한을 다른 지표보다 먼저 정하는 이유가 여기에 있다. 무고한 대상을 향하는 오류와 진범을 놓치는 오류를 같은 저울에 올리는 것은 이 원칙과 맞지 않는다.
• 미국 국립표준기술연구소의 NISTIR 8503 은 법과학 해석을 개인의 역량 문제가 아니라 시스템 문제로 다루며 오류 관리와 검증을 그 축으로 삼는다. 오류를 사람의 실수로 보면 대책은 주의 촉구에 그치고, 시스템으로 보면 측정과 기준이 필요해진다.
• 결정 6 이 중단을 기본값으로 두는 이유는 비관이 아니라 유인 구조다. 계속이 기본값이면 중단에는 근거가 필요하고 계속에는 필요하지 않다. 이미 투입한 노력이 클수록 그 비대칭은 커진다. 기본값을 뒤집으면 그 압력이 반대로 작동한다.
• 결정 3 이 위양성 상한을 다른 지표보다 먼저 정하도록 한 데에는 통계적 이유도 있다. 집단 간 기저율이 다르면 공정성 기준들을 동시에 충족할 수 없고, 한 기준을 맞추면 다른 기준이 어긋나 상당한 차별적 영향이 발생할 수 있다(Chouldechova, 2017). 즉 '모든 면에서 공정한 임계값'은 존재하지 않으므로, 무엇을 우선할지 먼저 정하지 않으면 사후에 유리한 기준을 골라 공정하다고 주장하게 된다. 무죄추정 원칙에 비추어 우리가 먼저 고정하는 것은 위양성이다.
• 결정 1(착수 전 고정)과 결정 3(측정된 오류)은 법과학 타당성 기준과 같은 방향이다. PCAST(2016)는 기초적 타당성의 요건으로 '측정된 수준에서' 반복·재현·정확성이 제시될 것을 든다. 측정이 없으면 타당성 주장 자체가 성립하지 않으므로, 측정 계획은 결과가 나온 뒤가 아니라 착수 전에 있어야 한다.
• 결정 2 의 기준선 규정은 실제 적용에서 절반만 지켜졌다. 2026-07-25 G1 프로토타입에서 기존 실무의 성능을 측정할 자료가 없어 '무작위와 기존 실무 중 높은 쪽'을 충족하지 못했고, 죄명을 무시한 조문 빈도를 대안 기준선으로 삼았다. 무작위보다는 강한 기준선이지만 규정이 요구한 것은 아니며, 이 한계를 평가 기록에 함께 적었다. 기존 실무를 측정할 수 없는 과제에서는 이 규정이 어떻게 적용되는지가 아직 정해지지 않았다.
• 결정 7 은 실측에서 나왔다. G1 프로토타입 1차 측정에서 top-5 개선은 +18.0pp 였는데, 죄명과 무관하게 형사 사건 전반에 등장하는 절차 조문을 제거하고 다시 재자 개선폭이 +25.6pp 로 커졌다. 기준선 자체가 19.0%에서 9.3%로 떨어졌기 때문이며, 절차 조문이 시스템이 아니라 기준선을 부풀리고 있었다는 뜻이다. 죄명 분산도가 이를 독립적으로 뒷받침한다. 인용 상위 여덟 조문이 모두 절차 조문이었고, 형사소송법 제308조는 94개 죄명, 제325조는 91개 죄명에 걸쳐 등장했다. 94개 죄명에 나타나는 조문은 정의상 죄명 정보를 담고 있지 않다.
• 결정 8·9 는 이 기록 자신의 사각지대에서 나왔다. 2026-07-25 G1 산출물에서 조문 추출 결함 두 건이 발견됐는데, 둘 다 지표를 통과한 상태였다. 형사 판례에서 가장 많이 인용되는 형법이 통째로 누락됐고, 띄어쓰기가 있는 법령명이 '특례법' 같은 파편으로 절단돼 있었다. 중단선은 그 상태에서도 통과했다. 단서는 지표가 아니라 '사기' 죄명의 최상위 조문이 '특례법 제23조'로 나온 산출물 자체였다.
• 결정 9 를 함께 두는 이유는 육안 점검이 지속되지 않기 때문이다. 이번에 걸린 것 중 자동화할 수 있는 것은 이미 옮겼다. 법령명 파편 검출, 근거 사건번호 형식 확인, 그리고 죄명이 '○○법위반' 형태일 때 그 ○○법의 조문이 실체 조문 목록에 있는지 확인하는 정합성 검사가 그것이다. 마지막 검사는 이번 사건을 그대로 잡는다. 자동화하지 못한 것은 '이 결과가 그 범주에서 말이 되는가'라는 판단이며, 그것만 사람에게 남긴다.

warning이 결정이 만드는 한계

• 사전 고정은 유연성을 잃는다. 착수 후 더 나은 지표를 발견해도 즉시 갈아탈 수 없고 이력을 남겨야 한다. 이 마찰은 비용이 아니라 이 결정의 내용이다.
• 위양성 상한을 먼저 정하면 전체 성능이 낮아 보인다. 상한을 지키느라 탐지율을 포기하는 구간이 생기며, 그 수치만 떼어 비교하면 경쟁 제품보다 못해 보일 수 있다.
• 결정 5 의 실패 게시는 평판 비용을 만든다. 잘 안 된 시도가 그대로 공개되므로 외부에서 그 부분만 인용할 수 있다. 그럼에도 실패를 감춘 기록은 성공 기록의 신뢰도까지 떨어뜨린다.
• 결정 4 는 정답 데이터가 없는 과제를 사실상 G1 에 묶어 둔다. 법과학의 여러 영역이 여기에 해당할 수 있으며, 그 경우 이 트랙은 오래 연구 단계에 머문다. 그것이 이 결정의 예상된 결과다.
• 우리는 온프레미스 공급을 기본형으로 정했으므로(ADR-0008) 실사용 성능을 직접 측정할 수 없다. 착수 전 평가는 우리가 통제하는 환경에서만 이루어지며, 그 결과가 현장 성능과 같다고 말할 수 없다.
• 결정 5(성공과 실패를 모두 게시)의 첫 적용 사례가 2026-07-25 G1 프로토타입이다. 중단선은 통과했으나 평가 대상 408건 중 308건(75%)이 근거 부족으로 판단 보류였다(1차 측정, 조문 추출 결함 수정 전). 통과 수치만 적고 보류율을 적지 않으면 그 자체가 이 기록이 금지한 사후 기준 맞추기가 된다.
• G1 프로토타입 2차 측정(절차 조문 분리 후, 조문 추출 결함 수정 전) 결과는 다음과 같다. 절차 조문 제거 후 top-5 시스템 34.9% · 기준선 9.3% · 개선 +25.6pp 로 중단선을 통과했으나, 사용 가능 사건이 1,357건에서 774건으로, 죄명이 649종에서 392종으로 줄었다. 개선폭은 커지고 적용 범위는 좁아졌다. 두 수치를 함께 적지 않으면 어느 쪽이든 오독된다.
• G1 프로토타입의 수치는 2026-07-25 조문 추출 결함을 고친 뒤 크게 달라졌다(3차 측정. 이 값이 현재 유효한 수치이며, 앞 두 문단의 1·2차 값은 폐기하지 않고 경과로 남긴다). 실체 조문 기준 top-5 개선이 +25.6pp 에서 +36.2pp 로, 사용 가능 사건이 1,357건에서 1,977건으로 바뀌었다. 지표·기준선·중단선은 그대로 두고 데이터 추출만 고쳤으므로 사후 기준 조정은 아니다. 다만 결함이 있는 상태에서도 중단선을 통과했다는 사실은 남는다. 중단선 통과가 산출물이 말이 된다는 보장은 아니며, 이 기록의 어느 결정도 그것을 요구하지 않는다는 점이 이번에 드러났다.
• 육안 점검은 표본만 본다. 표본에 걸리지 않은 결함은 그대로 나간다. 결정 8 은 결함이 없다는 보장이 아니라 지표만 보는 것보다 낫다는 주장이며, 실제로 이번 두 건은 표본 다섯 개 중 첫 항목에서 걸렸다.
• 결정 8 의 첫 적용에서 나온 것은 결함이 아니라 접근의 한계였다. 자동 이관 검사가 '출입국관리법위반'의 실체 조문 상위에 출입국관리법이 없다고 플래그했고, 확인해 보니 그 6건의 실체 조문은 헌법 제12조와 형법 제1조였다. 상고심은 구성요건보다 절차와 법리를 다투므로 판례가 인용하는 조문이 그 죄의 적용 조문과 다르다는 뜻이다. 지표로는 드러나지 않고 산출물을 읽어야 보이는 종류의 문제이며, 산출물에 범위 한계 고지를 넣어 오독을 막았다.
• 이 기록은 어디서 멈출지만 정하고 어디서 올릴지는 정하지 않았다. 중단선을 넘었을 때의 기본값이 비어 있으면 실무에서 그 자리는 '진행'으로 채워진다. 2026-07-26 ADR-0022 가 그 공백을 승격 요건으로 메웠으며, 그 기록은 승격의 기본값을 '올리지 않음'으로 둔다.
• 2026-07-26 3차 측정을 죄명 분산 필터로 다시 했다. 결정 7 은 기준선이 무엇으로 맞히는지 확인하라고 했는데, 2차 측정의 분리는 법령명(형사소송법 등)으로만 걸렀고 그 결과 헌법 제12조(156개 죄명)·형법 제30조(115개)처럼 제거된 형사소송법 제308조(94개)보다 분산이 더 큰 조문이 실체 조문으로 남아 있었다. 학습 죄명 종수의 5%(45종) 이상에 등장하는 조문 9개를 제외하고 다시 재자 top-5 시스템 recall 이 63.8%에서 50.0%로 13.8%p 떨어졌다. 기준선도 27.6%에서 11.4%로 떨어져 개선폭은 36.2%p에서 38.6%p 로 유지됐고 중단선은 통과했다. 개선폭은 견고했으나 절대 수치는 부풀어 있었다는 뜻이다. 임계는 결과를 보기 전에 고정했고 조정하지 않았다.
• 같은 측정에서 임계 민감도를 함께 냈다. 2.5%(22종 이상 제외, 13개 조문)에서 개선 34.2%p, 5%에서 38.6%p, 10%(91종 이상 제외, 1개 조문)에서 26.8%p 였다. 임계 선택이 중단선 통과라는 결론을 바꾸지는 않지만 개선폭 수치는 12%p 범위에서 흔들린다. 이 지표를 단일 수치로 제시하면 임계를 고른 사람이 수치를 고른 것이 된다. 적용 범위도 함께 좁아져 평가 대상이 175건에서 140건으로 줄었다.

event_repeat폐기 조건

• 각 트랙의 평가 문서가 확정될 때 — 이 기록에 링크를 추가하고 지표를 명시한다.
• 결정 3 의 위양성 상한을 실제 수치로 정할 수 있게 될 때 — 이 기록을 개정해 값을 적는다. 그전에는 어떤 수치도 대외에 제시하지 않는다.
• 중단선에 실제로 닿아 트랙을 중단하거나 계속하기로 할 때 — 그 판단을 별도 기록으로 남긴다.

balance근거자료

인용 법령

• 「형사소송법」 제171조(감정보고) 제3항감정 결과에 판단의 이유를 명시 — DRF 본문 실증
• 「대한민국헌법」 제27조 제4항유죄 확정 전 무죄추정 — 위양성 비대칭의 근거, DRF 본문 실증

인용 판례

• 대법원 2014. 2. 13. 선고 2013도9605 판결농수산물의원산지표시에관한법률위반·사기·사기미수 — 과학적 분석기법에 오류가능성이 내포되어 있고 동일 기법의 2차 결과가 공소사실과 배치되는 경우, 법원은 분석 대상물과 분석 주체·절차·방법의 동일 여부, 내포된 오류가능성의 정도 등을 면밀히 심리하여 각 증거방법의 증명력을 판단하여야 한다. · ADR-0004 에서 부착한 것과 같은 판례를 다른 국면에서 인용한다. 그 기록에서는 오류가능성의 기재 의무 근거로, 이 기록에서는 사전 측정의 필요 근거로 쓴다. 2026-07-25 DRF 판시사항·판결요지 1:1 대조.

참고자료

• NISTIR 8503 — Forensic DNA Interpretation and Human Factors: Improving Practice Through a Systems Approach원문대조미국 국립표준기술연구소(NIST) · Expert Working Group on Human Factors in Forensic DNA Interpretation · 2024-05 — 법과학 해석을 개인 역량이 아닌 시스템 문제로 다루며 오류 관리와 검증을 축으로 삼는다. 2026-07-25 원문(436쪽) 확인.
• Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments초록확인Chouldechova A. — Big Data 5:153-163 · 2017 — 집단 간 유병률(기저율)이 다를 때 공정성 기준들을 동시에 충족할 수 없어 상당한 차별적 영향이 발생할 수 있음을 보인다. 2026-07-25 arXiv:1610.07524 초록 확인.
• Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-Comparison Methods원문대조President's Council of Advisors on Science and Technology (PCAST), Executive Office of the President · 2016-09 — 174쪽. 본문 verbatim: 'Foundational validity for a forensic-science method requires that it be shown, based on empirical studies, to be repeatable, reproducible, and accurate, at levels that have been measured and are appropriate to the intended application.' 기초적 타당성과 적용상 타당성을 구분한다. 2026-07-25 원문 PDF 내려받아 해당 문장과 용어 빈도 직접 확인.

science산출물·측정 기록

• G1 프로토타입 평가 기록 (g1_case_structure.json)결정 1 이 요구한 '착수 전 고정' 문서의 실행 결과. 지표·기준선·중단선과 그 판정, 위양성·위음성 분리 수치, 절차/실체 조문 분리 재측정, 2026-07-26 추가한 죄명 분산 필터 3차 측정(임계 민감도 포함)과 충실성 검증 3종(제거·재현·일반화, 표본 비율 48.8%)이 들어 있다. 고정 기준 자체는 생성 스크립트 상단에 주석으로 박혀 있다.

history개정 이력

• 2026-07-25결정 3(위양성 상한 우선)의 근거에 공정성 기준 양립불가에 관한 문헌 1건을 추가.기존 근거는 무죄추정이라는 규범적 이유뿐이었다. 기저율 차이가 있으면 기준들을 동시에 만족할 수 없다는 통계적 사실이 '무엇을 먼저 고정할지'를 정해야 하는 이유를 보강한다.
• 2026-07-25결정 1·3 의 근거에 PCAST(2016) 기초적 타당성 요건을 추가.법의학 문헌 조사에서 '측정된 수준'이 타당성의 구성 요건으로 다루어진다는 점이 확인되어, 사전 측정 요구의 근거를 국내 판례 외로 넓혔다.
• 2026-07-25기준선 규정의 실제 적용 한계와 첫 평가 사례의 보류율을 근거·한계에 기록.G1 프로토타입을 이 기록의 절차대로 수행한 결과, 결정 2 가 측정 불가능한 경우를 다루지 않는다는 점이 드러났다. 규정을 고치지 않고 우선 한계로 기록한다. 또 첫 결과가 중단선을 통과했으므로 결정 5 에 따라 통과 수치와 함께 보류율을 남긴다.
• 2026-07-25결정 7(기준선이 무엇으로 맞히는지 확인) 신설. 절차 조문 분리 재측정 결과를 근거·한계에 기록.G1 프로토타입에서 기준선이 과제와 무관한 절차 조문으로 부풀어 있었음이 드러났다. 기준선을 정하는 규정만 있고 그 기준선을 점검하는 절차가 없으면 지표가 능력이 아니라 자료 편중을 재게 된다. 분리 기준(절차 법률 목록)은 결과를 보기 전에 고정했고 조정하지 않았다.
• 2026-07-25조문 추출 결함 수정에 따른 수치 변화와, 중단선 통과가 산출물 타당성을 보장하지 않는다는 사실을 한계에 기록.기준을 바꾸지 않고 데이터 추출만 고쳤으므로 사후 조정은 아니지만, 결함 상태에서도 통과했다는 사실 자체가 이 기록의 사각지대를 보여 준다. 감추지 않고 남긴다.
• 2026-07-25결정 8(산출물 육안 점검을 산출 조건으로) 및 결정 9(점검에서 걸린 패턴을 자동 검사로 이관) 신설.조문 추출 결함 두 건이 지표를 통과한 상태로 발견됐다. 이 기록은 지표·기준선·중단선을 정했으나 '산출물이 말이 되는가'를 확인하라는 요구가 없었다. 그 사각지대를 메운다. 다만 육안 점검만 두면 지속되지 않으므로 자동 이관을 함께 정한다.
• 2026-07-25결정 8 첫 적용 결과(판례 인용 조문 ≠ 적용 조문)를 한계에 기록.육안 점검이 지표로는 보이지 않는 해석상 한계를 드러냈다. 산출물 고지에만 넣고 기록에 남기지 않으면 다음 산출물에서 같은 오독이 반복된다.
• 2026-07-25결정 1 이 요구한 평가 문서 링크를 실제로 부착. 산출물·측정 기록 항목 신설.결정 1 은 '문서로 고정하고 이 기록에서 링크한다'고 정했으나 링크가 없었다. 게시 상태를 점검하다 발견했다. 결정을 적어 두고 이행하지 않은 상태였으므로 이행한다.
• 2026-07-26중단선만 정하고 승격선을 정하지 않았다는 사실을 한계에 기록하고 ADR-0022 를 연결.G1 프로토타입이 중단선을 통과한 상태라 다음 판단은 '올릴 것인가'인데, 이 기록에는 그 판단의 기준도 기본값도 없었다. 비워 두면 기본값은 진행이 된다.
• 2026-07-263차 측정(죄명 분산 필터) 결과와 임계 민감도를 한계에 게시. 시스템 recall 13.8%p 하락, 개선폭 36.2→38.6%p 유지, 평가 대상 175→140건.결정 5 는 성공과 실패를 모두 게시하도록 정했다. 절대 성능이 떨어진 결과이므로 더더욱 적는다. 결정 7 이 요구한 기준선 점검을 법령명이 아니라 분산으로 다시 한 결과다.

hub담당 리더

마디L60

시스템 총괄 · Master API Gateway

사람의 자격이나 직위에 대응하지 않는 시스템 역할 표기다. 이 로그의 설계 결정은 사람이 작성하고 사람이 책임진다(ADR-0004·ADR-0016).

설계로그는 특정 법률 분야가 아니라 시스템 전체의 설계 결정을 다룬다. 개별 도메인 리더가 아니라 60명 리더 시스템의 운영·품질을 총괄하는 리더가 담당한다.

리더 프로필 보기 arrow_forward