독립 재검토와 순차공개 — 무엇을 가릴지 먼저 정한다
작성 2026-07-25 · 최종 갱신 2026-07-25
ADR-0003 은 앵커 효과를 이유로 사후 승인형 개입을 기각했으나 대안의 구조는 정하지 않았다. 잠재지문 연구에서 독립 재검토가 위양성을 모두 검출했다는 실측이 확인됐다. 재검토를 산출 조건으로 두고, 시스템이 판단 순서를 강제하며, 가릴 정보를 사건 단위로 명시한다.
이 문서는 연구·설계 기록이며, 현재 제공 중인 서비스가 아닙니다. 각 항목의 상태 표기를 함께 확인해 주세요.
맥락
ADR-0003 은 결론을 먼저 보여 주면 그것이 앵커가 되어 확증편향을 증폭한다는 이유로 사후 승인형 개입을 기각했다. 그 판단은 추론이었고, 대신 무엇을 해야 하는지는 '복수 가설과 강제 입력'까지만 정했다.
ADR-0013 을 문헌으로 보강하는 과정에서 그 추론을 뒷받침하는 실측이 나왔다. 잠재지문 검사자 169명 연구에서 서로 다른 참가자가 동일한 비교를 독립적으로 수행했을 때, 이 연구의 위양성이 모두 검출되고 위음성도 대부분 검출되었다(Ulery 외, 2011).
여기서 중요한 것은 '한 명 더'가 아니라 '앞선 결론을 모르는 상태'다. 같은 자료를 두 사람이 보더라도 두 번째 사람이 첫 번째 결론을 알고 시작하면, 그것은 독립된 판단이 아니라 확인 절차가 된다.
그렇다면 무엇을 가려야 독립인가. 이 질문에 답하지 않으면 재검토는 형식만 남는다. ADR-0003 이 경계한 '무성의한 보류'가 재검토 단계에서 그대로 반복된다.
검토한 대안
대안 A기각
재검토자를 한 명 더 두되 앞선 판단과 시스템 출력을 그대로 보여 준다.
두 번째 판단이 첫 번째에 정박한다. 일치가 나와도 그것이 독립적 확인인지 동조인지 구분할 수 없으므로, 일치 자체가 근거가 되지 못한다.
대안 B기각
재검토를 권고 사항으로 두고 사건의 중요도에 따라 선택한다.
ADR-0003 대안 B 와 같은 이유로 기각한다. 선택 사항이면 시간 압력 아래 생략되고, 생략된 사건일수록 검증이 필요한 사건일 가능성이 높다.
대안 C채택
독립 재검토를 산출 조건으로 두고 시스템이 정보 공개 순서를 강제한다.
독립성을 사람의 성의가 아니라 시스템의 동작으로 만든다. 무엇을 언제 보여 줄지를 시스템이 통제하면 독립성이 사후 확인이 아니라 사전 조건이 된다.
결정
- ADR-0013 의 B등급 이상 분야에서 산출물을 낼 때 독립 재검토를 산출 조건으로 둔다. 재검토자는 앞선 판단과 시스템 출력을 보지 못한 상태에서 판단한다.
- 시스템은 자기 출력을 가린 재검토 모드를 반드시 제공한다. 이 모드가 없는 배포 구성은 이 트랙의 산출물로 인정하지 않는다(ADR-0008 결정 3 의 배포물 내장 요구에 포함한다).
- 판단 근거를 노출 이전에 기록하게 한다. 시스템은 사용자가 자기 판단과 그 근거를 먼저 입력하기 전에는 자신의 출력을 보여 주지 않는다.
- 가릴 정보를 사건 단위로 명시하고 필요한 것만 순차적으로 공개한다. 무엇을 언제 공개했는지 로그로 남기며, 그 로그는 ADR-0009 의 근거 기록에 포함한다.
- 두 판단이 불일치하면 다수결이나 조정으로 봉합하지 않는다. 불일치가 있었다는 사실과 그 해소 과정을 산출물에 기록한다.
- 재검토 없이 산출한 결과는 '단일 검토'로 표기한다. 표기 없이 내보내지 않는다.
근거
- 결정 1 의 근거는 추론이 아니라 실측이다. 잠재지문 연구에서 서로 다른 참가자에 의한 독립 검토가 위양성을 모두 검출했고 위음성도 대부분 검출했다(Ulery 외, 2011). ADR-0003 이 앵커 효과를 이유로 기각한 구조를 뒤집으면 실제로 오류가 잡힌다는 뜻이다.
- 결정 3(노출 이전 기록)은 이미 법과학 기준에 들어 있다. PCAST 는 적용상 타당성의 요건으로 전문가가 '알려진 지문과 비교하기 전에 잠재지문의 특징을 문서로 기록했는지'를 밝히고, '특징의 선택과 비교를 설명하는 서면 분석을 제공'하며, '검사 수행 시 결론에 영향을 줄 수 있는 사건의 다른 사실을 알고 있었는지'를 밝힐 것을 든다(PCAST, 2016). 순서와 노출 사실이 타당성의 일부로 다루어진다.
- 결정 4(순차공개)는 법과학에서 맥락 관리 기법으로 제안되어 온 것이다(Dror 외, 2015; Dror & Kukucka, 2021). NIST 도 인지편향 완화 수단으로 맥락 정보의 순차적 차단을 다룬다(NISTIR 8503, 2024). 우리가 새로 만드는 절차가 아니라 이미 논의된 절차를 시스템 동작으로 옮기는 것이다.
- 결정 5(불일치 기록)가 필요한 이유는 불일치가 정보이기 때문이다. 두 독립 판단이 갈렸다는 사실은 그 사건의 판단이 어렵다는 신호이며, 봉합해 하나의 결론만 내보내면 그 신호가 사라진다. 「형사소송법」 제171조 제3항이 요구하는 판단의 이유에는 왜 그 결론에 이르렀는지뿐 아니라 어떤 반대 판단이 있었는지도 포함될 수 있다.
- 결정 2 를 배포물 요구로 둔 이유는 ADR-0008 때문이다. 우리는 온프레미스 공급을 기본형으로 하고 운영 데이터에 접근하지 않으므로, 재검토가 실제로 독립적으로 이루어지는지 관측할 수 없다. 관측할 수 없는 것은 계약이 아니라 동작 조건으로 걸어야 한다.
- 국내에도 재감정 제도가 있다. 「(경찰청) 과학수사 기본규칙」 제31조는 범죄분석과장 등이 일정한 경우 동일 증거물에 대하여 재감정할 수 있도록 하고, 「국립과학수사연구원 감정절차 규정」 제14조는 감정 결과를 통보한 사안에 대해 외부 기관의 이의 제기 등으로 신뢰성의 추가 입증이 필요하다고 판단되면 보고하도록 한다.
이 결정이 만드는 한계
- 검토 인력이 두 배로 든다. 감정 자원이 부족한 기관에서는 이 조건 때문에 도입 자체가 어려울 수 있으며, 그 경우 결정 6 에 따라 단일 검토로 표기하고 나가거나 도입하지 않는다.
- 재검토가 만능이 아니다. 인용한 연구에서도 독립 검토는 위양성을 모두 검출했지만 위음성은 '대부분'이었다. 놓치는 위음성이 남으므로, 재검토를 근거로 오류가 없다고 말하지 않는다.
- 진짜 독립성은 조직 구조에 달려 있다. 같은 팀에서 서로의 작업 습관을 아는 두 사람이 검토하면 정보를 가려도 독립성이 온전하지 않다. 우리는 배포물로 정보 노출만 통제할 수 있고 인적 구성은 통제할 수 없다.
- 무엇이 '불필요한 맥락'인지 판단하는 일 자체가 편향될 수 있다. 가릴 것을 정하는 사람이 사건의 방향을 이미 알고 있으면, 가리기가 오히려 유도가 된다. 결정 4 의 로그는 이 위험을 없애지 못하고 사후에 드러나게 할 뿐이다.
- 시스템 출력을 가린 채 판단하게 하면 도구의 효용이 줄어드는 것처럼 보인다. 그러나 출력을 먼저 보여 주고 얻은 일치는 검증이 아니므로, 이 손실은 기능의 저하가 아니라 검증의 대가다.
- 다만 국내 제도와 이 기록의 요구는 세 지점에서 다르다. 첫째 국내 재감정은 '할 수 있다'는 재량이고 이 기록은 산출 조건이다. 둘째 국내 제도의 계기는 이의 제기 등 사후 사정이고 이 기록은 모든 산출에 사전 적용한다. 셋째 국내 규정에서 재감정자가 앞선 결론을 보지 못하도록 하는 요건은 확인되지 않았고, 이 기록은 그 가림을 핵심으로 삼는다. 즉 우리 요구가 국내 실무보다 엄격하며, 이는 도입 시 마찰이 된다. 마찰을 줄이려고 요구를 낮추면 Ulery 외(2011)가 보인 오류 검출 효과의 전제가 사라지므로 낮추지 않는다.
폐기 조건
- 독립 재검토의 오류 검출 효과가 우리 산출물에 대해서도 측정될 때 — ADR-0010 의 기준에 따라 그 결과를 반영해 이 기록을 개정한다.
- 순차공개의 구체적 절차가 국내 감정 실무 표준으로 정해질 때 — 결정 4 를 그 표준에 맞춘다.
- 재검토 조건 때문에 도입이 구조적으로 불가능한 것이 반복 확인될 때 — 결정 1 의 적용 범위를 재검토한다.
근거자료
인용 법령
- 「형사소송법」 제171조(감정보고) 제3항감정 결과에 판단의 이유를 명시 — 불일치가 있었다는 사실도 이유의 일부가 될 수 있다. DRF 본문 실증
- 「(경찰청) 과학수사 기본규칙」 제31조(재감정)'범죄분석과장 또는 감정을 수행한 시·도경찰청 과학수사과장은 다음 각 호의 경우 동일 증거물에 대하여 재감정할 수 있다' — DRF 행정규칙 본문 실증(발령·시행 2024-01-18)
- 「국립과학수사연구원 감정절차 규정」 제14조(재감정의 결정 및 추진)'감정을 종료하여 그 결과를 통보한 사안 중, 외부 기관의 이의 제기 등으로 인해 감정 결과의 신뢰성에 대한 추가적 입증이 필요하다고 판단되는 경우' — DRF 행정규칙 본문 실증(시행 2026-07-01)
참고자료
- Accuracy and reliability of forensic latent fingerprint decisionsUlery B. T., Hicklin R. A., Buscaglia J., Roberts M. A. — PNAS · 2011 — 초록 verbatim: 서로 다른 참가자에 의한 동일 비교의 독립 검토가 이 연구의 위양성을 모두 검출했고 위음성도 대부분 검출했다. 위양성률 0.1%, 위음성률 7.5%. 2026-07-25 CrossRef 초록 확인.
- Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-Comparison MethodsPresident's Council of Advisors on Science and Technology (PCAST) · 2016-09 — 적용상 타당성 기준 본문 verbatim: 전문가는 (2) 알려진 지문과 비교하기 전에 잠재지문의 특징을 문서로 기록했는지를 밝히고, (3) 특징의 선택과 비교를 설명하는 서면 분석을 제공하며, (4) 검사 수행 시 결론에 영향을 줄 수 있는 사건의 다른 사실을 알고 있었는지를 밝혀야 한다. 2026-07-25 원문 PDF 직접 추출.
- NISTIR 8503 — Forensic DNA Interpretation and Human Factors: Improving Practice Through a Systems Approach미국 국립표준기술연구소(NIST) · 2024-05 — 인지편향을 시스템 문제로 다루며 맥락 정보의 순차적 차단(linear sequential unmasking)을 완화 수단으로 언급한다. 2026-07-25 원문 확인.
- Context Management Toolbox: A Linear Sequential Unmasking (LSU) Approach for Minimizing Cognitive Bias in Forensic Decision MakingDror I., Thompson W., Meissner C., Kornfield I., Krane D., Saks M., Risinger M. — Journal of Forensic Sciences · 2015 — 법과학 판단에서 인지편향을 줄이기 위한 맥락 관리·선형 순차공개 접근을 제안한 문헌. 2026-07-25 CrossRef 서지사항 확인(초록 미제공이라 접근법의 명칭·목적 수준으로만 참조).
- Linear Sequential Unmasking–Expanded (LSU-E): A general approach for improving decision makingDror I., Kukucka J. — Forensic Science International: Synergy · 2021 — 위 접근을 일반화한 후속 문헌. 2026-07-25 CrossRef 서지사항 확인(초록 미제공이라 확장판이 존재한다는 사실 수준으로만 참조).
개정 이력
- 2026-07-25국내 재감정 제도 2건을 근거에 추가하고, 우리 요구가 국내 실무보다 엄격한 세 지점을 한계에 명시.이 기록은 국외 연구와 국내 법령으로만 서 있었고 국내 감정 실무의 대응 제도를 확인하지 않았다. 확인해 보니 제도는 있으나 재량·사후·비가림이라는 차이가 있었다. 차이를 적지 않으면 도입 단계에서 예상하지 못한 저항으로 나타난다.
담당 리더
마디L60
시스템 총괄 · Master API Gateway대한민국 변호사급 / 법원행정처 전산정보국장 출신급
설계로그는 특정 법률 분야가 아니라 시스템 전체의 설계 결정을 다룬다. 개별 도메인 리더가 아니라 60명 리더 시스템의 운영·품질을 총괄하는 리더가 담당한다.
리더 프로필 보기