되먹임 차단 — 우리 산출물이 만든 결과를 다시 학습하지 않는다
작성 2026-07-25 · 최종 갱신 2026-07-25
프로파일링 문헌 조사에서 기존 기록이 다루지 않은 위험이 확인됐다. 예측이 수사 자원의 배치를 바꾸고 그 배치가 다시 데이터를 만들면, 시스템은 자기가 만든 결과를 근거로 자기 예측을 강화한다. 산출물이 유도한 사건을 학습·평가에서 분리하고, 분리할 수 없으면 그 자료를 쓰지 않는다.
맥락
ADR-0002 는 판결문 데이터의 생존 편향을 다뤘다. 그것은 데이터가 이미 기울어져 있다는 문제다. 되먹임은 다른 문제다. 시스템이 가동된 뒤 우리가 데이터를 기울인다.
구조는 단순하다. 산출물이 어떤 방향을 가리키면 그 방향에 수사 자원이 더 배치되고, 자원이 더 간 곳에서 사건이 더 많이 확인된다. 그 결과가 다시 자료로 쌓이면 시스템은 자기 예측이 맞았다고 학습한다.
예측 치안 영역에서는 이 되먹임이 실증적으로 분석되어 있다. 실제 범죄율과 무관하게 같은 지역으로 반복 배치가 일어나는 현상이 보고되었고, 지역 간 실제 격차가 클수록 되먹임이 심해진다는 점도 함께 제시되었다(Ensign 외, 2017). 편향된 데이터로 학습된 예측 치안 시스템의 사회적 결과 역시 별도로 다루어져 있다(Lum & Isaac, 2016).
이 위험은 앞선 어느 기록에도 없다. ADR-0010 이 평가 기준을 정했지만, 평가 표본 자체가 시스템에 의해 오염되면 그 기준은 무의미해진다.
검토한 대안
운용 중 축적되는 사건 자료를 그대로 학습·평가에 사용한다.
시스템이 유도한 결과가 시스템의 근거가 된다. 정확도가 올라가는 것처럼 보이지만 측정하는 것은 예측력이 아니라 자기 일관성이다. ADR-0010 의 기준선 비교가 성립하지 않는다.
되먹임 보정 기법을 적용해 오염된 자료를 그대로 쓴다.
입력을 조정해 되먹임을 막는 방법이 제시되어 있으나(Ensign 외, 2017), 그 효과는 가정에 의존한다. 보정이 실제로 작동했는지 확인하려면 오염되지 않은 비교군이 필요하고, 그 비교군을 만드는 것이 결정 1 이다. 순서상 뒤에 온다.
산출물이 유도한 사건을 표시해 분리하고, 분리 불가한 자료는 쓰지 않는다.
되먹임을 사후에 보정하는 대신 애초에 섞이지 않게 한다. 표시는 운용 시점에만 할 수 있으므로 설계 단계에서 정해 두어야 한다.
결정
- 산출물이 어떤 형태로든 관여한 사건에는 그 사실을 기록한다. 시스템이 제시한 가설이 채택되었는지 여부와 무관하게, 산출물이 열람되었다는 사실 자체를 표시한다.
- 표시된 사건은 학습 데이터에서 제외한다. 시스템이 만든 결과로 시스템을 학습시키지 않는다.
- ADR-0010 의 성능 평가에서도 표시된 사건을 제외한다. 제외 후 남은 표본이 평가에 부족하면 평가 불가로 보고하고, 부족한 표본으로 산출한 수치를 제시하지 않는다.
- 표시가 불가능한 자료는 학습·평가 어디에도 쓰지 않는다. 출처를 구분할 수 없는 자료는 오염 여부를 알 수 없으므로 오염된 것으로 취급한다.
- G1 단계는 확정 판결문만 쓰므로 되먹임이 발생하지 않는다. 이 결정은 G2 진입 전에 구현되어 있어야 하며, 구현 없이 G2 로 올리지 않는다.
근거
- 예측 치안 시스템에서 모델이 체포 자료로 갱신되면 실제 범죄율과 무관하게 같은 지역으로 반복 배치가 일어나고, 지역 간 실제 격차가 클수록 되먹임이 심해진다는 분석이 제시되어 있다(Ensign 외, 2017). 우리 산출물은 지역이 아니라 사건 구조를 가리키지만, 자원이 그 방향으로 움직이고 그 결과가 자료가 되는 경로는 같다.
- 결정 3 이 평가까지 확장되는 이유는 ADR-0010 의 기준선 때문이다. 기준선을 무작위와 기존 실무 중 높은 쪽으로 잡았는데, 평가 표본이 시스템에 의해 선택된 것이면 비교 대상이 대등하지 않다. 오염된 표본에서 나온 우수한 수치는 도입 근거가 될 수 없다.
- 결정 4 는 ADR-0002 의 태도를 이어받는다. 그 기록은 데이터를 취득할 수 없으면 취득하지 않는다고 정했다. 여기서는 출처를 구분할 수 없으면 쓰지 않는다. 두 경우 모두 불확실할 때 사용하지 않는 쪽을 기본값으로 둔다.
- 「형사소송법」 제171조 제3항이 요구하는 판단의 이유는 되먹임이 있는 시스템에서 성립하기 어렵다. 근거로 제시된 자료가 그 시스템의 이전 산출에서 비롯된 것이면, 이유는 순환한다.
이 결정이 만드는 한계
- 학습에 쓸 수 있는 자료가 줄어든다. 운용이 길어질수록 표시된 사건이 늘어나므로 가용 표본은 시간이 갈수록 작아진다. 이 축소는 설계상 의도된 것이며 데이터 확보로 해결할 문제가 아니다.
- 결정 1 의 표시는 기관 내부에서 이루어져야 하는데, 우리는 온프레미스 공급을 기본형으로 두었고 운영 데이터에 접근하지 않는다(ADR-0008). 따라서 표시가 실제로 되고 있는지 우리가 확인할 수 없다. 계약과 배포물 동작 조건으로 요구하되, 확인할 수 없다는 사실을 감추지 않는다.
- 되먹임의 존재를 우리가 관측할 수 없으므로, 되먹임이 없다고 주장할 수도 없다. 이 기록이 할 수 있는 것은 되먹임이 생기지 않도록 설계했다는 것까지이며, 생기지 않았다는 확인은 별개의 문제다.
- 대안 B 의 보정 기법을 나중에 도입하더라도 그 효과 검증에는 오염되지 않은 비교군이 필요하다. 결정 1~3 을 먼저 해 두지 않으면 보정이 작동했는지도 알 수 없다.
폐기 조건
- 되먹임 보정 기법의 효과가 오염되지 않은 비교군에서 검증될 때 — 대안 B 의 보류를 해제할지 판단한다.
- G2 진입이 결정될 때 — 결정 1~4 의 구현 상태를 점검하고 그 결과를 이 기록에 남긴다.
- 표시 없는 자료만으로 운용해야 하는 상황이 발생할 때 — 트랙 진행 자체를 재검토한다.
근거자료
인용 법령
- 「형사소송법」 제171조(감정보고) 제3항감정 결과에 판단의 이유를 명시 — 되먹임이 있으면 이유가 순환한다. DRF 본문 실증
참고자료
- Runaway Feedback Loops in Predictive Policing (arXiv:1706.09847)Ensign D., Friedler S. A., Neville S., Scheidegger C., Venkatasubramanian S. · 2017 — 예측 모델이 체포 자료로 갱신되면 실제 범죄율과 무관하게 같은 지역으로 반복 배치가 일어남을 보이고, 입력을 조정해 되먹임을 막는 방법을 제시한다. 2026-07-25 원문 초록 확인.
- To Predict and Serve?Lum K., Isaac W. — Significance 13:14-19 · 2016 — 편향된 데이터로 학습된 예측 치안 시스템의 문제와 그 사회적 결과를 다룬다. 2026-07-25 CrossRef 메타데이터·초록 확인(초록은 요지 수준이라 세부 실험 결과는 인용하지 않았다).
담당 리더
마디L60
시스템 총괄 · Master API Gateway대한민국 변호사급 / 법원행정처 전산정보국장 출신급
설계로그는 특정 법률 분야가 아니라 시스템 전체의 설계 결정을 다룬다. 개별 도메인 리더가 아니라 60명 리더 시스템의 운영·품질을 총괄하는 리더가 담당한다.
리더 프로필 보기