설명가능성의 정의 — 모델을 해석하지 않고 근거를 추적한다
작성 2026-07-25 · 최종 갱신 2026-07-25
ADR-0003·0004 가 설명을 전제했으나 설명이 무엇인지는 정의하지 않았다. 법령이 요구하는 것은 모델 내부가 아니라 '기준 및 처리 과정'이다. 사후 귀인을 판단의 이유로 제시하지 않고, 실제 참조한 근거의 기록을 설명으로 삼으며, 그 기록이 진짜 근거였는지를 제거 실험으로 검증한다.
맥락
ADR-0003 은 사람의 개입 지점을, ADR-0004 는 감정서에 적을 항목을 정했다. 둘 다 설명을 전제하지만 설명이 무엇을 담아야 설명인지는 비워 두었다.
설명가능성은 흔히 모델 내부를 들여다보는 문제로 이해된다. 특징 중요도나 어텐션 가중치를 시각화해 '이것이 판단의 근거'라고 제시하는 방식이다.
그런데 이 방식에는 알려진 문제가 있다. 사후에 계산한 귀인은 모델의 실제 계산과 어긋날 수 있으면서도 사람 눈에는 그럴듯해 보인다.
그럴듯한데 틀린 설명은 설명이 없는 것보다 나쁘다. 검증을 유도하는 대신 검증을 종료시키기 때문이다. 법정에서 그 불일치가 드러나는 순간 무너지는 것은 설명 하나가 아니라 감정 전체의 신뢰다.
검토한 대안
특징 중요도·어텐션 가중치 등 사후 귀인을 판단의 이유로 제시한다.
실제 계산과의 충실성이 보장되지 않는다. 동등한 예측을 내면서 전혀 다른 어텐션 분포가 성립할 수 있다는 점은 이미 보고되어 있다. 반박하기 어려운 서사를 만들어 검증을 막는다.
설명을 제공하지 않고 결과만 제시한다.
「개인정보 보호법 시행령」 제44조의2 제2항이 기준 및 처리 과정에 대한 설명을 요구하고, 「형사소송법」 제171조 제3항은 감정 결과에 판단의 이유를 명시하도록 한다. 선택지가 아니다.
실제 참조한 근거의 기록을 설명으로 삼고, 그 기록의 충실성을 검증한다.
법령이 요구하는 것은 모델 내부의 재구성이 아니라 기준과 과정이다. 무엇을 근거로 삼았는지는 기록할 수 있고, 기록은 검증할 수 있다.
결정
- 설명의 단위는 근거다. 산출물마다 실제로 참조한 자산(조문·판례 식별자), 발화한 규칙, 거친 처리 단계와 그 순서를 기록하고 그 기록을 설명으로 제시한다.
- 사후 귀인 결과를 판단의 이유로 제시하지 않는다. 연구와 디버깅에는 쓸 수 있으나 대외 설명이나 감정서 기재에는 쓰지 않는다.
- 사전 공개와 개별 설명을 분리해 관리한다. 사전 공개는 시행령 제44조의4 제1항 각 호를 담은 시스템 문서로, 개별 설명은 산출물에 동반되는 근거 기록으로 낸다.
- 설명할 수 없는 단계는 설명할 수 없다고 표기한다. 생성 모델이 개입한 구간은 그 사실과 범위를 명시하고, 그 구간의 출력은 근거 추적이 가능한 형태로 검증된 뒤에만 산출물에 포함한다.
- 근거 기록의 충실성을 검증한다. 기록에 적힌 근거를 제거했을 때 산출이 실제로 달라지는지 확인하고, 달라지지 않으면 그 항목은 근거에서 뺀다. 검증을 표본으로 수행하는 경우 표본 비율을 함께 공개한다.
근거
- 「개인정보 보호법 시행령」 제44조의2 제2항 제1호는 정보주체가 요구할 수 있는 설명의 내용을 '해당 자동화된 결정의 기준 및 처리 과정 등에 대한 설명'으로 정한다. 법이 요구하는 것은 모델 내부의 해석이 아니라 기준과 과정이다.
- 같은 영 제44조의4 제1항은 사전 공개 항목으로 자동화된 결정이 이루어진다는 사실과 목적·대상 범위, 주요 개인정보의 유형과 결정의 관계, 고려사항과 처리 절차, 민감정보를 처리하는 경우의 구체적 항목, 거부·설명등요구의 방법과 절차를 든다. 모두 관계와 절차에 관한 것이며 내부 파라미터에 관한 것이 아니다. 결정 3 이 두 층위를 분리하는 근거다.
- 같은 영 제44조의4 제2항은 표준화·체계화된 용어를 쓰고 시각적 방법을 활용할 수 있도록 한다. 목표는 이해 가능성이다. 정확하지만 이해할 수 없는 설명도, 이해하기 쉽지만 부정확한 설명도 이 요건을 충족하지 못한다.
- 「형사소송법」 제171조 제3항은 감정의 결과에 판단의 이유를 명시하도록 한다. 감정인이 스스로 설명할 수 없는 이유는 이유가 아니다. 결정 4 가 생성 모델 개입 구간을 별도로 표기하게 하는 이유다.
- 결정 5 는 이 기록의 핵심이다. 근거라고 적어 놓은 것이 실제로 근거였는지는 주장이 아니라 실험으로 확인할 수 있다. 제거해도 결론이 그대로면 그것은 근거가 아니라 장식이며, 장식을 근거로 제시하는 것이 대안 A 의 실질적 위험이다.
- 법마디의 기존 구조가 이미 이 방향이다. 검증 자산 그라운딩과 인용 검증은 무엇을 근거로 삼았는지를 남기는 구조이지 모델을 해석하는 구조가 아니다. 새 원리를 들여오는 것이 아니라 기존 원리를 이 트랙에 적용한다.
이 결정이 만드는 한계
- 근거 추적은 '왜 이 근거를 골랐는가'까지는 답하지 못한다. 후보 중에서 무엇을 참조할지 고르는 과정이 모델 안에서 일어나면 그 부분은 여전히 불투명하다. 이 한계를 설명의 성공으로 포장하지 않는다.
- 결정 5 의 검증은 산출을 여러 번 재실행해야 하므로 비용이 든다. 전수 검증이 어려우면 표본으로 하되 그 사실과 비율을 공개한다. 비율을 숨기면 검증했다는 말만 남는다.
- 결정 2 는 업계 관행과 다르다. 특징 중요도 그림을 기대하는 상대에게는 제공하지 않는 이유부터 설명해야 하고, 그것이 역량 부족으로 읽힐 위험이 있다. 그 오해를 감수한다.
- 근거 기록 자체가 개인정보를 담을 수 있다. 어떤 자산을 참조했는지가 사건의 내용을 드러내는 경우가 있으므로, 이 기록의 보존과 삭제도 ADR-0005 의 적용을 받는다.
폐기 조건
- 「개인정보 보호법 시행령」 제44조의2 또는 제44조의4 가 개정되어 설명의 내용 요건이 달라질 때.
- 사후 귀인의 충실성을 보장하는 방법이 확립될 때 — 결정 2 를 재검토한다.
- 결정 5 의 검증에서 근거 기록이 반복적으로 실제 근거가 아님이 확인될 때 — 설명이 아니라 산출 구조 자체를 재설계한다.
근거자료
인용 법령
- 「개인정보 보호법」 제37조의2(자동화된 결정에 대한 정보주체의 권리 등) 제2항·제4항제2항 설명요구권, 제4항 기준·절차 공개의무 — DRF 본문 실증
- 「개인정보 보호법 시행령」 제44조의2 제2항제1호 '해당 자동화된 결정의 기준 및 처리 과정 등에 대한 설명' — DRF 본문 실증
- 「개인정보 보호법 시행령」 제44조의4 제1항·제2항사전 공개 5개 항목과 표준화·시각적 방법 — DRF 본문 실증
- 「형사소송법」 제171조(감정보고) 제3항감정 결과에 판단의 이유를 명시 — DRF 본문 실증
참고자료
- Attention is not Explanation (arXiv:1902.10186)Sarthak Jain, Byron C. Wallace · 2019-02 — 학습된 어텐션 가중치가 그래디언트 기반 특징 중요도와 상관이 낮고, 동등한 예측을 내면서 전혀 다른 어텐션 분포가 성립할 수 있음을 보고한다. 결정 2(사후 귀인을 이유로 제시하지 않음)의 기술적 근거. 2026-07-25 원문 초록 확인.
- 자동화된 결정에 대한 정보주체의 권리 안내서개인정보보호위원회 · 2024-09 — 법 제37조의2 및 시행령 제44조의2~제44조의4 의 조치사항을 사례 중심으로 정리한 소관부처 안내서. 2026-07-25 원문 확인.
담당 리더
마디L60
시스템 총괄 · Master API Gateway대한민국 변호사급 / 법원행정처 전산정보국장 출신급
설계로그는 특정 법률 분야가 아니라 시스템 전체의 설계 결정을 다룬다. 개별 도메인 리더가 아니라 60명 리더 시스템의 운영·품질을 총괄하는 리더가 담당한다.
리더 프로필 보기