판례 판시 귀속은 검사하지 않고, 검사하지 않는다고 선언한다
작성 2026-10-15 · 최종 갱신 2026-10-15
verify_citations 는 인용 판례의 실재와 폐기·변경 신호만 보고, 그 판례가 답변이 귀속시킨 명제를 실제로 판시했는지는 보지 않는다. 이 사실이 리포트에 드러나지 않아 '검사 안 함'이 '통과'로 읽혔다. 이 기록은 판시 귀속을 구현하지 않고, 응답에 그 사실을 명시하는 것으로 둔다는 결정이다.
맥락
외부 점검이 판시 오귀속을 세 차례 보고했다(2026-09-22, 10-13 2020다247428, 10-15 2022다202498). 같은 질의를 다시 돌린 10-15 두 회차에서는 정확하게 귀속했다 — 오귀속은 생성마다 달라지는 비결정적 현상이다.
오귀속된 판례도 실재하므로 L1(실재)을 통과한다. 리포트의 어느 축도 판시 내용을 대조하지 않아 verdict 가 all_verified 로 나왔다.
결정론 대조는 측정에서 판별력이 없었다. 제목↔문장 키워드 겹침 0 이 정상 인용의 27%였다(09-16). 판시의 결론 표지로 대조하면 정상 인용의 70%가 걸렸고, 단일 쟁점 판시로 좁히면 대조 가능 범위가 1.3%로 줄면서 그중 60%가 걸렸다(09-23). 서빙 대조 창에서는 무관한 판례도 45%가 통과했다(10-10).
검토한 대안
검증기에 LLM 판정을 붙인다.
2026-08-26 결정(검증기에 LLM 을 붙이지 않음)에 정면으로 걸린다. 재현성(같은 입력 → 같은 리포트)이 깨지고, verify_citations 도구 설명이 약속한 'LLM 미호출·결정론'과도 어긋난다.
결정론 판시 대조축을 만든다.
위 측정대로 정상 인용을 대량으로 오탐하거나 무관한 판례를 통과시킨다. 매일 우는 경보는 무력화된다.
생성 단계에서 판례 인용 문장을 제약한다.
오귀속이 비결정적이라 효과를 재려면 다회 A/B 가 필요하다. 10-15 expert 프롬프트에서 판례를 '최대 3건, 법리가 같은 것만'으로 바꾼 것이 일부 같은 방향이지만 효과는 측정하지 않았다.
검사하지 않는다는 사실을 응답에 선언한다.
보지 않는 범위를 정확히 말하는 편이 판별력 없는 축을 켜는 것보다 리포트의 신뢰를 지킨다.
결정
- verify_citations 는 판례 판시 귀속을 검사하지 않는다. 응답의 precedent_support 절은 언제나 checked: false, examined: 0 과 인용 판례 수(cited_count)를 내고, "검사하지 않았습니다 — '통과'가 아닙니다"라고 밝힌다. 이 절은 verdict 를 바꾸지 않는다.
근거
- '검사 안 함'과 '검사해서 깨끗함'을 같은 출력으로 접지 않는 것이 이 검증기의 원칙이다(examined 계수). 판별력 없는 축을 켜는 것보다, 보지 않는 범위를 정확히 말하는 편이 리포트의 신뢰를 지킨다.
이 결정이 만드는 한계
- 판시 오귀속은 리포트가 잡지 못한다. 독자는 판례 원문 링크(law.go.kr)로 직접 확인해야 한다.
- all_verified 는 '인용이 실재함'이지 '서술이 옳음'이 아니다. verdict_label 이 이미 그렇게 말한다.
폐기 조건
- 결정론 대조 방식이 정상 인용 표본에서 거짓경보를 판별력 있는 수준으로 낮춘 측정 결과가 나올 때.
- 2026-08-26 결정(검증기에 LLM 금지)이 바뀔 때.
- 생성 측 제약(선택지 C)을 다회 A/B 로 측정했을 때.
근거자료
인용 법령
인용한 법령이 없습니다.
참고자료
외부 참고자료를 부착하지 않았다. 근거는 전부 이 프로젝트 자신의 실측이다 — 외부 점검 보고(09-22·10-13·10-15)와 2026-09-16·09-23·10-10 측정. ADR-0016 결정 1 의 등급으로는 자체자료에 해당한다.
산출물·측정 기록
- precedent_support 절 — core/citation_report.py (build_precedent_support_section)checked=False·examined=0 고정, cited_count 로 인용 판례 수를 낸다. _CONTENT_AXES·FINDING_STATES 에 넣지 않아 verdict 를 바꾸지 않는다. 커밋 4b40c0ec6.
작성 기록
조사·문장 초안은 LLM(Claude)이 작성했고, 채택안(D)은 운영자가 2026-10-15 에 정했으며 결정 문장은 운영자가 승인했다. 작성 주체를 적는 형식은 ADR-0035 에서 신설했다.
담당 리더
마디L60
시스템 총괄 · Master API Gateway사람의 자격이나 직위에 대응하지 않는 시스템 역할 표기다. 이 로그의 설계 결정은 사람이 작성하고 사람이 책임진다(ADR-0004·ADR-0016).
설계로그는 특정 법률 분야가 아니라 시스템 전체의 설계 결정을 다룬다. 개별 도메인 리더가 아니라 60명 리더 시스템의 운영·품질을 총괄하는 리더가 담당한다.
리더 프로필 보기