같은 조문인가: 법령명 표면형이 갈라지는 자리

초록 법률 시스템에서 인용 검증의 정확도는 모델의 추론 능력보다 먼저 문자열 판정에서 갈린다. 같은 조문을 가리키는 인용이 중점 문자의 코드포인트, 띄어쓰기, 약칭, 가지번호 표기에 따라 여러 표면형으로 나타나기 때문이다. 독일 연방법 참조 처리 연구는 정규화된 참조가 단순 문자열 일치보다 실제 인용 변이를 훨씬 안정적으로 묶는다는 것을 주석 데이터로 보였고, 개체 표면형 연구는 모델이 사소한 철자 변이보다 별칭과 약칭에서 더 크게 흔들린다는 것을 보였다. 이 칼럼은 두 결과를 법령 인용 파이프라인의 설계 문제로 옮겨, 매칭을 넓힐 때 반대편에서 깨지는 것이 무엇인지와 판정층과 표시층을 왜 분리해야 하는지를 다룬다.

법령 인용을 검증하는 시스템을 만들면 가장 먼저 부딪히는 것은 추론이 아니라 문자다. 예를 들어 광고 규제의 근거가 되는 법률의 정식 명칭에는 가운뎃점이 들어가는데, 그 자리에 들어가는 문자는 자료마다 코드포인트가 다르다. 한글 호환 자모 영역의 문자를 쓰기도 하고, 라틴 계열의 가운뎃점을 쓰기도 하며, 일본어 조판용 문자가 섞이기도 한다. 사람의 눈에는 같은 점이지만 프로그램에는 서로 다른 세 글자다. 여기에 띄어쓰기 유무, 약칭 관행, 가지번호 표기가 겹치면 하나의 조문을 가리키는 문자열은 손쉽게 수십 가지로 갈라진다. 문제는 이 갈라짐이 조용하다는 데 있다. 실패는 예외가 아니라 '해당 법령을 찾지 못했다'는 정상적인 판정으로 나타나고, 그 판정은 잘 인용된 문장을 근거 없음으로 떨어뜨린다. 인용 검증의 정확도를 이야기하려면 모델 이전에 이 층을 먼저 이야기해야 한다.