인용은 실재하는데 대상이 다르다 | 법마디(Lawmadi) OS 기술칼럼

초록 이 칼럼은 인용 검증이 통과시키는 실패 하나를 다룬다. 최근 연구는 임상 검색증강생성에서 모든 자동 검사를 통과하면서도 질의된 대상이 아닌 다른 대상의 근거를 제시하는 실패를 기만적 그라운딩으로 명명하고, 그것이 충실성·환각·인용 검사 어디에도 걸리지 않는 이유를 보였다. 두 번째 연구는 그라운딩을 문헌 식별과 근거 위치와 답변이라는 여러 단계로 분해해 각 단계를 따로 채점하면 어디가 끊어졌는지가 드러난다는 것을 보인다. 세 번째 연구는 검색 단위에 화자의 권위를 넣는 설계를 제시한다. 세 결과는 하나의 요구로 모인다 — 인용은 실재 여부만이 아니라 대상 적합성으로 검증되어야 한다.

법률 답변의 인용 검증을 만들 때 우리가 가장 먼저 막은 것은 존재하지 않는 조문이었다. 모델이 그럴듯한 법령명과 조문번호를 지어내면 사용자는 그것을 확인할 방법이 없고, 확인할 방법이 없는 사람이 절박한 사람이다. 그래서 인용된 조문이 국가법령정보센터에 실재하는지를 대조하고, 실재하지 않으면 문장을 막는 계층을 두었다. 이 방향은 옳았고 지금도 옳다. 그러나 이 검증이 구조적으로 보지 못하는 실패가 하나 있다. 인용된 조문이 실재하고, 그 조문의 내용도 정확히 옮겨졌는데, 그 조문이 질문의 대상에 관한 것이 아닌 경우다. 임대차보호법의 조문을 정확히 인용하면서 질문자가 상가 임차인이라는 사실을 놓치면, 모든 자동 검사는 통과하고 답만 틀린다. 최근 발표된 세 편의 연구가 각각 다른 각도에서 이 자리를 가리킨다. 하나는 그 실패를 이름 붙이고 규모를 쟀고, 하나는 그라운딩을 단계로 쪼개 어디가 끊어지는지 보게 했으며, 하나는 근거의 출처를 누가 말했는가로 가중하는 검색을 만들었다.

핵심 기술 개념

기만적 그라운딩(deceptive grounding)

모든 주장이 실재하는 문서에서 나왔지만 그 문서가 질의된 대상이 아닌 다른 대상에 관한 것인 실패. 충실성·환각·인용 검사가 전부 통과하기 때문에 기존 평가 틀에서는 보이지 않는다.

대상 귀속 검증(entity-attribution verification)

인용된 근거가 질의된 대상에 실제로 적용되는지를 따로 확인하는 검사. 인용의 실존 확인과는 다른 축이며, 인용한 연구는 어떤 기존 프레임워크도 이를 구현하고 있지 않다고 지적한다.

다단계 그라운딩(multi-stage grounding)

문헌 식별, 근거 위치 지정, 답변 생성을 하나의 정확도로 합치지 않고 단계별로 나누어 각각 채점하는 평가 방식. 최종 답이 맞아도 어느 단계가 끊어져 있는지를 드러낸다.

기술 심층 분석

모든 검사를 통과하면서 틀리는 실패의 규모

첫 번째 연구는 검색증강생성 평가가 모델의 주장이 검색된 문서에 사실적으로 근거하는지를 확인할 뿐, 그 근거가 올바른 대상에 귀속되는지는 확인하지 않는다는 지점에서 출발한다. 임상 응답은 환각 없음, 거의 완벽한 충실성, 실재하는 인용이라는 조건을 모두 만족하면서도 질의된 약물이 아닌 다른 약물의 임상 근거를 그 약물에 관한 근거인 것처럼 제시할 수 있다. 연구진은 이것을 기만적 그라운딩이라 부르고, 통제된 요인 설계 벤치마크로 모델 열세 개를 평가했다. 최대 적대 조건에서 발생률은 8퍼센트에서 87퍼센트까지 벌어졌고, 의료·생의학 특화 미세조정 모델이 86.7퍼센트에 이르렀다. 도메인 특화가 실패를 줄이는 것이 아니라 키운다는 뜻이다. 통제된 절제 실험은 메커니즘까지 짚는다. 검색된 문서에서 대상 고유의 임상 근거를 제거하면 대상 귀속 실패는 완전히 사라지고 모든 실패가 작화로 이동한다. 두 실패 양식이 같은 자극에 반응하되 다른 경로를 탄다는 것이다. 실서비스 측정에서도 약물·질환 쌍 740건에서 7.8퍼센트가 관측됐고 최근 승인된 약물에서는 13.6퍼센트로 올랐다.

법률에서 이 실패가 어떤 모양으로 나타나는가

약물을 법령으로, 질환을 사안으로 바꾸면 그대로 옮겨온다. 주택임대차보호법과 상가건물 임대차보호법은 대항력과 우선변제권이라는 같은 이름의 제도를 서로 다른 요건으로 두고 있고, 근로기준법의 여러 조항은 상시 근로자 수에 따라 적용 여부가 갈린다. 질문자가 상가 임차인인데 주택 쪽 조문을 정확히 인용하면, 조문은 실재하고 인용문은 정확하며 충실성 점수도 높다. 인용의 실존만 보는 검증기에는 통과 신호만 남는다. 더 나쁜 것은 도메인 특화가 이 실패를 키운다는 관측이 법률에서 특히 아프다는 점이다. 법률 코퍼스에 깊이 맞춰진 검색은 질문과 어휘가 가까운 조문을 잘 찾아오는데, 어휘가 가까운 조문일수록 인접 법률의 같은 이름 제도일 확률이 높다. 우리 파이프라인이 좋아지는 방향과 이 실패가 커지는 방향이 같다는 것은 편한 이야기가 아니다. 그래서 이 축은 성능을 올려서 해결할 대상이 아니라, 별도의 검사를 하나 더 세워야 하는 대상이다.

그라운딩을 단계로 쪼개면 끊어진 곳이 보인다

두 번째 연구는 평가의 해상도를 바꾼다. 연구진은 문헌 기반 질의응답에서 신뢰할 수 있는 시스템이라면 관련 문헌을 식별하고, 답을 뒷받침하는 구체적 근거의 위치를 찾아내고, 그 근거에 충실한 답을 내놓아야 한다고 보고, 이 세 가지를 연결된 산출물로 요구하는 벤치마크를 만들었다. 정본 문헌 식별자, 근거 위치, 그리고 자유 서술·선다형·구조화된 표 가운데 요청된 형식의 답이 함께 나와야 한다. 근거 유형도 표, 그림, 텍스트 구간, 수식과 알고리즘, 인용 맥락으로 나누어 두었다. 공개 개발 분할은 쉰다섯 개 예제로 작고, 그중 스물여섯 개가 출처를 감춘 단일 문헌 문제이며 스물아홉 개가 다중 문헌 문제다. 더 큰 최종 주석 모음은 고유 질문 기록 4,978개와 고유 정답 문헌 4,859편 규모로 분석된다. 핵심은 규모가 아니라 채점 방식이다. 문헌 검색과 근거 그라운딩과 답변 정확도를 따로 재면, 최종 답이 맞았다는 사실이 각 단계가 옳았다는 증거가 되지 못한다는 것이 드러난다. 우리에게 필요한 것도 같은 분해다 — 조문을 맞게 골랐는가와 그 조문이 이 사안에 적용되는가는 다른 질문이므로 다른 점수를 가져야 한다.

누가 말했는가를 검색 단위 안에 넣기

세 번째 연구는 의회 회의록이라는, 발화자가 곧 근거의 무게인 코퍼스를 다룬다. 연구진은 회의록에 검색증강생성을 적용할 때 생기는 위험 셋을 명시한다. 가장 자주 등장하는 화자가 결과를 지배하는 것, 화자를 주제별 전문성에 따라 가중하지 못하는 것, 그리고 정치적으로 민감한 텍스트에서 인용이 잘못된 사람에게 귀속되는 것이다. 세 번째가 앞의 논의와 같은 실패다. 시스템의 핵심 기여는 주제 의존 권위 모형으로, 각 화자의 권위를 현재 질의의 함수로 추정하되 직업·학력·이전 발언 같은 해석 가능한 성분을 결합한다. 열다섯 개 정책 주제에서 자동 지표와 여섯 명 전문가의 블라인드 비교를 결합해 평가했고, 정당 그룹 커버리지 0.97 대 0.95, 인용 충실성 1.00 대 0.95로 비교 대상보다 앞섰다. 다만 산문 품질 쪽에서는 비교 대상이 더 낫다고 평가됐다. 법률에 옮기면 권위는 사람이 아니라 규범의 위계다. 법률과 시행령과 시행규칙, 대법원 판결과 하급심, 유권해석과 해설서는 같은 문장을 담고 있어도 같은 무게가 아니다. 검색이 이 위계를 모른 채 유사도만 보면, 가장 자주 인용되는 문서가 가장 권위 있는 문서 자리를 차지한다.

기술적 트레이드오프

긴장 관계 대상 귀속 검사를 넣으면 통과율이 떨어진다. 지금은 조문이 실재하기만 하면 지나가던 문장이 이 사안에 적용되는지까지 물어야 하고, 그 판정은 조문 실존 대조처럼 결정론적이지 않다. 잘못 조이면 옳은 문장까지 막혀 답변이 비고, 느슨하게 두면 검사를 넣은 의미가 없어진다.

실무적 해소 해법은 판정의 강도를 조절하는 것이 아니라 판정의 대상을 좁히는 것이다. 모든 인용에 대해 적용 여부를 묻지 않고, 인접 법률에 같은 이름의 제도가 존재하는 조문에 한해서만 대상 적합성을 묻는다. 주택과 상가의 임대차, 근로자 수로 갈리는 근로기준법 조항처럼 갈림이 이미 알려진 자리는 목록으로 적을 수 있고, 목록에 없는 조문은 종전 경로를 그대로 탄다. 이렇게 하면 통과율의 손실은 목록 크기에 비례해 제한되고, 검사의 효과는 실패가 실제로 몰려 있는 곳에 집중된다. 또한 이 목록은 모델이 추측할 것이 아니라 법령 구조에서 나오는 것이므로 검증 자산과 같은 방식으로 관리·감사할 수 있다.

법마디 OS에 적용한다면

법마디의 검증 계층은 지금 인용된 법령·판례가 실재하는지를 대조하고 미검증 인용을 차단한다. 이 칼럼이 말하는 축은 그 다음 칸이다. 첫째로 할 일은 갈림 목록을 만드는 것이다. 같은 이름의 제도를 서로 다른 요건으로 두는 법률 쌍과, 적용 여부가 사업장 규모나 계약 유형처럼 사안의 속성으로 갈리는 조문을 모아 자산으로 적는다. 이 목록은 조문 본문에서 도출되므로 사람이 감사할 수 있고, 자산 갱신 주기에 얹을 수 있다. 둘째로 그 목록에 걸린 조문이 인용되면 질의에서 갈림을 결정하는 속성이 확정되었는지를 확인하고, 확정되지 않았다면 조문을 단정적으로 적용하지 않는다. 셋째로 검증 로그를 단계별로 나눈다. 지금 로그는 인용이 검증되었는지 하나로 적히는데, 조문을 찾았는가와 그 조문이 이 사안에 적용되는가를 나누어 적어야 나중에 어느 단계가 실패했는지 알 수 있다. 어느 항목도 더 큰 모델을 필요로 하지 않는다. 필요한 것은 검사를 하나 더 세우고 그 결과를 따로 기록하는 일이다.

기술적 함의

인용이 실재한다는 사실은 그 인용이 이 사안의 것이라는 증거가 아니다 — 두 검사는 다른 축이다.
도메인 특화가 대상 귀속 실패를 키운다는 관측은, 검색 품질 개선이 이 실패를 함께 줄여 주지 않는다는 뜻이다.
검증 로그를 단계로 나누지 않으면 실패가 어디서 났는지 사후에 알 수 없고, 알 수 없는 실패는 고쳐지지 않는다.

"인용이 실재하는지를 묻는 것으로는 부족하다. 그 인용이 지금 이 사람의 것인지를 따로 물어야 한다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급

법마디 OS 무료로 경험하기

본 칼럼은 법마디 OS 기술팀의 관점이며, 특정 제품·기술에 대한 보증이나 법률 자문이 아닙니다.