원장에 없으면 쓸 수 없다: 출처 제약형 추론의 설계
인용이 실재하는데도 그 주장을 뒷받침하지 않는 실패가 있습니다. 증거 원장으로 인용 가능 집합을 미리 닫아 두는 설계를 분석합니다.
초록 본고는 검증을 생성 이후의 검사에서 생성 이전의 제약으로 옮기는 설계를 다룬다. 최근 공개된 LedgerMind 는 에이전트의 궤적을 출처 제약 상태기계로 보고, 도구 출력을 구조화된 증거 원장으로 정규화한 뒤 하위 추론이 활성 원장 항목만 인용하도록 제한한다. 이 구조는 인용이 실재하지만 그 주장을 뒷받침하지는 않는 실패, 즉 팬텀 그라운딩을 명시적 표적으로 삼는다는 점에서 기존의 사후 인용 검사와 다르다. 본고는 이 설계를 법률 도메인으로 옮길 때의 이점과 한계를 검토하고, 법마디 OS 의 기존 검증 계층과 어떻게 접합되는지를 논한다.
환각을 이야기할 때 흔히 떠올리는 장면은 존재하지 않는 사건번호가 답변에 등장하는 경우다. 그 실패는 눈에 잘 띄고, 실재 여부만 확인하면 잡을 수 있다. 정작 다루기 까다로운 것은 그다음 층위다. 인용된 사건번호가 실제로 존재하고, 선고일자도 정확하고, 원문 링크도 열리는데, 그 판례가 본문의 주장을 뒷받침하지는 않는 경우다. 실재 검사는 이 실패를 통과시킨다. 링크를 눌러 확인하는 사람만이 어긋남을 발견하고, 대부분의 독자는 확인하지 않는다. 최근 공개된 한 연구는 이 유형에 팬텀 그라운딩이라는 이름을 붙이고, 그것을 사후에 적발하는 대신 애초에 성립할 수 없게 만드는 구조를 제안한다. 이 글은 그 구조가 무엇이고 법률 영역에 어떤 조건에서 옮겨올 수 있는지를 살핀다.
핵심 기술 개념
구조화 증거 원장(Structured Evidence Ledger)
검색·도구 호출의 결과를 정규화해 쌓아 둔 상태 저장소를 말한다. LedgerMind 는 이 원장을 에이전트 궤적의 상태 그 자체로 삼아, 추론이 참조할 수 있는 근거의 범위를 원장으로 한정한다.
팬텀 그라운딩(Phantom Grounding)
인용은 붙어 있으나 그 인용이 해당 개체나 수치를 실제로 뒷받침하지 않는 환각을 말한다. 출처가 실재하기 때문에 존재 검사만으로는 걸러지지 않고, 개체·수치 수준의 대조가 있어야 드러난다.
출처 비증폭(provenance non-amplification)
수정·보완 단계가 도구가 생산하지 않은 내용을 새로 끼워 넣을 수 없도록 하는 성질을 말한다. 수정이 타입이 정해진 상태 전이로만 일어나게 해서, 고치는 과정이 근거 없는 문장을 늘리지 못하게 한다.
기술 심층 분석
최종 정답 정확도는 무엇이 일어났는지 말해 주지 않는다
LedgerMind 의 문제의식은 평가 지표에서 출발한다. 다단계로 움직이는 에이전트는 인식과 검색과 추론을 번갈아 수행하는데, 평가는 대체로 최종 답이 맞았는지 하나로 수렴한다. 논문은 이 집계 신호가 정답이 근거에 기반해 도출된 것인지, 언어 사전확률에 기댄 것인지, 아니면 중간 오류들이 우연히 상쇄된 것인지를 구별하지 못한다고 지적한다. 법률 영역에서 이 구별은 특히 중요하다. 결론이 맞는 답변과 근거가 맞는 답변은 사용자에게 같은 모습으로 보이지만, 다음 사건에서 전자는 재현되지 않는다. 근거 없이 맞힌 답은 운이고, 운은 축적되지 않는다. 게다가 상담 맥락에서는 결론만 맞고 근거가 어긋난 답변이 더 위험할 수 있다. 사용자가 그 근거를 들고 다음 절차로 움직이기 때문이다. 그래서 궤적 자체를 검사 대상으로 끌어올리자는 제안은 평가 방법론의 문제가 아니라 안전 설계의 문제로 읽어야 한다.
인용 가능 집합을 미리 닫는다는 발상
이 연구의 핵심 전환은 검사의 시점을 옮긴 데 있다. 통상의 파이프라인은 생성이 끝난 뒤 인용을 추출해 실재를 확인하고, 확인되지 않으면 지운다. 법마디의 fail-closed 게이트도 기본 골격은 이 사후 검사다. 반면 LedgerMind 는 도구 출력을 원장에 정규화해 넣고, 하위 추론과 결정 주장은 활성 원장 항목만 인용할 수 있게 한다. 인용할 수 없는 것을 나중에 지우는 대신, 인용할 수 있는 것의 집합을 미리 닫아 두는 것이다. 두 방식은 겉보기에 비슷한 결과를 내지만 실패 모드가 다르다. 사후 검사는 생성기가 무엇이든 만들어 낼 수 있다는 전제 위에서 그물을 촘촘히 하는 싸움이고, 사전 제약은 애초에 만들 수 있는 것의 범위를 좁히는 싸움이다. 후자는 그물의 성능에 덜 의존하지만, 원장을 채우는 검색 단계의 재현율이 낮으면 정당한 근거까지 인용하지 못하는 반대 방향의 손실을 낳는다.
개체·수치 수준의 대조가 필요한 이유
논문은 그라운딩을 개체와 수치 수준에서 점검한다고 밝힌다. 이 입도는 법률 인용에서 결정적이다. 판례를 인용할 때 어긋날 수 있는 축은 여러 개다. 사건번호 자체가 없는 경우, 사건번호는 있으나 선고일자가 다른 경우, 둘 다 맞지만 그 판시가 본문의 쟁점과 무관한 경우, 병합사건인데 대표 번호만 적은 경우가 각각 다른 실패다. 문서 단위 유사도로는 이 축들이 뭉개진다. 개체 수준 대조는 사건번호와 법령명과 조문번호를 각각 독립된 개체로 보고 원장 항목과 맞춰 보는 것이고, 수치 수준 대조는 조·항·호의 번호와 일자와 금액처럼 한 글자만 달라져도 뜻이 바뀌는 값을 따로 확인하는 것이다. 법마디가 겪은 실패들도 이 분해와 정확히 겹친다. 가지번호를 흘려 다른 조문을 인용하거나, 실재하는 판례를 무관한 쟁점에 붙이는 오귀속은 모두 문서 단위로 보면 통과하고 개체 단위로 보아야 걸린다.
고치는 단계가 새 환각을 만들지 않게 하기
출처 제약형 설계에서 가장 실무적인 대목은 수정 단계의 취급이다. 검증이 문제를 찾아낸 뒤 그것을 고치는 과정은 그 자체로 새로운 생성이고, 새로운 생성은 새로운 환각의 기회다. LedgerMind 는 수정을 타입이 정해진 상태 전이로 한정해, 도구가 생산한 출처 없이는 내용을 새로 도입할 수 없게 하고 이를 출처 비증폭 보장이라고 부른다. 이 조건이 없으면 검증기는 이상한 자리에 놓인다. 근거 없는 문장을 지적하고, 그 자리를 다시 근거 없이 메우는 일이 반복될 수 있기 때문이다. 법마디의 현재 처리 방식은 이 함정을 다른 방식으로 피해 왔다. 미검증 인용이 발견되면 문장을 다시 쓰지 않고 삭제하며, 삭제 후 남은 분량이 부족하면 아예 차단한다. 재작성을 포기하는 대신 증폭 위험을 원천 차단한 선택인데, 완결성을 잃는 비용을 지불하고 있다. 타입이 정해진 전이를 도입하면 그 비용의 일부를 되찾을 여지가 생긴다.
질문의 난이도에 추론 깊이를 맞추는 문제
같은 연구는 질문 복잡도에 추론 깊이를 맞추는 분기 장치와, 사건이 발생했을 때만 검증·수정을 돌리는 엔진을 함께 제시한다. 이는 표적 실패 목록에 단순 질의에 대한 과잉 추론이 포함되어 있기 때문이다. 검증을 무겁게 걸수록 안전해지지만, 모든 질의에 같은 무게를 걸면 비용과 지연이 함께 오른다. 법률 상담에서 이 균형은 눈에 잘 띈다. 관할 법원을 묻는 단순 질의와 여러 쟁점이 얽힌 복합 사안은 필요한 근거의 폭도 검증의 깊이도 다르다. 다만 법률 영역에서 이 분기를 도입할 때는 조심할 점이 있다. 질문이 단순해 보이는 것과 답이 단순한 것은 다르고, 단순해 보이는 질문일수록 사용자는 답을 그대로 실행하기 때문이다. 제척기간을 묻는 한 줄짜리 질문이 그렇다. 그래서 분기의 기준은 질문의 길이나 표면적 복잡도가 아니라 틀렸을 때의 회복 가능성이어야 한다는 것이 우리 판단이다.
이전 가능성의 한계를 정직하게 볼 것
이 설계를 곧바로 법률 결과로 읽으면 안 된다. LedgerMind 는 멀티모달 시각 질의응답을 대상으로 한 연구이고, 법률 도메인에서의 성능을 보고한 것이 아니다. 우리가 가져오는 것은 수치가 아니라 구조, 즉 원장을 상태로 삼고 인용 가능 집합을 닫는다는 설계 원리다. 같은 시기 공개된 RH-RAG 는 다른 각도에서 보완적이다. 프라이버시 제약으로 외부 클라우드 API 를 쓰기 어려운 환경에서 로컬 모델로 장문을 생성할 때, 계획을 세우는 에이전트와 구간별로 써 내려가는 에이전트, 그리고 자연어 추론 기반 사실 검증으로 수정 루프를 도는 검사 에이전트로 역할을 나누는 구성을 제시하며 법률을 포함한 도메인에서 평가했다. 한편 프랑스 이민법 RAG 벤치마크는 관할 특유의 법체계가 기존 벤치마크에 없다는 문제의식에서 출발해, 검색 그라운딩이 행정 안내의 신뢰성을 높인다는 점을 확인했다. 세 연구를 함께 놓으면 방향은 분명하다. 근거를 상태로 관리하고, 관할에 맞는 평가를 따로 만들어야 한다는 것이다.
기술적 트레이드오프
긴장 관계 인용 가능 집합을 미리 닫으면 근거 없는 주장은 구조적으로 막히지만, 원장을 채우는 검색이 놓친 근거는 정당한데도 인용할 수 없게 된다. 안전을 위해 재현율을 희생하는 교환이며, 법률 상담에서는 답변이 지나치게 앙상해지는 형태로 사용자에게 전가된다.
실무적 해소 실무적으로는 원장을 닫되 그 경계를 사용자에게 드러내는 방식으로 다룬다. 확인된 근거로 말할 수 있는 범위를 말하고, 그 너머는 확인되지 않았다고 명시하는 것이다. 이는 법마디가 이미 채택한 태도이며, 침묵보다 경계의 공개가 낫다는 판단에 근거한다. 기술적으로는 원장을 채우는 단계에서 재현율을 올리는 쪽에 투자하는 것이 옳다. 검증 게이트를 느슨하게 해 통과율을 높이는 방향은 같은 지표를 개선하는 것처럼 보이지만 안전 자산 자체를 깎아 먹으므로 선택지가 아니다.
법마디 OS에 적용한다면
법마디의 현재 구조는 검색으로 근거를 모으고 생성한 뒤 인용을 추출해 실시간으로 대조하는 사후 검사형이다. 여기에 원장 개념을 얹는 경로는 비교적 명확하다. 첫째, 검색과 사전 조회 단계에서 확보한 조문 본문과 판례 판시를 정규화된 항목으로 쌓고, 각 항목에 법령명·조문번호·가지번호·사건번호·선고일자를 개별 필드로 분해해 둔다. 가지번호를 별도 필드로 두는 것은 선택이 아니라 필수인데, 조문번호만 비교하면 제50조와 제50조의8 이 같은 것으로 취급되기 때문이다. 둘째, 생성된 답변의 인용을 이 원장과 개체 단위로 대조해, 실재하는지에 더해 그 항목이 해당 문장의 쟁점을 뒷받침하는지까지 확인한다. 셋째, 미검증 인용을 만났을 때 지금처럼 문장을 삭제하는 경로 옆에, 원장 안에서만 대체 근거를 찾아 교체하는 타입 제한 전이를 추가한다. 이때 원장 밖의 내용은 어떤 경우에도 새로 도입하지 않는다는 조건을 코드 수준에서 강제해야 출처 비증폭이 성립한다. 넷째, 관할 특유 평가의 필요성은 우리에게도 그대로 적용되므로, 대한민국 법체계에 맞춘 자체 평가 집합을 유지하고 생성 모델을 교체할 때마다 같은 집합으로 대조하는 절차를 고정한다. 이는 모델 비종속성이라는 대명제를 측정 가능하게 만드는 작업이기도 하다.
기술적 함의
- 인용의 실재 확인과 인용의 적합성 확인은 다른 문제이며, 후자는 개체·수치 수준의 대조가 있어야 드러난다.
- 검증기가 찾아낸 문제를 고치는 단계 자체가 새로운 환각의 통로이므로, 수정은 근거 없는 내용을 도입할 수 없는 형태로 제한되어야 한다.
- 관할마다 법체계가 다르므로 범용 벤치마크의 성적은 이전되지 않으며, 자체 평가 집합을 갖는 것이 모델 교체의 전제 조건이 된다.
"환각을 잘 잡아내는 그물보다, 애초에 근거 밖으로 나갈 수 없는 통로가 오래간다."
