표시는 어디를 가리키는가: 혼합 문서의 워터마크 국소화
AI가 쓴 문장에 표시를 심는 일과, 그 표시가 문서의 어느 부분을 가리키는지 짚어 내는 일은 다른 문제입니다. 최근 연구가 보여 준 그 간격을 법률 문서의 관점에서 정리했습니다.
초록 생성 모델의 출력에 통계적 표식을 심는 워터마킹이 규제 대응의 기본 층으로 자리 잡고 있다. 그러나 실제 법률 문서는 순수한 모델 출력이 아니라 사람이 고치고 덧붙인 혼합 저작물이다. 이 칼럼은 세 갈래의 최신 연구를 근거로 세 가지를 구분한다. 문서 전체에 표식이 있는지 판정하는 탐지, 어느 위치에 남았는지 짚는 발견, 각 토큰이 모델 것인지 사람 것인지 가르는 분류다. 발견은 탐지보다 엄격히 어렵고, 분류는 특정 규칙군 안에서 일관되게 달성될 수 없다. 결론은 단순하다. 워터마크는 출처를 말하지만 진위를 말하지 않으며, 법률 문서에서 필요한 것은 표시 위에 별도로 얹히는 내용 검증 계층이다.
변호사가 초안을 모델에 맡기고, 받은 글에서 몇 문장을 지우고 몇 문장을 자기 표현으로 바꾼 뒤 제출한다. 지금 법률 사무실에서 실제로 일어나는 장면이다. 이 문서에 워터마크가 있다면 그것은 무엇을 증명하는가. 문서 전체가 모델의 산물이라는 뜻인가, 아니면 어딘가에 모델의 흔적이 남았다는 뜻인가. 최근 발표된 워터마크 국소화 연구는 이 질문을 통계적 가설검정의 문제로 옮겨 놓았다. 각 토큰 위치마다 워터마크 의존성이 살아남았는지를 나타내는 숨은 지표를 두고, 다중검정 관점에서 무엇이 가능하고 무엇이 불가능한지를 따진 것이다. 결과는 직관과 어긋나지 않으면서도 실무자에게는 뼈아프다. 문서 단위로 '여기 표식이 있다'고 말하는 일보다, '이 문장이 그렇다'고 말하는 일이 훨씬 어렵다. 그리고 '이 토큰은 사람이 썼다'고 일관되게 가르는 일은 그 규칙군 안에서는 아예 불가능하다는 결론이 나온다. 표시 의무가 현실이 된 지금, 이 간격을 정확히 아는 것이 시스템 설계의 출발점이다.
핵심 기술 개념
혼합 출처 텍스트(mixed-source text)
모델이 생성한 부분과 사람이 쓰거나 고친 부분이 한 문서 안에 섞여 있는 상태를 말한다. 재작성·삽입·삭제·환언을 거치면 워터마크 신호는 일부 토큰 위치에만 남는다.
탐지·발견·분류
탐지는 문서 전체에 신호가 있는지 판정하는 일, 발견은 신호가 살아남은 위치 집합을 짚어 내는 일, 분류는 각 위치가 모델 것인지 사람 것인지 가르는 일이다. 셋은 난이도가 다른 별개의 문제다.
편승 위조(piggyback spoofing)
워터마크가 편집에 견디도록 만들어졌다는 성질을 역이용해, 공격자가 핵심 내용만 바꾸면서 원래의 출처 표시는 그대로 유지하게 만드는 공격이다. 표식은 살아 있는데 내용은 조작된 상태가 된다.
기술 심층 분석
탐지가 되었다고 위치를 아는 것은 아니다
워터마크 국소화 연구는 문제를 토큰 단위 다중검정으로 정식화한다. 각 위치에 대해 피벗 통계량을 계산하고, 그 위치에서 워터마크 의존성이 살아남았는지를 나타내는 잠재 지표를 둔 뒤, 신호 희소성과 다음 토큰 분포의 집중도, 유효 어휘 크기의 증가 속도를 지수로 갖는 점근 체제에서 무엇이 가능한지를 따진다. 여기서 세 가지 경계가 갈린다. 전역 탐지에는 뚜렷한 경계가 있고, 발견과 분류에는 각각 상전이가 나타난다. 핵심 결론은 발견이 탐지보다 엄격히 어렵다는 것, 그리고 좌표별 피벗 기반 규칙군 안에서는 일관된 분류가 불가능하다는 것이다. 실무 언어로 옮기면 이렇다. '이 준비서면 어딘가에 모델의 흔적이 있다'는 진술은 통계적으로 뒷받침될 수 있지만, '3면 두 번째 문단이 모델의 것이다'는 진술은 훨씬 강한 조건을 요구하고, '이 문장은 사람이 직접 썼다'는 진술은 그 방식으로는 얻어지지 않는다. 이 비대칭을 모르고 국소화 결과를 증거처럼 쓰면, 통계가 감당하지 못하는 무게를 판단에 싣게 된다.
견고성은 그 자체로 공격면이 된다
워터마크 설계의 오랜 목표는 견고성이었다. 환언과 번역, 요약과 문체 변환을 거쳐도 표식이 살아남아야 출처 추적이 의미를 갖기 때문이다. 그런데 바로 그 성질이 편승 위조를 가능하게 한다. 공격자는 문서의 골격을 유지한 채 결론이나 금액, 기한 같은 핵심만 바꾸고, 견고한 표식은 그대로 남겨 둔다. 결과물은 '검증된 출처를 가진 조작 문서'다. 최근 제안된 해법은 상보적 신호를 함께 심는 것이다. 편집에 견디는 견고한 신호와 사람이 읽을 수 있는 변경에 민감하게 깨지는 취약한 신호를 같은 메커니즘으로, 다만 독립된 키와 서로 다른 시딩 창을 써서 각 토큰에 함께 넣는다. 생성 분포가 왜곡되지 않도록 편향 없는 토너먼트 재가중을 여러 라운드 반복하고, 라운드 배분 패턴으로 두 신호의 비중을 조절한다. 검출 단계에서는 두 점수가 이차원 공간을 이루고, 그 위에서 온전함·변조됨·워터마크 없음이라는 세 가지 판정이 나온다. 설계의 요점은 견고성을 포기하지 않으면서 '변조되었음'이라는 별개의 상태를 표현할 자리를 만든 것이다.
세 상태 판정이 왜 중요한가
판정의 개수는 사소한 설계 선택처럼 보이지만 실제로는 시스템의 정직성을 결정한다. 판정이 두 개뿐이면, 즉 '워터마크 있음'과 '없음'만 있으면 모든 불확실성은 둘 중 하나로 접힌다. 편집을 많이 거쳐 신호가 옅어진 정상 문서가 '없음'으로 떨어지고, 핵심만 조작된 문서가 '있음'으로 통과한다. 두 오류의 방향이 정반대인데 같은 출력 공간을 쓰기 때문에 구분할 방법이 없다. 세 번째 상태를 두면 이 압축이 풀린다. 상보적 신호 연구의 절제 실험은 신뢰할 만한 세 상태 판정을 위해 무엇이 필요한지를 짚는데, 온전함이라는 개념을 명확히 정의할 것, 두 신호를 함께 심을 것, 편집에 대한 민감도가 서로 보완적일 것이 조건으로 제시된다. 어느 하나가 빠지면 세 상태는 이름만 셋이고 실제로는 둘로 되돌아간다. 판정 공간을 넓히는 일이 곧 '모른다'를 '아니다'로 말하지 않게 만드는 공학적 장치라는 점에서, 이것은 법률 시스템의 설계 원칙과 정확히 같은 이야기다.
배치의 문제: 누가 검출할 수 있는가
워터마킹 문헌을 배치 관점에서 정리한 최근 서베이는 실무자가 답해야 할 질문을 축으로 삼는다. 표식을 어디에 심는가, 즉 생성 시점인가 학습 시점인가, 토큰 수준인가 표현 수준인가. 누가 검출할 수 있는가, 즉 공개 검출인가 비밀 키를 쥔 주체만의 검출인가. 무엇을 가정하는가, 즉 로짓 접근·샘플링 제어·비밀 키·모델 소유권 중 무엇이 전제되는가. 그리고 어떤 위협을 상정하는가, 즉 환언·번역·요약·문체 변환·토큰 조작·적응적 제거 중 무엇을 막으려 하는가. 이 축들이 뒤섞이면 방법 간 비교가 불가능해지고, 논문의 수치가 배치 환경으로 옮겨지지 않는다. 법률 영역에서 특히 중요한 축은 검출 권한이다. 검출이 모델 제공자만 할 수 있는 일이라면, 법원이나 상대방은 표식의 존재를 스스로 확인할 수 없고 제공자의 진술에 의존해야 한다. 증거 능력을 따지는 자리에서 이것은 결정적인 제약이다. 공개 검출을 지향하는 설계가 따로 연구되는 이유이며, 거짓 양성 통제와 보정, 견고성 곡선 같은 평가 지표를 함께 봐야 하는 이유이기도 하다.
기술적 트레이드오프
긴장 관계 견고성과 변조 민감성은 같은 축의 양 끝이다. 편집에 강한 표식일수록 조작된 문서에 정당성을 빌려주고, 편집에 약한 표식일수록 정상적인 수정만으로도 사라져 출처 추적이 무력해진다. 하나의 신호로 두 목적을 동시에 만족시킬 수는 없다.
실무적 해소 실무적 해법은 신호를 하나로 두지 않는 것이다. 성질이 다른 두 신호를 독립된 키로 함께 심고, 검출 결과를 이차원으로 읽어 판정 상태를 셋으로 늘린다. 그리고 어떤 판정도 단독으로 결론이 되지 않게 한다. 워터마크는 '이 문서가 어디에서 왔는가'에 답하는 층이고, 내용이 맞는지는 인용 검증처럼 원문 대조에 기대는 별도 층이 답해야 한다. 두 층을 섞지 않는 것이 가장 값싼 안전장치다.
법마디 OS에 적용한다면
법마디의 인용 검증기는 '누가 썼는가'를 묻지 않는다. 문서에 적힌 법령 조문과 판례가 실제로 존재하는지, 그 조문 번호가 원문과 맞는지를 국가법령정보센터 원문과 대조해 판정할 뿐이다. 이 설계는 워터마크와 정확히 직교한다. 표식은 출처를, 검증은 내용을 다루기 때문에 어느 한쪽이 다른 쪽을 대신할 수 없다. 그래서 우리가 할 일은 분명하다. 첫째, 외부 문서를 받을 때 워터마크 메타데이터가 있으면 참고 정보로 기록하되 판정 근거로는 쓰지 않는다. 표식이 있는 문서의 인용도 똑같이 대조하고, 표식이 없는 문서의 인용도 똑같이 대조한다. 둘째, 우리 판정 상태를 계속 넷으로 유지한다. 확인됨, 수록 법령인데 조문이 없어 의심됨, 판단 보류, 형식 오류로 나누는 구조는 상보적 워터마크가 세 상태를 두는 이유와 같은 동기에서 나왔다. 코퍼스에 없는 판례를 '가짜'로 말하지 않기 위해서다. 셋째, 검증 리포트에 '이 판정이 무엇을 말하지 않는지'를 명시하는 항목을 둔다. 인용이 실재한다는 확인은 그 문서의 결론이 옳다는 뜻이 아니고, 워터마크가 있다는 확인은 그 문서가 변조되지 않았다는 뜻이 아니다. 넷째, 향후 표시 의무가 국내에 도입될 경우를 대비해 검증 결과 자체에 기계가 읽을 수 있는 서명을 붙이는 방향을 검토한다. 검증기가 낸 판정이 다시 출처 불명의 텍스트로 떠도는 일을 막는 것이 마지막 고리다.
기술적 함의
- 문서 단위 탐지 결과를 문장 단위 결론으로 옮기는 순간, 통계가 감당하지 못하는 주장이 된다.
- 편집에 강한 표식은 조작된 문서에도 똑같이 강하므로, 출처 표시는 무결성 보증이 될 수 없다.
- 판정 상태를 몇 개로 둘지가 곧 '모른다'를 정직하게 말할 수 있는지를 결정한다.
"표시는 출처를 가리킬 뿐, 내용이 맞는지는 여전히 원문이 답합니다."
