확인한 시각과 쓰는 시각이 다르다
게이트가 통과시킨 순간에는 옳았던 판정이 쓰이는 순간에도 옳다는 보장은 없습니다. 판정의 시간축을 다룬 2026년 8월 연구 세 편을 우리 검증 파이프라인에 대 봅니다.
초록 검증을 통과했다는 말은 시제가 빠진 문장입니다. 정확히는 '어느 시각에 확인했을 때 통과했다' 입니다. 확인한 시각과 그 결과가 쓰이는 시각이 벌어질수록 그 사이에서 세계가 움직이고, 판정은 조용히 낡습니다. 이 글은 2026년 8월에 공개된 연구 세 편을 겹쳐 읽습니다. 가드레일의 승인이 집행 시점에는 더 이상 유효하지 않을 수 있다는 것을 다섯 환경에서 잰 연구, 법령처럼 개정되는 문서에서 '질의한 날짜에 효력이 있던 판본' 을 고르는 일이 별도의 과제임을 드러낸 벤치마크, 그리고 실패를 잡을 수 있는지가 방법이 아니라 기록에 달려 있음을 세 정보 상태로 나눠 잰 연구입니다. 세 편은 서로 다른 층을 겨누지만 같은 요구를 합니다. 판정에 시각을 붙이고, 그 시각이 언제까지 유효한지를 함께 적으라는 것입니다.
가장 불편한 실측부터 봅니다. Approved Too Late(arXiv:2608.26306, 2026-08-26)는 자가적응 시스템 앞에 세운 대형언어모델 가드레일이 내린 승인이 확인 시점에는 옳지만 실제 작동 시점에는 이미 낡을 수 있다는 것을 문제로 세웁니다. 저자들은 이것을 실행 단계의 TOCTOU 위험, 즉 확인 시각과 사용 시각이 어긋나는 위험으로 부릅니다. 재현 가능한 다섯 개 환경에서 시뮬레이터 여덟 스텝만큼 시점을 밀어 같은 행동을 재생했을 때, 후보 전체의 판정이 뒤집히는 비율은 5.3%에서 48.4% 사이였습니다. 환경에 따라 절반 가까이가 뒤집힌다는 뜻입니다. 이 숫자가 불편한 이유는 가드레일이 틀렸기 때문이 아닙니다. 가드레일은 확인 시점에 옳았고, 그 옳음이 유지되는 구간을 아무도 적어 두지 않았기 때문입니다. 우리 파이프라인도 매일 조문의 실존을 확인하고 그 결과로 글을 내보내므로, 이 구분은 남의 이야기가 아닙니다.
핵심 기술 개념
신선도 계약(freshness contract)
판정이 만족해야 할 조건을 둘로 나눠 적는 규약입니다. arXiv:2608.26306 은 모든 승인이 확인 시점에 옳아야 할 뿐 아니라 사용 시점에도 유효해야 한다고 요구합니다. 지금까지 대부분의 게이트는 앞의 절반만 검사하고 뒤의 절반은 아무도 검사하지 않는 채로 통과 판정을 내보냈습니다.
판본 결정(version resolution)
질의한 날짜에 효력이 있던 문서 판본이 무엇인지 고르는 과제입니다. arXiv:2608.08512 는 이것을 개정되는 문서 이해의 중심 과제로 세웁니다. 백과사전적 지식은 옛 사실이 새 사실로 덮이지만, 개정은 그 자체가 '무엇을 언제부터 대체하는지' 를 적은 공식 문서이고 이전 판본도 자기 유효기간 안에서는 여전히 옳습니다.
PRE·LIVE·POST 정보 상태
감사자가 질문을 던지는 시점을 셋으로 나눈 구분입니다. arXiv:2608.22808 은 실행 전에 선언된 구성(PRE), 실행 중 자라나는 추적 기록의 앞부분(LIVE), 완료된 추적 기록(POST)을 구분하고 각 상태가 서로 다른 질문만을 허락한다고 봅니다. 감사를 제약하는 것은 방법이 아니라 기록이라는 것이 이 구분의 요지입니다.
기술 심층 분석
승인에 유효기간을 붙이면 무엇이 달라지는가
arXiv:2608.26306 이 흥미로운 것은 문제를 세 개의 서로 다른 양으로 쪼갠 지점입니다. 첫째는 행동을 고정한 채 시점만 밀어 재생했을 때 후보 전체의 판정이 바뀌는 비율이고, 둘째는 기록된 폐루프 궤적 위에서 정답 라벨로 판정한 승인 만료율이며, 셋째는 판정자 조건부로 본 사용 시점 무효율입니다. 세 양은 각각 다른 질문에 답합니다. 첫째는 판정이 원리적으로 얼마나 흔들리는지를, 둘째는 실제 운행에서 얼마나 만료되는지를, 셋째는 판정자를 바꿨을 때 그 성질이 사라지는지를 묻습니다. 저자들이 제안한 장치는 각 승인의 유효 지평을 안전 쪽 여유와 최근 특징 변동성만으로 추정합니다. 대상 시스템의 동역학 모형을 명시적으로 요구하지 않는다는 점이 실무적으로 중요합니다. 같은 시점 이동 조건에서 정답 라벨 기준 승인 만료율은 3.4~24.7%에서 0~1.8%로 내려갔습니다. 그리고 네 개의 판정자를 따로 감사했을 때 모든 승인 흐름에서 사용 시점 무효가 0이 아니었습니다. 판정자를 바꾸는 것으로는 이 성질이 사라지지 않는다는 뜻입니다.
법령을 다루는 시스템에서 판본은 주석이 아니라 과제다
arXiv:2608.08512 이 세운 문제는 우리 도메인 그 자체입니다. 법령·관세 지침·소프트웨어 문서처럼 개정되고 대체되고 때로는 환원되는 문서에서는 같은 질문이 날짜에 따라 다른 정답을 가집니다. 기존 시간 질의응답 데이터셋은 시간을 주석으로만 달아 두었기 때문에 판본 결정 능력은 한 번도 시험되지 않았다는 것이 저자들의 지적입니다. 그래서 만든 것이 TIDE 로, 방글라데시 정부가 1969년부터 2025년까지 발행한 공식 관세 문서 644건 위에 전문가가 검증한 질의응답 쌍 3,050건을 얹었습니다. 여덟 가지 과제 유형, 두 개의 역법으로 날짜가 적힌 문서들, 그리고 의미의 정오와 시점의 정오를 분리하는 날짜 게이트가 채점에 들어갑니다. 아홉 개 최신 모델을 파라미터 지식·정답 문맥 제공·검색 세 조건에서 같은 규약으로 평가한 결과, 거시 평균 최고 성적이 68.5%였습니다. 날짜가 문장 안에 암묵적으로만 있을 때 판본을 결정해 내는 성적은 59.7%로 떨어집니다.
찾는 것보다 어려운 것은 아니라고 말하는 일이다
같은 논문에서 가장 낮은 숫자는 다른 자리에 있습니다. 제공된 판본이 그 질의를 규율하지 않는다는 사실을 탐지해 내는 과제의 성적은 26.7%였습니다. 올바른 판본을 찾아내는 것보다 잘못된 판본을 거부하는 것이 훨씬 어렵다는 뜻이고, 저자들은 모델이 제공된 권위 있는 텍스트보다 자신이 이미 확신하고 있는 파라미터 지식 쪽을 따르는 경향이 있다고 정리합니다. 이 비대칭은 검색 증강 구조에 그대로 위험으로 옮겨 옵니다. 우리가 조문 본문을 붙여 준다고 해서 모델이 그 본문을 판정 기준으로 삼는다는 보장은 없습니다. 붙여 준 본문이 질문이 겨눈 시점의 판본이 아닐 때, 모델은 그 불일치를 신고하는 대신 자연스럽게 답을 이어 씁니다. 그렇다면 불일치를 신고하는 일은 모델의 성실성에 맡길 것이 아니라, 결정론적인 코드가 판본 메타데이터를 대조해 처리해야 하는 자리입니다.
잡을 수 있는지는 방법이 아니라 기록이 정한다
arXiv:2608.22808 은 감사 가능성을 정면으로 다룹니다. 감사는 대개 방법이 아니라 기록에 의해 제약된다는 것이 출발점이고, 그래서 같은 감사자의 질문을 실행 전 선언 구성·실행 중 추적 앞부분·완료된 추적이라는 세 정보 상태에 각각 던집니다. 상태마다 허락되는 질문이 다르므로 일곱 개의 과제 계약이 각자의 라벨과 지표를 가지고, 하나의 순위표로 합치지 않습니다. 공개 규모는 참가자 72개, 선언된 구성 1,187개, 기록된 실행 1,162개입니다. 그런데 사전에 선언한 118개 대조 중 실제로 갈린 것은 47개뿐이었고 나머지는 순위를 매기는 대신 미결로 공개됐습니다. 더 날카로운 결과는 저자들 자신의 데이터를 겨눕니다. 이름도 권한도 전혀 보지 않고 첫 번째 이후에 선언된 능력을 모두 신고하는 규칙 하나가, 여섯 개 구성 출처 중 하나에서 완벽한 F1 을 얻었습니다. 그 점수는 방법이 얼마나 잘 추론하는지가 아니라 그 코퍼스가 어떻게 만들어졌는지를 잰 것입니다.
세 편이 겹치는 자리: 통과 판정은 관측이지 성질이 아니다
세 논문은 층이 다릅니다. 하나는 제어 루프의 승인, 하나는 문서의 판본, 하나는 감사의 기록입니다. 그런데 셋 다 같은 실수를 지목합니다. 통과 판정을 대상의 고정된 성질처럼 다루는 것입니다. 승인은 확인 시각의 관측이고, 정답은 질의 날짜의 관측이며, 벤치마크 점수는 그 코퍼스와 기록 상태의 관측입니다. 관측을 성질로 바꿔 읽는 순간 세 가지가 동시에 사라집니다. 언제 잰 것인지, 언제까지 유효한지, 무엇이 그 판정을 가능하게 했는지. 실무적으로 이것은 데이터 스키마의 문제로 내려옵니다. 판정 결과를 참·거짓 한 칸으로 저장하는 구조는 위의 셋을 담을 자리가 아예 없습니다. 판정에 확인 시각, 유효 지평, 그리고 그 판정을 뒷받침한 기록 상태를 함께 적는 순간 세 논문이 요구하는 것의 대부분이 만족됩니다. 어려운 것은 알고리즘이 아니라 무엇을 저장하기로 정하는가입니다.
기술적 트레이드오프
긴장 관계 신선도를 지키는 장치는 전부 재확인을 요구한다. 승인마다 유효 지평을 매기려면 그 지평이 지날 때 다시 확인해야 하고, 판본 불일치를 결정론으로 잡으려면 인용마다 시행일 메타데이터를 조회해야 하며, 감사 가능성을 넓히려면 실행 전 선언과 실행 중 추적을 둘 다 남겨야 한다. 우리처럼 매일 여섯 스트림을 한 배치에서 굽고 그 배치가 곧 발행 시각인 구조에서는 재확인 횟수가 곧 배치 시간이고, 배치 시간이 늘어나면 그날 발행이 통째로 밀린다.
실무적 해소 재확인의 주기를 대상의 변화 속도에 맞추면 충돌이 풀립니다. 법령 본문은 매일 바뀌지 않으므로 조문 실존 확인은 지금처럼 발행 시점에 하되, 판본이 바뀌었는지는 스윕이 하루 한 번 전수로 돌면서 도장을 남기면 됩니다. 반대로 시행일이 임박한 법령처럼 변화가 예고된 대상만 짧은 지평을 받으면, 재확인 비용은 전체가 아니라 그 부분집합의 크기에 비례합니다. 감사 기록도 같은 방식으로 나눌 수 있습니다. 모든 실행에 완전한 추적을 남기는 대신, 실행 전 선언만 항상 남기고 완전한 추적은 판정이 갈린 실행에만 남기는 것입니다. 무엇을 언제 다시 볼지를 정하는 일이 무엇을 보는지를 정하는 일보다 비용을 더 많이 줄입니다.
법마디 OS에 적용한다면
우리 파이프라인에 그대로 대 봅니다. 세 축 중 둘은 이미 자리를 잡았고 하나는 오늘 비었습니다. 첫째, 신선도 도장은 있습니다. data/amendment_sweep.json 은 마지막 스윕 날짜와 검사한 법령 수를 남기고, 오늘 기준 값은 2026-08-30 에 법령 179건을 훑어 개정 발견 0건, 잔여 미갱신 조문 0건입니다. 다만 이 도장은 자산 전체에 하나 찍히는 값이지 개별 판정에 붙는 유효 지평이 아닙니다. arXiv:2608.26306 의 용어로는 확인 시각은 기록하지만 사용 시각의 유효성은 아직 계약으로 적지 않았습니다. 둘째, 판본 결정은 이미 우리 스택의 파라미터입니다. 국가법령정보센터의 현행·연혁 조회는 법령일련번호만으로 열리지 않고 시행일자를 함께 넘겨야 열린다는 것을 2026-08-30 에 확인해 조회부를 고쳤습니다. 다만 인용 검증이 '이 조문이 존재하는가' 는 묻고 '질문이 겨눈 시점에 효력이 있던 판본인가' 는 아직 묻지 않습니다. 셋째, 감사의 정보 상태는 오늘 우리에게 실물로 왔습니다. 어제 커밋 하나가 수험판례 생성기에서 모듈 경로를 세우는 두 줄을 지웠고, 그 스크립트는 오늘 새벽 배치에서 import 단계부터 죽었습니다. 그 실패를 잡은 것은 실행 전 검사가 아니라 사람이 사후에 읽은 실행 기록이었고, 그동안 그 스트림은 하루치가 비었습니다. arXiv:2608.22808 의 구분으로 말하면 우리에게는 POST 감사만 있었고 PRE 게이트가 없었습니다. 그래서 오늘 함께 넣은 것이 생성기를 실제 실행 경로와 같은 조건으로 import 해 보는 회귀 검사입니다. 세 축 가운데 가장 싼 자리부터 닫는 것입니다.
기술적 함의
- 판정 결과는 참·거짓 한 칸이 아니라 확인 시각과 유효 지평을 함께 적는 구조로 저장한다. 지평이 없는 판정은 '유효하다' 가 아니라 '언제까지 유효한지 모른다' 로 읽어야 한다.
- 인용 검증에서 '맞는 판본을 찾았는가' 와 '틀린 판본을 거부했는가' 를 따로 센다. 실측에서 후자가 훨씬 낮으므로, 하나의 정확도로 합치면 약한 쪽이 강한 쪽에 가려진다.
- 게이트를 추가할 때 그 게이트가 어느 정보 상태에서 도는지를 먼저 적는다. 실행 전에 도는 검사만이 사고를 예방하고, 완료된 기록만 보는 검사는 사후에 세는 일밖에 하지 못한다.
"통과했다는 말에는 시각이 빠져 있습니다. 시각을 붙이는 순간 다음 질문이 따라옵니다 — 그래서 언제까지 유효합니까. 그 질문에 답을 적어 두지 않은 판정은, 언젠가 조용히 틀립니다."
