AI 추론 압축, 도구 결과를 반영하기 전 무엇을 남길까
대기 중인 도구 결과를 보기 전에 앞선 추론을 간결한 상태 기록으로 다시 쓰는 연구를 초록 범위 그대로 정리하고, 법률 조회형 에이전트에 옮길 때 보존할 정보와 함께 재야 할 비용·정확도를 살펴봅니다.
초록 추론은 어려운 문제를 푸는 능력을 높이지만 긴 추론은 비용이 큽니다. 안톤 흐리스토프(Anton Hristov)의 논문(arXiv 2611.03852)은 오픈 웨이트 모델이 재학습 없이, 앞서 쓴 자기 추론의 형식만 바꿔 이후 추론을 줄일 수 있는지 살폈습니다. 대기 중인 도구 결과를 보여 주기 전에 앞선 추론을 간결한 상태 기록으로 다시 쓰고, 원래 이력과 압축 이력에서 이어지는 생성을 비교했습니다. 시험한 모델에서 채택된 압축 이력은 대체로 이후 추론을 짧게 했고, 소프트웨어 에이전트 배포에서는 총비용을 줄일 수 있었지만 과제 품질과 재작성을 포함한 시간은 대상 모델과 압축기에 따라 달랐습니다. 본 칼럼은 이 결과를 법률 조회형 에이전트에 옮길 때 무엇을 남기고 무엇을 재야 하는지를, 연구가 보인 것과 우리의 가설을 나눠 살펴봅니다.
법령이나 판례를 조회하는 에이전트는 결과를 기다리는 동안 앞서 세운 가설을 길게 되풀이하곤 합니다. 흐리스토프의 연구는 바로 그 대기 지점에서 앞선 추론을 짧은 상태 기록으로 바꾸면 이후 생성이 어떻게 달라지는지를 시험했습니다. 다만 연구의 실험은 코딩 사례와 소프트웨어 에이전트 배포였고 법률 과제는 없었습니다. 법률 업무에 옮기려면 줄어든 토큰만큼, 압축 과정에서 날짜·예외·제외한 가설 같은 정보가 빠지지 않았는지를 따로 확인해야 합니다. 10월 11일 기술 칼럼이 도구 관측 결과를 보관했다가 복원하는 방식을 다뤘다면, 이번 연구는 도구 결과를 반영하기 전에 추론 이력의 표현 자체를 바꾸는 방식이라는 점이 다릅니다.
핵심 기술 개념
추론 이력 압축 (Reasoning History Compaction)
에이전트가 대기 중인 도구 결과를 보기 전에, 앞서 생성한 추론을 더 간결한 형식으로 다시 쓰는 개입입니다. 흐리스토프의 연구는 이 개입이 이후 추론의 길이와 비용에 어떤 영향을 주는지를 쟀습니다.
컴팩트 상태 레코드 (Compact State Record)
앞선 추론을 대체하는 짧은 기록으로, 논문은 이를 'compact state records'라고 부릅니다. 초록은 그 형식을 자세히 밝히지 않으므로, 이 칼럼에서 말하는 필드 구성(확인된 사실·잠정 가설·보류 쟁점)은 법률 업무에 맞춘 구현 예시입니다.
인과적 개입 (Causal Intervention)
모델을 다시 학습시키지 않고 입력 이력의 형식만 바꾼 뒤, 원래 이력과 바꾼 이력에서 이어지는 생성을 비교해 그 변화의 효과를 보려는 실험 방식을 이 칼럼에서 부르는 말입니다.
기술 심층 분석
개입 지점은 도구 결과를 보기 전이다
논문의 개입은 도구를 부르기 전이 아니라, 대기 중인 도구 결과를 모델에게 보여 주기 전에 일어납니다. 이때 앞선 추론을 간결한 상태 기록으로 다시 쓰고, 같은 지점에서 원래 이력과 압축 이력으로 각각 생성을 이어 가 비교했습니다. 시험한 모델 전반에서 채택된 압축 이력은 대체로 이후 추론을 짧게 만들었고, 코딩 사례에서는 공유된 후보 해답 뒤에 같은 검증을 되풀이하는 일이 줄었습니다. '채택된' 압축과 '대체로'라는 한정이 붙어 있다는 점을 함께 읽어야 합니다. 모든 압축이 받아들여진 것도, 모든 경우에 짧아진 것도 아니기 때문입니다.
비용은 줄 수 있지만 품질과 시간은 조건에 따라 달랐다
소프트웨어 에이전트 배포에서 압축은 총비용을 줄일 수 있었지만, 과제 품질과 재작성 시간을 포함한 전체 시간은 대상 모델과 압축기에 따라 달랐습니다. 논문이 모델별 압축 정책을 효율과 유지된 능력 두 기준으로 평가하라고 권하는 이유입니다. 법률 조회형 에이전트에 옮긴다면 토큰이 줄었는지만 보지 말고, 최종 답변의 정확도와 재작성에 든 시간까지 같은 조건에서 비교해야 합니다. 압축이 법률 정확도를 높인다는 결과는 이 연구에 없으므로, 효과는 직접 재기 전까지 가설로 두는 편이 맞습니다.
법률 업무에서 압축이 잃기 쉬운 것
법률 판단에서는 결론보다 그 결론을 떠받치는 조건이 중요할 때가 많습니다. 기한이 언제 시작하는지, 어떤 예외가 걸려 있는지, 어떤 가설을 왜 제외했는지가 짧은 기록에서 빠지면 도구 결과를 받은 뒤의 판단이 다른 출발점에서 시작됩니다. 이것은 논문이 잰 위험이 아니라 법률 업무에 옮길 때 우리가 따로 확인해야 할 위험입니다. 그래서 압축 기록에는 확인된 사실과 아직 검증하지 않은 가설을 구분해 남기고, 검증 전 요건이 확정된 판단처럼 바뀌지 않았는지 살필 필요가 있습니다.
누락 검사는 구조와 의미를 나눠 본다
압축 전후로 인물·날짜·조문 번호 같은 항목이 남아 있는지는 기계적으로 대조할 수 있습니다. 하지만 항목이 남아 있어도 부정·예외·조건의 관계가 바뀌면 뜻이 달라집니다. 따라서 항목 대조는 최소한의 구조 검사로 쓰고, 뜻이 보존됐는지는 압축 전후의 최종 답변을 같은 기준으로 견주어 따로 확인해야 합니다. 검사에서 문제가 보이면 원래 이력으로 돌아가는 경로를 두는 것도 한 방법입니다. 이것은 논문이 제시한 설계가 아니라 이 칼럼이 제안하는 구현 예시입니다.
기술적 트레이드오프
긴장 관계 추론 이력을 압축하면 이후 추론 토큰과 비용을 줄일 수 있지만, 압축하는 데 시간과 비용이 들고 그 과정에서 조건이나 예외가 빠질 수 있습니다. 논문도 품질과 재작성 포함 시간이 대상 모델과 압축기에 따라 달라진다고 적었습니다.
실무적 해소 압축은 모델과 과제별로 켜고, 토큰 절감·재작성 시간·최종 답변의 오류를 함께 재서 판단하는 편이 안전합니다. 법률 경로에서는 압축 기록에 확인된 사실과 잠정 가설을 구분해 남기고, 누락이 의심되면 원래 이력으로 돌아갈 수 있게 해 두는 것이 현실적입니다.
이 주장이 틀리는 조건
반증 조건 같은 법률 질의 묶음을 원래 이력과 압축 이력으로 처리했을 때, 최종 결론의 오류와 인용 정확도, 사실 보존에 의미 있는 차이가 없고 재작성을 포함한 비용과 시간이 줄어든다는 결과가 사전에 정한 평가 설계에서 확인된다면, 압축 기록을 따로 검사하자는 이 칼럼의 신중론은 지나친 것이 됩니다. 반대로 토큰은 줄지만 결론 오류가 늘어난다면 법률 경로에서는 압축을 쓰지 않는 편이 맞습니다.
법마디 OS에 적용한다면
법마디 OS 는 질문을 60개 분야별 AI 리더에게 배정하고 여러 분야가 얽힌 질문은 리더 협의를 거치며, 답변 속 조문·판례 인용을 국가법령정보센터 원문과 대조해 확인되지 않은 인용은 내보내지 않도록 설계돼 있습니다. 판례·조문 조회 도구(MCP)는 외부 이용자가 쓰는 조회 표면이고, 이 내부 원문 대조와는 별개입니다. 추론 이력 압축은 지금 쓰고 있는 기능이 아니며, 검토한다면 압축 전후로 최종 답변의 정확도와 인용 대조 결과를 같은 질의로 비교하는 것이 먼저입니다. 인용 대조는 인용의 실재와 문구를 확인할 뿐 압축 과정에서 빠진 조건까지 잡아 주지는 않기 때문입니다.
기술적 함의
- 추론 이력 압축은 재학습 없이 이후 추론을 줄일 수 있지만, 그 효과는 연구에서도 모델과 압축기에 따라 달랐습니다.
- 법률 업무에 옮기려면 토큰 절감과 함께 날짜·예외·제외한 가설이 보존되는지, 최종 답변의 오류가 늘지 않는지를 재야 합니다.
- 항목 대조는 구조만 확인하므로, 뜻이 보존됐는지는 압축 전후의 최종 답변을 견주어 따로 확인해야 합니다.
"추론을 줄이는 일의 가치는 줄인 뒤에도 같은 결론에 같은 근거로 도달하는지를 확인했을 때 비로소 생깁니다."
