초저정밀도 KV 캐시와 장문 법률 추론의 무결성
서빙 엔진의 NVFP4 및 FP8 KV 캐시 양자화가 장문 법률 질의의 세부 인용 정밀도와 TTFT에 미치는 구조적 영향을 분석합니다.
초록 초거대 언어 모델 기반의 법률 서빙 환경에서 컨텍스트 윈도우가 수만 토큰 단위로 확장됨에 따라 키-값(KV) 캐시 메모리는 시스템 확장성의 치명적 병목으로 부상했습니다. 최근 vLLM v0.32.0 오픈소스 릴리스는 NVFP4 KV 캐시를 여러 GPU 세대로 넓히고, SM100에서 GLM-5.x 모델의 KV 캐시를 FP8로 기본 전환했습니다. 릴리스가 인용한 PR 벤치마크에서 이 FP8 전환은 랭크당 KV 메모리를 절반으로 줄이고 처리량을 2.3~5.5% 높였지만, 첫 토큰 생성 시간(TTFT)은 7~11% 늘었습니다. 나아가 장문 판례와 다수 조문이 교차하는 법률 질의 환경에서는 어텐션 스코어의 미세한 수치 분포가 왜곡되거나 이상치(outlier)가 절단되어 법률 조항 번호나 인용 스팬의 특정성이 훼손될 위험이 상존합니다. 본 칼럼에서는 vLLM의 최신 KV 캐시 양자화 아키텍처와 커널 수준의 수치 안정성 메커니즘을 엄밀히 분해하고, 서빙 효율화가 법률적 무결성을 저해하지 않도록 통제하는 계층적 캐시 보존 전략을 논증합니다. 최종적으로 인프라 최적화가 모델의 근거 접지력을 왜곡하지 않도록 실측 검증에 기반한 서빙 파이프라인의 기준을 제시합니다.
수만 자에 달하는 판결문 전문과 관련 법령 수십 개를 단일 컨텍스트에 투입하고 복합 쟁점을 검토할 때, 엔지니어링 현장이 직면하는 첫 번째 장벽은 GPU 메모리의 고갈입니다. 배치 크기가 조금만 커져도 수십 기가바이트의 HBM이 오직 어텐션 키-값(KV) 캐시를 보관하는 데 잠겨버려, 추론 엔진은 급격한 스루풋 저하와 OOM(Out of Memory) 위기에 봉착합니다. 최근 공개된 vLLM v0.32.0 릴리스는 이러한 물리적 한계를 정면으로 돌파하기 위해 NVFP4 캐시를 다수 아키텍처로 확장하고 SM100에서 FP8 KV 캐시를 기본 적용하는 등 극단적인 저정밀도 압축 기법을 전면에 배치했습니다. 릴리스가 인용한 PR 벤치마크(SM100의 GLM-5.x)에 따르면 FP8 캐시는 랭크당 KV 메모리를 절반으로 줄이고 처리량을 2.3~5.5% 끌어올리지만, 첫 토큰 방출 시간(TTFT)은 7~11% 늘어나는 트레이드오프를 보였습니다. 법률 AI 시스템에서 TTFT의 지연은 단순한 응답 속도 문제를 넘어, 초기 검증 체인과 실시간 대화형 탐색의 지연 누적을 의미합니다. 더 심각한 기술적 문제는 부동소수점 비트 폭을 4비트나 8비트로 축소할 때 발생하는 어텐션 확률 분포의 양자화 잡음이 법조문 항호와 판례 사건번호 같은 희소하고 정밀한 정보 스팬을 뭉갤 수 있다는 사실입니다. 인프라의 처리량 극대화라는 경제적 유인과 법률 추론이 요구하는 절대적 무결성 사이의 팽팽한 기술적 긴장을 직시해야 할 시점입니다. 우리는 연산 엔진 밑바닥의 캐시 압축 원리를 해부하고, 법률 도메인에서 용인 가능한 수치적 타협의 한계선을 수리적으로 규명하고자 합니다.
핵심 기술 개념
KV 캐시 양자화(KV Cache Quantization)
트랜스포머 디코딩 과정에서 이전 토큰들의 Key와 Value 텐서를 HBM에 저장할 때, 기존 FP16/BF16 대신 FP8이나 NVFP4 같은 저정밀도 포맷으로 변환하여 메모리 점유율을 줄이고 메모리 대역폭 한계를 완화하는 기법입니다.
첫 토큰 생성 시간(TTFT, Time to First Token)
사용자의 입력 프롬프트가 주어졌을 때 언어 모델이 입력 전체를 연산하는 사전 채우기(prefill)를 완료하고 최초의 출력 토큰을 생성하기까지 걸리는 레이턴시입니다.
MLA(Multi-Head Latent Attention)
어텐션 연산에 필요한 키와 값을 저차원 잠재 공간으로 압축 투영하여 KV 캐시 크기를 획기적으로 줄이는 구조로, 대규모 서빙 엔진에서 고밀도 추론을 가능하게 합니다.
기술 심층 분석
NVFP4 및 FP8 캐시 양자화의 부동소수점 수치 매핑 메커니즘
vLLM v0.32.0에서 대폭 강화된 NVFP4 및 FP8 KV 캐시는 트랜스포머의 어텐션 블록에서 지속적으로 누적되는 Key와 Value 상태 행렬을 낮은 비트 폭의 수치 격자로 사상하는 방식으로 동작합니다. FP8(E4M3 및 E5M2) 포맷은 1비트의 부호와 4비트 지수, 3비트 가수 혹은 5비트 지수와 2비트 가수를 사용하여 표현 가능한 동적 범위를 조율하며, NVFP4는 이를 4비트 규격으로 더욱 극단화하여 블록 단위 스케일 팩터(scale factor)를 동반하는 양자화 구조를 채택합니다. 이때 사전 채우기 단계에서 계산된 고정밀도 활성화 텐서는 양자화 커널을 통과하면서 채널 단위 또는 토큰 블록 단위의 절대 최댓값을 기반으로 역스케일링된 후 저정밀도 비트 패턴으로 캐시 버퍼에 기록됩니다. 디코딩 단계에서는 저장된 저정밀도 캐시를 직접 연산 단위로 읽어 들여 텐서 코어의 고속 GEMM(General Matrix Multiply) 또는 GEMV 연산을 수행함으로써 메모리 대역폭 병목을 근본적으로 해소합니다. 그러나 이 과정에서 필연적으로 발생하는 라운딩 오차(rounding error)는 어텐션 내적 스코어의 미세한 순위를 교란할 가능성을 내포합니다. 특히 법률 텍스트에서 단 하나의 수치 차이로 완전히 다른 법적 효과를 낳는 법률 조항 번호나 판결 선고 일자는 활성화 텐서 상에서 강한 국소적 피크(peak)를 형성하는데, 스케일 팩터가 블록 전체의 평균적 분포에 맞추어질 경우 이러한 첨두값 주변의 배경 신호가 클리핑되거나 양자화 격자 간격 속으로 매몰되는 수치적 왜곡이 발생합니다. 결과적으로 메모리 대역폭 절감이라는 강력한 인프라적 이득의 이면에는 법률 사실관계의 희소 토큰에 대한 소프트맥스 확률 감쇄라는 수치적 대가가 정확히 자리 잡고 있습니다.
7~11% TTFT 페널티와 디코딩 처리량 개선의 연산 병목 분석
vLLM 릴리스의 PR #60140 및 #60281 벤치마크에 명시된 바와 같이, SM100에서 GLM-5.x 모델에 FP8 KV 캐시를 기본 적용했을 때 랭크당 메모리가 절반으로 줄어들고 처리량이 2.3~5.5% 향상되지만 첫 토큰 생성 시간(TTFT)은 7~11% 악화됩니다. 릴리스는 원인을 밝히지 않았지만, 이런 비대칭은 사전 채우기(prefill) 단계와 디코딩(decoding) 단계가 직면하는 하드웨어 제약의 차이로 설명해 볼 수 있습니다. 수천 토큰 이상의 장문 법률 프롬프트를 처리하는 사전 채우기 단계는 산술 연산 집약적(compute-bound) 특성을 띠는데, 여기서 원본 정밀도 텐서를 저정밀도 포맷으로 변환하고 적응형 스케일을 계산하는 오버헤드가 고스란히 추가 연산 지연으로 작용하여 TTFT를 직접적으로 밀어냅니다. 반면 한 번에 하나의 토큰을 방출하는 디코딩 단계는 전형적인 메모리 대역폭 집약적(memory-bound) 환경이므로, KV 캐시의 데이터 크기가 절반 또는 4분의 1로 축소되면 GPU HBM에서 SRAM으로 텐서를 전송하는 시간이 극적으로 단축되어 전체 처리량이 상승합니다. 법률 AI 파이프라인에서 이러한 TTFT의 증가는 단순한 수치 변화 이상의 시스템적 병목을 유발합니다. 사용자가 다단계 사실관계를 입력하고 신속한 법적 요건 분석을 요구하는 상호작용 상황에서, 초기 7~11%의 레이턴시 상승은 실시간 스트리밍의 체감 성능을 저하시킬 뿐만 아니라 백엔드에서 수행되는 전처리 탐색 및 질의 재작성 에이전트의 직렬 지연을 복합적으로 가중시킵니다. 따라서 서빙 엔진 설계자는 무조건적인 캐시 양자화를 적용할 것이 아니라, 연산 집약적인 사전 채우기 파이프라인과 대역폭 집약적인 생성 파이프라인의 분리 호스팅을 신중하게 검토해야 합니다.
장문 어텐션의 이상치 붕괴와 초저정밀도(4-bit) 압축의 한계
ROCm 환경의 ultraquant_4bit 캐시나 엔비디아 계열의 NVFP4와 같이 4비트 수준으로 캐시를 압축할 때, 법률 장문 추론에서 가장 취약해지는 지점은 어텐션 싱크(attention sink)와 거대 이상치(outlier) 토큰의 표현력 붕괴입니다. 대규모 언어 모델은 긴 문맥을 추론할 때 첫 번째 토큰이나 특정 구두점, 그리고 강한 법률적 지시어에 비정상적으로 큰 어텐션 가중치를 부여하여 문맥의 기준점으로 삼는 경향을 보입니다. FP16·BF16 환경에서는 표현 범위가 넓어 이러한 거대 이상치가 전체 텐서의 정규화에 악영향을 주지 않지만, 표현 가능한 비트가 4비트(부호 포함 시 실질적 상태 공간 16개 불과)로 좁혀지면 단 하나의 극단적 이상치가 블록 스케일을 독점하게 됩니다. 그 결과 동일 블록 내에 공존하는 일반 법률 서술문과 정밀한 조문 번호들의 유효 유효숫자가 0으로 수렴하는 '언더플로우(underflow)' 현상이 빈번하게 유발됩니다. vLLM v0.32.0rc3에서 고친 Mamba2 청크 스캔 커널의 SM90 환경 NaN 출력 버그(#61718)는 KV 캐시가 아닌 상태 공간 모델 커널의 결함이지만, 저수준 커널의 수치 결함이 특정 하드웨어에서만 드러날 수 있음을 보여 줍니다. 상태 공간 모델이든 트랜스포머든 초저정밀도 커널 연산은 극한의 수치 범위에서 수학적 불연속성을 야기하기 쉽습니다. 법률 문서처럼 텍스트의 미세한 문맥 차이가 전혀 다른 법조항 적용으로 이어지는 도메인에서는, 4비트 양자화로 인한 어텐션 맵의 스무딩(smoothing) 현상이 중요 선례의 배척이나 엉뚱한 법률 요건으로의 주의 분산이라는 심각한 논리적 환각으로 전이될 위험을 구조적으로 내포하고 있습니다.
파서 추상화와 모델 러너 V2가 시사하는 런타임 제어권의 변화
vLLM v0.32.0은 저정밀도 캐시 확장과 더불어 모델 런타임의 추상화 계층을 완전히 재편했습니다. 새롭게 도입된 `--tool-call-parser hf` 및 `--reasoning-parser hf` 옵션은 체크포인트 내부의 `response_template`을 직접 해석함으로써 모델 전용 파서 없이도 도구 호출과 사고 과정을 통합 파싱할 수 있는 표준 경로를 확립했습니다. 동시에 Model Runner V2에는 가변 길이 드래프트를 지원하는 GPU n-그램 투기적 디코딩(speculative decoding)과 탄력적 전문가 병렬(Elastic EP), MLA 모델용 프리필 컨텍스트 병렬화가 더해졌고, ROCm에서는 기본 런타임이 되었습니다. 이러한 구조적 변화는 서빙 인프라가 단순한 토큰 생성기를 넘어, 구조화된 상태 추론과 동적 라우팅을 GPU 커널 레벨에서 직접 제어하는 단계로 진화했음을 의미합니다. 특히 파이프라인 병렬화와 프리필 컨텍스트 병렬화의 결합은 장문 법률 텍스트를 여러 GPU 노드에 분할하여 처리할 때 통신 병목을 줄이고 KV 캐시의 파편화를 방지하는 핵심 수단이 됩니다. 그러나 파서와 런타임이 하부 하드웨어 최적화에 강하게 밀착될수록, 서빙 계층에서 발생한 미세한 수치 불일치가 추론 파서의 정규표현식이나 스키마 검증기를 무력화하는 부작용이 발생할 수 있습니다. 예를 들어 양자화 잡음으로 인해 모델이 생성하는 닫는 태그나 JSON 구두점의 로짓이 미세하게 흔들리면, generic hf 파서는 도구 호출 형식을 인식하지 못하고 전체 생성을 실패 상태로 처리하게 됩니다. 따라서 고효율 런타임을 안정적으로 운용하기 위해서는 인프라 레벨의 파싱 탄력성과 어텐션 수치 보존 능력이 반드시 상호 보완적으로 결합되어야 합니다.
기술적 트레이드오프
긴장 관계 서빙 엔진의 KV 캐시 비트 폭을 NVFP4 및 FP8 수준으로 낮추면 메모리 점유율을 절반 이하로 줄이고 동시 처리량을 대폭 향상할 수 있으나, 양자화 연산 오버헤드로 인해 사전 채우기 단계의 첫 토큰 생성 시간(TTFT)이 7~11% 증가하고 어텐션 이상치 왜곡에 따른 미세 인용 스팬의 추출 정밀도가 손실되는 구조적 충돌이 발생합니다.
실무적 해소 이러한 대립을 해결하기 위해 단일한 양자화 정책을 전체 파이프라인에 일률적으로 강제하지 않고, 질의 특성과 모델 계층에 따라 정밀도를 분기하는 계층적 캐시 아키텍처를 수립해야 합니다. 법조문 원문 대조 및 핵심 쟁점 도출과 같이 절대적 수치 정합성이 요구되는 사전 채우기 및 초기 검증 계층에는 FP16·BF16 캐시를 유지하여 TTFT 지연과 이상치 손실을 피합니다(FP8은 E4M3든 E5M2든 손실 압축입니다). 반면 다변수 판례 분석의 후속 요약이나 대규모 생성 토큰이 요구되는 디코딩 확장 단계에는 NVFP4 및 MLA 기반 저정밀도 캐시를 동적으로 할당함으로써 인프라 비용 절감과 법률적 무결성 보존의 실질적 균형을 달성합니다.
이 주장이 틀리는 조건
반증 조건 만약 동일한 장문 법률 사실관계 프롬프트 코퍼스를 대상으로 FP16 원본 서빙 엔진과 NVFP4 또는 FP8 저정밀도 캐시 서빙 엔진을 병렬 구동하여 인용 검증 게이트를 통과하는 법률 조항 및 판례 사건번호의 스팬 일치율을 비교했을 때, 컨텍스트 길이가 32k 토큰을 초과하는 구간에서도 두 엔진 간의 인용 스팬 오인율(false citation rate) 격차가 0.2%p 미만으로 관측되고, TTFT 지연 폭이 사전 채우기 토큰 수 증가에 비례하지 않고 일정 수준 이하로 수렴하는 현상이 실측된다면 저정밀도 캐시 양자화가 장문 어텐션의 수치 무결성을 교란한다는 본 칼럼의 논증은 성립하지 않습니다. 또한 극저비트 양자화 환경에서 Mamba2나 트랜스포머의 활성화 이상치가 어텐션 순위를 뒤흔들지 않고 수학적으로 완전히 흡수될 수 있음이 대규모 벤치마크에서 증명된다면, 인프라 최적화와 법률 정밀성 간의 긴장 관계에 관한 필자의 기술적 전제 역시 기각되어야 합니다.
법마디 OS에 적용한다면
법마디 OS는 답변 생성을 관리형 LLM API에 맡기고 있어 GPU 서빙 엔진을 직접 운영하지 않습니다. 따라서 KV 캐시를 FP8로 줄일지 NVFP4로 줄일지는 모델 제공자가 정하는 영역이고, 우리가 고를 수 있는 손잡이가 아닙니다. 그래서 이 칼럼의 논지가 법마디 OS에 주는 함의는 방향이 반대입니다. 서빙 측의 수치 최적화가 인용 스팬을 흔들 수 있다면, 그 흔들림을 모델 쪽에서 막아 주리라 기대하기보다 생성된 결과를 사후에 원문과 대조하는 계층이 받아내야 합니다. 법마디 OS는 답변에 인용된 법조문과 판례 번호를 국가법령정보센터(law.go.kr) 공식 API와 검증 자산에 대조하고, 확인되지 않은 인용은 내보내지 않습니다(fail-closed). 이 대조는 어느 모델이 어떤 정밀도의 캐시로 생성했는지와 무관하게 같은 기준으로 돌기 때문에, 제공자가 서빙 정밀도를 바꾸더라도 틀린 조항 번호가 그대로 사용자에게 닿지는 않습니다. 다만 이 계층이 잡는 것은 인용의 실재와 원문 일치이고, 미세한 수치 잡음이 논증의 방향을 바꾸는 종류의 오류까지 모두 잡는다고 단정하지는 않습니다. 장문 질의에서 그런 흔들림이 생긴다면 우리 쪽에서 먼저 보이는 신호는 인용 차단률의 변화입니다.
기술적 함의
- 서빙 엔진의 초저정밀도 KV 캐시 도입은 HBM 메모리 절감이라는 이점과 함께 사전 채우기 단계의 TTFT 지연이라는 명확한 연산 오버헤드를 수반합니다.
- 4비트 및 8비트 부동소수점 매핑은 장문 법률 컨텍스트의 희소한 어텐션 이상치를 왜곡하여 미세 인용 스팬의 추출 정합성을 훼손할 수 있습니다.
- 법률 도메인의 AI 서빙은 단순한 인프라 처리량 극대화에 매몰되지 않고 계층적 정밀도 분기와 수치 안정성 가드레일을 결합해야 합니다.
"인프라의 연산 효율을 위해 모델의 눈을 흐리게 만들어서는 안 되며, 캐시의 비트 폭을 깎아내는 순간에도 법률적 진실을 담은 한 자의 조문은 온전히 보존되어야 합니다."