어휘집의 굴레: 도메인 특화 토크나이징과 추론 비용 통제
범용 토크나이저의 법률 용어 과분할 문제를 진단하고, 토큰 생성 비용 기반 어휘 특화 기법을 통해 추론 효율성과 구조화 정합성을 확보하는 아키텍처를 논증합니다.
초록 대규모 언어 모델(LLM)과 소형 언어 모델(SLM)의 서빙 효율을 논할 때 토크나이저는 대개 사전 훈련 단계에서 확정된 불변의 상수로 취급됩니다. 그러나 범용 코퍼스에 최적화된 서브워드 어휘집(Vocabulary)은 고유한 조문 형식, 한자 혼용 법률 용어, 엄격한 구조화 스키마를 처리하는 법률 특화 시스템에서 심각한 토큰 과분할(Token Fragmentation) 현상을 유발합니다. 최근 발표된 VocabX 연구가 실증하듯, 단순 빈도가 아닌 실제 토큰 생성 비용을 기준으로 어휘집을 도메인에 맞게 특화하고 같은 베이스 모델·데이터·학습 레시피로 다시 학습하면, 실서비스 과제에서 측정한 추론 비용이 77.0% 줄었습니다. 본 칼럼에서는 범용 바이트 페어 인코딩(BPE) 계열 토크나이저가 법률 텍스트에서 야기하는 연산 비효율과 자기회귀 디코딩 스텝의 팽창 메커니즘을 수학적으로 분석합니다. 나아가 재학습 예산이 부족할 때 어휘를 교체하며 임베딩을 정렬하는 일반적인 선택지(VocabX 원문이 공개하지 않은 부분)와 구조화된 법률 인용 출력에서 기대할 수 있는 정합성 효과를 검토합니다. 종국적으로는 법마디 OS의 60개 리더 및 law.go.kr API 연동 파이프라인에 이를 접목하여 지연 시간과 서빙 비용을 획기적으로 낮추는 실천적 청사진을 제시합니다.
법률 AI가 '대한민국헌법 제1조 제1항'이나 '특정범죄 가중처벌 등에 관한 법률'과 같은 지극히 통상적인 법률 문장을 생성할 때, 기저의 추론 엔진 내부에서는 눈에 보이지 않는 심각한 비효율이 발생합니다. 범용 오픈소스 모델의 토크나이저는 다국어 및 일반 웹 텍스트 빈도에 맞춰 바이트 페어 인코딩(BPE) 트리를 구성했기 때문에, 단일한 법률 복합 개념이 네 개에서 여섯 개 이상의 자잘한 서브워드 토큰 조각으로 쪼개집니다. 이는 모델이 동일한 법적 사실관계를 출력하기 위해 서빙 인프라에서 수십 차례 불필요한 자기회귀(Autoregressive) 전방향 전달(Forward Pass) 연산을 반복해야 함을 의미합니다. 토큰 시퀀스의 확장은 단순한 지연 시간 증가에 그치지 않고, 키-값(KV) 캐시 메모리 풋프린트를 비대하게 만들어 다중 턴 법률 상담의 동시 처리 용량을 급격히 떨어뜨립니다. 엔지니어들은 종종 추론 비용 절감을 위해 양자화나 투기적 디코딩에만 매달리지만, 모델이 텍스트를 인식하는 최초의 창구인 어휘집(Vocabulary) 자체의 비효율에는 침묵해 왔습니다. 최근 Dharma-AI가 공개한 VocabX 아키텍처는 어휘집을 단순한 상수가 아닌 추론 비용 최적화의 핵심 제어판으로 재정의하며 새로운 전기를 열었습니다. 이제 우리는 범용 어휘집의 굴레에서 벗어나 법률 도메인의 구조적 특성을 반영한 엔지니어링 설계를 시작해야 합니다.
핵심 기술 개념
토큰 과분할 (Token Fragmentation)
특정 도메인의 전문 용어나 정형화된 구문이 범용 어휘집에 등재되어 있지 않아, 여러 개의 미세한 서브워드(Subword) 조각으로 과도하게 쪼개져 생성 시퀀스 길이가 급증하는 현상입니다.
VocabX 아키텍처
후보 토큰이 아껴 주는 실제 추론 비용과 시간을 기준으로(응답 토큰을 입력 토큰보다 약 7.4배 무겁게 친다) 어휘집을 도메인에 맞게 다시 짓는 기법입니다. 하위 단어 분절을 새로 짓는 층과 반복 구간(JSON 봉투 등)을 통째로 묶는 매크로 토큰 층을 함께 쓰고, 바뀐 토크나이저로 모델을 다시 학습합니다.
KV 캐시 메모리 풋프린트
트랜스포머 모델의 자기회귀 디코딩 과정에서 이전 토큰들의 어텐션 키(Key) 및 값(Value) 텐서를 GPU VRAM에 유지하는 메모리 사용량으로, 시퀀스 길이에 정비례하여 증가합니다.
기술 심층 분석
범용 서브워드 분절의 구조적 결함: 법률 코퍼스에서의 토큰 과분할 메커니즘
트랜스포머 기반 언어 모델의 토크나이저는 대규모 다국어 말뭉치에서 정보 엔트로피를 최소화하도록 설계된 Byte-Pair Encoding(BPE)이나 WordPiece 알고리즘을 사용합니다. 그러나 법률 도메인 코퍼스는 일반 텍스트와 통계적 어휘 분포가 극명하게 다릅니다. '불법행위로인한손해배상청구권'이나 '가등기담보등에관한법률'과 같은 고유한 합성 명사, '제O조제O항제O호'와 같은 조문 형식 표기 등은 범용 어휘집에서 빈도 임계치를 넘지 못해 수많은 바이트 단위 서브워드로 분해됩니다. 이로 인해 동일한 법적 논증을 표현하는 데 필요한 시퀀스 길이(L)가 일반 도메인 텍스트 대비 최대 2배에서 3배까지 비대해지는 현상이 발생합니다. 트랜스포머의 어텐션 연산 복잡도는 시퀀스 길이에 따라 O(L^2)로 증가하며, 생성 단계의 디코딩 시간은 토큰 수 L에 선형적으로 정비례합니다. 결과적으로 모델은 법률적 추론의 질적 향상과는 무관하게, 단순히 단어를 철자 단위로 조립하는 데 막대한 연산 플롭스(FLOPs)와 GPU 사이클을 허비하게 됩니다.
빈도 중심에서 비용 중심으로: VocabX와 목적 지향 어휘 재구성 원리
기존의 어휘집 구축 패러다임은 말뭉치 전체에서의 단순 출현 빈도(Frequency)만을 단일 최적화 지표로 삼아 왔습니다. 하지만 최근 Dharma-AI가 실증한 VocabX 프레임워크는 각 토큰이 실제 추론 파이프라인에서 점유하는 연산 비용(Token Cost Lever)을 중심으로 어휘를 재구성하는 접근법을 취합니다. 이 접근을 법률 질의응답 및 구조화 문서 생성 시스템에 옮기면, 빈출되는 패턴, 즉 조문 번호 스키마, 판례 식별자, 정형 법률 요건 표현을 단일 토큰으로 통합할 때 절감되는 디코딩 비용을 목적 함수로 삼게 됩니다. 원문 실험에서는 이 재구성으로 기본 어휘가 더 작은 도메인 어휘로 바뀌어 출력층이 약 152,000행에서 약 65,000행으로 줄었습니다. Qwen3-4B 로 같은 데이터·레시피·시드에 토크나이저만 바꿔 학습한 비교에서, RTX 5090·vLLM 500건 요청 기준 평균 응답 길이가 350토큰에서 101토큰으로 줄고 측정 추론 비용이 77.0% 줄었습니다. 어휘집 크기(Vocabulary Size)를 키우지 않고 오히려 줄이면서도 디코딩 시퀀스 길이를 압축할 수 있음을 실측으로 보여 준 결과입니다.
임베딩 공간의 연속성 보존과 전이 정렬: 재학습 예산이 없을 때의 선택지
VocabX 원문은 바뀐 토크나이저로 모델을 다시 학습했고, 새 토큰 임베딩을 어떻게 초기화했는지나 백본을 고정했는지는 공개하지 않았습니다. 이 절은 그만한 재학습 예산이 없을 때 흔히 검토하는 일반적인 선택지이며, VocabX 의 방법이 아닙니다. 어휘집을 교체할 때 직면하는 가장 중대한 기술적 장벽은 사전 훈련된 언어 모델의 입력 임베딩(Input Embedding) 및 출력 선형 사영 계층(LM Head) 가중치와의 정렬 붕괴입니다. 베이스 모델의 전체 가중치를 다시 학습(Full Pre-training)하는 것은 비용 측면에서 실행 불가능하므로, 경량화된 전이 정렬 기법이 요구됩니다. 새로 편입된 법률 도메인 단일 토큰의 초기 임베딩 벡터는, 기존 범용 토크나이저가 해당 단어를 분절했을 때 얻어지는 서브워드 임베딩들의 가중치 평균(Weighted Subword Pooling) 또는 얕은 트랜스포머 계층 통과 표현으로 초기화됩니다. 이후 백본 가중치는 고정한 채 입출력 임베딩 계층만을 대상으로 짧은 스텝의 정렬 미세조정(Alignment Fine-tuning)을 수행합니다. 이 방식은 모델 내부의 다층 어텐션 맵과 표현 공간의 연속성을 최대한 보존하면서 새 토큰 식별자의 로짓(Logit) 분포를 맞추는 것을 노리지만, 법률 도메인에서 그 품질 손실이 얼마인지는 전체 재학습과 나란히 놓고 따로 재야 합니다.
구조화 출력 강제 및 MCP 도구 호출과의 결합 시너지
도메인 특화 어휘집 최적화는 텍스트 생성의 속도뿐만 아니라 도구 호출(Tool Calling)과 정형 스키마 준수 무결성에도 결정적인 영향을 미칩니다. 모델 컨텍스트 프로토콜(MCP) 환경에서 법률 에이전트가 외부 판례 검색이나 조문 API를 호출할 때 출력하는 JSON 페이로드는 극도로 반복적인 키값 구조를 갖습니다. 'jurisdiction', 'statute_code', 'precedent_id'와 같은 스키마 키워드와 JSON 제어 구문이 각각 개별 단일 토큰으로 정의되어 있으면, 제약형 문맥자유문법(CFG) 디코더가 탐색해야 하는 토큰 트리의 분기 계수(Branching Factor)가 급격히 축소됩니다. 이는 유효하지 않은 JSON 토큰이 샘플링될 확률을 원천적으로 차단하며, 스키마 검증 실패로 인한 에이전트의 재시도(Retry) 횟수를 줄여줍니다. 즉, 어휘집의 구조적 특화는 추론 연산 효율화와 제약 조건 강제라는 이중의 무결성 목표를 동시에 달성하는 강력한 수단으로 기능합니다.
기술적 트레이드오프
긴장 관계 어휘집을 도메인 특화 용어로 과도하게 최적화할 경우 일반 도메인 질의에 대한 표현력(OOD 일반화)이 저하될 수 있으며, 임베딩 계층의 초기화 정렬이 불완전할 경우 미세한 의미론적 손실이 발생할 위험이 상존합니다.
실무적 해소 법률 특화 토큰과 필수 범용 기본 토큰 사이의 비율을 다목적 엔트로피 보존 비율에 맞춰 제한하고, 신규 토큰 임베딩을 기존 서브워드 앙상블 벡터 공간으로 엄격히 투영한 뒤 KL 발산을 정규화 손실 함수로 사용하여 기존 모델의 지식 분포 왜곡을 방지합니다.
이 주장이 틀리는 조건
반증 조건 법률 도메인 텍스트에서 특화 어휘집을 탑재한 모델과 기본 범용 어휘집 모델을 동일 조건으로 비교했을 때, 생성 토큰당 메모리 사용량 절감에도 불구하고 문맥적 단어 오류율(WER)이나 법률 개체명 인식 F1 점수가 3%p 이상 통계적으로 유의미하게 하락하거나, 압축된 토큰 시퀀스로 인해 인용 검증 게이트의 통과율이 악화되는 현상이 지속적으로 계측된다면 어휘집 특화가 모델의 의미 표현 공간을 훼손했다는 반증이 됩니다.
법마디 OS에 적용한다면
현재 법마디 OS는 60개 법률 분야별 AI 리더에게 질의를 배정하고, 다분야 질문은 CSO 서연의 주재로 협의를 진행하며, 국가법령정보센터(law.go.kr) API를 통한 실시간 조문 대조 및 변호사시험 기출 답안 코퍼스 기반의 검증된 판례·조문 자산 인용을 원칙으로 삼고 있습니다. 이 정밀한 파이프라인에서 각 리더 에이전트가 생성하는 법률 텍스트와 MCP 조회 도구 페이로드의 추론 효율을 극대화하기 위해, 본 칼럼의 어휘집 특화 기술을 단계적으로 도입하는 방안을 검토하겠습니다. 구체적으로는 대한민국 법령 체계의 조문 체계 표기(예: '제O조', '제O항', '각호')와 60개 전문 분야의 빈출 법률 요건 명사를 단일 토큰화하는 'Lawmadi-Vocab' 확장을 설계 목표로 설정할 수 있습니다. 이를 통해 law.go.kr 원문 대조 엔진으로 전달되는 질의 생성 속도를 단축하고, 다중 리더 협의 과정에서 발생하는 에이전트 간 컨텍스트 토큰 소비량을 대폭 압축할 수 있습니다. 기본 오픈소스 백본 모델의 가중치를 임의로 훼손하지 않으면서도 입출력 임베딩의 정밀 정렬을 거쳐 서빙 지연을 줄이고, 인용 검증 게이트로 진입하는 텍스트의 구조적 안정성을 향상시키는 고효율 추론 하네스 구축을 지속 추진하겠습니다.
기술적 함의
- 토크나이저는 고정된 하이퍼파라미터가 아니라 도메인 맞춤형 추론 연산 효율을 좌우하는 핵심 제어 계층입니다.
- 빈도 중심이 아닌 토큰 비용과 구조적 밀도를 고려한 어휘 재구성은 파운데이션 모델의 서빙 비용을 획기적으로 낮춥니다.
- 도메인 특화 토큰화는 정형 스키마 및 MCP 도구 호출의 디코딩 탐색 공간을 줄여 구조화 무결성을 강화합니다.
"진정한 엔지니어링 무결성은 파라미터의 크기에 현혹되는 것이 아니라, 모델이 세상을 읽어 들이는 가장 기초적인 기호 단위인 어휘집부터 정밀하게 벼려내는 데서 출발합니다."
