법률 AI의 형식 무결성: 구조화 출력 강제와 스키마 준수의 기술

초록 법률 AI가 생성하는 답변이 요구되는 형식을 준수하는 것은 단순한 미학이 아니라 시스템 통합의 조건입니다. 구조화된 출력(Structured Output)의 스키마 준수는 파이프라인 오류, 인용 손실, 판시 왜곡을 원천 차단합니다. 최근 GRPO 기반 파인튜닝으로 소형 모델(350M)도 짧은 학습(100스텝)으로 스키마 준수율을 개선할 수 있음이 입증되었습니다. 이는 법마디 OS의 비용-무결성 균형을 새롭게 정의할 수 있는 기술적 지렛대입니다.

법률 문서 생성 현장에서 가장 빈번한 실패는 답변이 틀려서가 아니라 형식이 깨져서입니다. 대형 판례 검색 시스템이 관련 판례를 올바르게 찾고도, 생성 단계에서 JSON 스키마를 벗어나 인용 구조가 무너지거나, 필수 필드가 누락되거나, 배열 깊이가 꼬입니다. 이 현상은 모델이 '스키마 문법을 안다'고 해서 해결되지 않습니다. 특히 작은 모델(350M 파라미터)은 더욱 취약합니다. 그런데 최근 Group Relative Policy Optimization(GRPO) 기반 파인튜닝이 이 문제를 원가 효율적으로 풀 수 있음이 확인되었습니다. 100스텝 학습만으로 구조 준수율이 22.6%에서 29.7%로 개선되는 것입니다. 법률 AI에서 이것이 의미하는 바를 분석해야 합니다.

핵심 기술 개념

구조화된 출력(Structured Output)

모델이 생성할 때 미리 정의된 JSON, XML, 또는 형식화된 스키마를 따르도록 강제하는 기법입니다. 단순 텍스트가 아니라 파싱 가능하고 검증 가능한 형식의 데이터를 출력합니다.

Group Relative Policy Optimization(GRPO)

강화학습 기반 파인튜닝 방식으로, 모델의 출력을 상대적으로 평가하고 보상 신호를 학습하게 하여 특정 속성(이 경우 스키마 준수)을 향상시키는 기법입니다.

스키마 준수(Schema Compliance)

생성된 출력이 사전 정의된 구조(필드명, 데이터 타입, 배열 구조, 필수/선택 여부)를 정확히 따르는지 여부를 측정하는 속성입니다.

IFStruct 벤치마크

구조화된 출력의 스키마 준수율을 측정하는 학술 벤치마크로, 모델이 요구되는 형식을 얼마나 정확히 유지하는지를 정량 평가합니다.

기술 심층 분석

1

구조화 출력 실패의 기술적 근원: 토큰 수준 불일치

모델은 다음 토큰을 예측하는 확률 게임을 하는데, 구조적 일관성은 국소적(local) 확률 최대화로는 달성되지 않습니다. 예를 들어 법률 AI가 '[{"cited_case": "대법원 2020다48000", "holding": "' 까지 생성했다면, 다음 토큰은 개별적으로는 '손'이나 '권'이나 '책임'이 모두 같은 확률을 가질 수 있습니다. 하지만 구조 전체를 보면, 이 필드는 특정 길이와 문법을 따라야 합니다. 일반 자동회귀 디코딩은 이 글로벌 제약을 모르고 진행합니다. 결과적으로 따옴표가 닫히지 않거나, 필드명이 반복되거나, 중괄호 쌍이 맞지 않습니다. 특히 소형 모델은 대형 모델보다 이 '구조적 홀로그래피'를 수행하는 능력이 훨씬 떨어집니다. GRPO는 이 문제를 강화학습 보상으로 접근합니다. 모델의 각 출력이 얼마나 스키마를 준수했는가를 명시적으로 평가하고, 그 점수를 역전파로 모델 파라미터에 반영하는 것입니다. 이는 '스키마 문법을 아는 것'을 넘어 '스키마를 강하게 선호하는 습관'을 만듭니다.

2

GRPO 파인튜닝의 비용-효율성: 자유 도메인의 티핑포인트

전통적 파인튜닝은 수천 개의 예시와 수십 에포크를 요구합니다. 반면 GRPO 기반 구조화 출력 학습은 약 500개 샘플, 100스텝 정도로 가시적 개선을 달성합니다. 이는 무엇을 의미하는가? 첫째, 자유 도메인(무료 GPU, Colab, Kaggle)에서 수행 가능하다는 뜻입니다. 초기 모델 가중치에서 시작해 상대적으로 작은 학습 신호로도 '구조 선호'라는 명확한 목표를 강제할 수 있습니다. 둘째, 도메인별 커스터마이제이션이 현실적입니다. 법률 AI라면 한국 판례 인용 형식(판례 번호, 판시 텍스트, 선례와의 관계)을 스키마로 정의하고, 실제 판례 100~150개를 학습 샘플로 쓸 수 있습니다. 셋째, 모델 크기가 작을수록 이점이 큽니다. 큰 모델은 이미 어느 정도 구조를 지켜서 추가 학습의 한계수익이 낮지만, 350M 모델은 22.6%에서 29.7%로 약 32% 개선을 보입니다. 이는 리소스 제약이 심한 법률 실무(온프레미스 배포, 비용 최적화 클라이언트)에서 큰 의미를 가집니다.

3

스키마 강제의 한계: 내용과 형식의 이중 무결성

구조화 출력이 스키마를 준수한다고 해서 법률적 무결성이 보장되지 않습니다. 올바른 JSON 형식의 잘못된 내용이 가능하기 때문입니다. 예: '{"cited_case": "서울고등법원 2019나10000", "holding": "법인의 대표이사는 법인의 기관이므로 민사책임을 진다"}' 는 스키마는 맞지만 판례 해석은 틀릴 수 있습니다. 구조 강제만으로는 환각, 오인용, 관할권 오류를 막을 수 없습니다. 또한 GRPO 학습이 '스키마 조건부' 확률을 높이는 것이지, 모델의 세계 지식(世界知識)을 개선하지는 못합니다. 법률 인용의 정확성은 별도의 검증 계층(인용 그래프 확인, 판례 존재 여부 조회, 법령 버전 확인)이 필요합니다. 또 다른 한계는 미묘한 형식 변칙입니다. 스키마는 필드 이름과 타입을 정의하지만, 한국 법령에서 같은 조문이 여러 표기법으로 나타나는 경우('제XX조 제1항' vs '제XX조 1항' vs '제XX조의1')를 처리하지 못합니다. 이는 구조 검증을 넘어 의미론적 정규화가 필요합니다.

4

미세 구조와 토큰 배열의 일관성 유지 메커니즘

GRPO가 구조 준수를 높이는 미시적 메커니즘을 보면, 모델이 '재귀적 괄호 추적'을 강화합니다. 인용 필드가 배열이라면 '[' 이후 원소들은 정확한 구분자와 함께 나타나야 하고, ']'로 닫혀야 합니다. 파인튜닝 중 보상 신호는 이 일관성 위반을 직접 포착합니다. 모델의 숨겨진 상태(hidden state)에서, 개방된 괄호/따옴표의 카운트를 추적하는 패턴이 강화됩니다. 이는 명시적인 규칙이 아니라 학습된 내재 구조(emergent grammar)입니다. 그러나 이 강화가 충분히 깊지 않으면, 긴 배열에서 중간 원소들이 스키마를 위반할 수 있습니다(예: 필드명 누락, 타입 불일치). 따라서 GRPO 학습에서 중요한 것은 '다양한 길이와 복잡도의 샘플'을 포함하는 것입니다. 5개 원소 배열만 학습하면 10개에서 실패할 수 있습니다. 또한 모델 크기가 작을수록 이 내재 추적 능력도 제한되므로, 350M 모델은 극도로 깊게 중첩된 구조(3단계 이상)에서 여전히 약할 수 있습니다.

5

실무 관점의 비용-편익과 대안 기술의 비교

구조화 출력 강제의 대안은 (1) 사후 검증과 재생성, (2) 신경-기호적 디코더, (3) 문맥 제어 탈출(context-controlled escape)입니다. 첫 번째는 모델이 출력한 텍스트를 파싱 시도하고 실패하면 재생성을 명령하는 것인데, 비용이 2배 이상 증가합니다. 두 번째는 파서 상태 머신을 디코더 상단에 얹는 것으로, 불가능한 토큰(예: 닫혀있는 괄호 이후 필드명)은 선택지에서 제거합니다. 이는 매우 안정적이지만, 모든 스키마에 맞는 상태 머신 구현이 필요하고 복잡합니다. GRPO 파인튜닝은 이들 사이의 중간 지점입니다. 모델 자체가 스키마를 학습하므로 추가 인프라 없이도 준수율이 올라가고, 비용도 초기 학습(일회성) 외에는 거의 없습니다. 단점은 준수율이 100%에 도달하지 않으므로 여전히 최소한의 사후 검증이 필요하다는 것입니다. 법률 시스템에서는 이 혼합 전략이 현실적입니다: GRPO로 기저 준수율을 높이고, 그래도 실패한 경우만 재생성하거나 관리자 수동 개입을 트리거합니다.

6

법률 도메인 특화: 판례 인용 스키마와 학습 세트 설계

법률 AI에서 구조화 출력의 전형적 용례는 판례 인용입니다. 스키마는 [{ "court": "string", "case_number": "string", "year": "integer", "holding_text": "string", "relevance_score": "float", "cited_provision": [{"statute": "string", "article": "integer", "clause": "integer"}] }] 형태일 수 있습니다. GRPO 학습을 위해 500개의 실제 판례 분석 결과(온톨로지에 따라 수동 구조화된 데이터)를 준비합니다. 학습 과정에서 모델은 중간의 정확한 판례 번호 형식("대법원 2020다48000" 정확히), "year" 필드의 정수 추출, 인용 조문의 계층적 배열을 학습합니다. 특히 한국 법령의 까다로운 점은 「민법」 vs 「민법 시행령」의 구분, "제XX조의1" 같은 부칙 조문의 처리입니다. 이들을 정규화하는 규칙까지 스키마에 포함하면, 모델은 생성 중 이 규칙을 내재화합니다. 또한 "relevance_score"는 0~1 사이의 부동소수이므로, 모델이 '99%' 같은 명백히 잘못된 형식을 피하도록 강화합니다. 이러한 도메인 특화 설계가 GRPO의 효과를 극대화합니다.

기술적 트레이드오프

긴장 관계 구조화 강제의 강도가 높을수록 학습 샘플 요구량과 컴퓨팅 비용이 증가하며, 동시에 생성 다양성과 창의성이 제한됩니다. 특히 법률처럼 예외와 미묘한 사례가 많은 도메인에서, 엄격한 스키마는 정당한 예외 표현을 막을 수 있습니다.

실무적 해소 실무적 해법은 '핵심 필드는 엄격하게, 부가 필드는 유연하게' 하는 이중 스키마 설계입니다. 판례 번호, 법원명, 판시 요지는 필수이고 형식이 고정되지만, 추가 설명이나 메모 필드는 문자열 자유도를 허용합니다. 또한 GRPO 학습에서 보상 함수를 단계적으로 완화하는 방식(필수 필드는 만점, 선택 필드 오류는 감점)으로 정규화와 자유도의 균형을 맞춥니다. 최종적으로 '스키마 준수율 95%+, 재생성 비율 5% 이하'를 목표로 설정하는 것이 경제적입니다.

법마디 OS에 적용한다면

법마디 OS의 핵심 출력 파이프라인(법률 의견 생성, 판례 검색 결과 구조화, 청구장·답변서 초안)에 GRPO 기반 구조화 강제를 적용할 수 있습니다. 구체적으로 (1) 한국 법령 체계에 맞는 인용 스키마(판례, 조문, 선례와의 관계)를 설계하고, (2) 실제 법마디 사용자 쿼리에서 생성된 출력 500~1000개를 수동 검증하여 학습 세트로 구축합니다. (3) 이를 TRL 라이브러리(공개 소프트웨어)로 GRPO 파인튜닝하여, 내부 소형 모델(350M~1.3B)의 스키마 준수율을 개선합니다. (4) 구조 검증 게이트를 두 단계로 구성합니다: 1차는 생성 직후 스키마 파싱 시도(실패율 <5%)이고, 2차는 실패 시 자동 재생성 또는 관리자 알림입니다. (5) 인용 그래프 검증(별도 모듈)과 연계하여, 형식은 맞지만 내용이 틀린 경우를 포착합니다. 이 구조는 기존 RAG와 다중 에이전트 파이프라인 위에 가볍게 추가되며, 추론 지연 증가는 최소화됩니다.

기술적 함의

구조화 강제는 법률 AI의 '형식적 무결성'이라는 새로운 차원을 만듭니다. 내용 정합성 검증과 병렬로 진행되어야 할 필수 품질 지표입니다.
소형 모델의 GRPO 파인튜닝으로 대형 모델 대비 10분의 1 규모의 파라미터로도 실무급 신뢰성을 확보할 수 있으므로, 온프레미스 배포와 비용 효율성의 새로운 경계가 생깁니다.
법률 도메인의 예외와 미묘함(조문 개정, 판례 변경, 지방별 관행)을 스키마에 정규화하는 과정 자체가 법마디의 지식 엔지니어링 체계를 강화하는 피드백이 됩니다.

"형식이 무너지는 순간, 정확한 법률 의견도 파이프라인 오류로 사라집니다. 구조는 단순히 미적 덕이 아니라 신뢰 인프라입니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급