메인으로
지유 · 최고기술책임자(CTO) · 오늘의 기술 칼럼

토큰 공기 그래프 기반 GraphRAG: 법률 다단계 추론의 비용 극복

LLM 호출 없이 토큰 간의 통계적 공기 정보만으로 초고속 지식 그래프를 구축하는 TIGRAG 기술을 분석하고, 이를 통해 법률 AI의 다단계 추론 성능을 극대화하며 운영 비용을 혁신적으로 절감하는 방안을 제시합니다.

초록 본 칼럼에서는 복잡한 다단계(Multi-hop) 법률 추론을 지원하기 위해 기존 GraphRAG가 직면했던 극심한 연산 비용과 지연 시간 문제를 진단하고, 이에 대한 대안으로 토큰 공기(Co-occurrence) 그래프 기반의 고효율 GraphRAG(TIGRAG) 메커니즘을 제안한다. TIGRAG는 LLM을 이용한 비싼 개체-관계 추출 과정을 배제하고, 슬라이딩 윈도우 통계에 기반한 토큰 수준의 위상 관계를 직접 모델링하여 경량화된 지식 그래프를 실시간으로 구축한다. 검색 시점에는 이전 단계에서 도출된 가교 개체(Bridging Entities)를 매개로 쿼리를 동적 확장하고 신경망 재순위화(Neural Reranking)를 결합함으로써, 분산된 법률 증거들을 정밀하게 통합한다. 최종적으로 이 기술이 법마디 OS(Lawmadi OS)의 실시간 판례 분석 및 법률 조문 연계 시스템에 가져올 구조적 무결성과 비용 효율적 혁신을 논증한다.

법률 자문이나 판례 분석을 수행할 때, 단 하나의 조문이나 판결문만으로 결론을 도출할 수 있는 경우는 극히 드뭅니다. 대부분의 실제 사건은 여러 개의 법적 쟁점이 얽혀 있으며, 하나의 사실관계가 다른 법적 의무나 권리 관계로 꼬리를 물고 이어지는 다단계(Multi-hop) 추론 구조를 가집니다. 예를 들어 임대차 분쟁에서 임대인의 보증금 반환 의무와 임차인의 원상회복 의무, 그리고 이에 따른 동시이행항변권의 성립 여부를 판단하려면 민법 제536조와 임대차 계약서의 개별 특약, 그리고 관련 대법원 판례를 유기적으로 연결하여 탐색해야 합니다. 이러한 복잡한 인과 체인을 해결하기 위해 학계와 산업계는 지식 그래프와 RAG를 결합한 GraphRAG에 주목해 왔습니다. 그러나 기존의 GraphRAG는 그래프 구축 단계에서 수많은 문서 파편을 LLM에 입력하여 개체(Entity)와 관계(Relation)를 추출해야 하므로, 천문학적인 API 비용과 심각한 지연 시간(Latency)이라는 치명적인 한계에 봉착해 있었습니다. 본 칼럼에서는 이러한 비용 장벽을 무너뜨리고 법률 AI의 실시간 다단계 추론을 가능케 하는 '토큰 공기 그래프 기반 GraphRAG(TIGRAG)'의 아키텍처와 그 실무적 함의를 깊이 있게 분석하고자 합니다.

핵심 기술 개념

Token Co-occurrence Graph (토큰 공기 그래프)

텍스트 코퍼스 내에서 특정 토큰들이 일정 범위(슬라이딩 윈도우) 내에 동시에 출현하는 통계적 빈도를 기반으로 노드와 에지를 구성한 지식 표현 구조입니다. LLM의 추론 연산 없이 순수 통계적 연산만으로 대규모 말뭉치로부터 지식의 위상적 연결성을 즉각적으로 추출할 수 있다는 장점이 있습니다.

Multi-hop Reasoning (다단계 추론)

단일 문서나 사실관계에 대한 직접적인 검색을 넘어, 분산되어 있는 여러 정보 조각들을 논리적 인과 관계로 연결하여 최종 결론에 도달하는 추론 프로세스입니다. 법률 영역에서는 판례의 인용 관계나 조문의 상호 참조 구조를 추적할 때 필수로 요구되는 고차원 인지 기법입니다.

Bridging Entity (가교 개체)

서로 직접적인 연관성이 없어 보이는 두 개 이상의 정보 자원이나 문서군을 논리적으로 연결해 주는 핵심 매개 개체입니다. 다단계 검색 과정에서 1차 검색 결과로부터 추출되어 다음 단계의 쿼리를 동적으로 확장하고 심층적인 정보원으로 유도하는 나침반 역할을 수행합니다.

기술 심층 분석

1

TIGRAG의 핵심 원리: 통계적 공기(Co-occurrence) 기반의 무비용 그래프 구축

기존의 GraphRAG 시스템은 비정형 법률 문서에서 지식 그래프를 추출하기 위해 LLM 프롬프팅을 수행하며, 이는 대규모 말뭉치 적용 시 극심한 토큰 소모와 파싱 에러를 유발합니다. 반면 TIGRAG는 사전 정의된 슬라이딩 윈도우(Sliding Window) 크기를 기반으로 텍스트를 스캔하며, 윈도우 내에서 동시에 출현하는 토큰 쌍의 통계적 빈도를 계산하여 인접 행렬(Adjacency Matrix)을 구성합니다. 이때 단순 빈도수의 왜곡을 방지하기 위해 상호 정보량(Pointwise Mutual Information, PMI)이나 유사도 메트릭을 적용하여 무작위로 자주 등장하는 불용어 노이즈를 억제하고 의미론적으로 유의미한 토큰 간의 연결만을 에지(Edge)로 보존합니다. 이 과정은 GPU 연산 없이 고속의 CPU 병렬 처리를 통해 선형 시간 복잡도 O(N) 내에 완료되므로, 수백만 페이지의 판례 데이터베이스를 실시간으로 그래프화할 수 있는 압도적인 비용 효율성을 자랑합니다. 다만, 문맥적 동의어나 다의어 처리에 있어 물리적 토큰 매칭의 한계가 존재하므로 이를 보완하기 위해 서브워드 토크나이저의 어휘집(Vocabulary) 최적화와 결합해야 합니다.

2

인프런스 단계의 동적 의미론적 확장 및 가교 개체(Bridging Entities) 탐색 메커니즘

TIGRAG의 진가는 검색 시점(Inference Phase)에서 발휘됩니다. 사용자가 '임대차 계약 종료 후 원상회복 범위와 보증금 반환의 동시이행'과 같은 복잡한 질의를 입력하면, 시스템은 먼저 1차 쿼리 임베딩을 통해 밀접한 법률 문서를 검색합니다. 이후 검색된 1차 문서 집합 내에서 토큰 공기 그래프 상의 연결 허브 역할을 하는 가교 개체(Bridging Entities)들을 식별합니다. 이 가교 개체들은 그래프 토폴로지 상에서 높은 매개 중심성(Betweenness Centrality)을 가진 노드들로, 1차 검색 문서와 아직 검색되지 않은 잠재적 핵심 문서(예: 동시이행항변권 관련 리딩 케이스 판례) 사이를 잇는 논리적 가교가 됩니다. TIGRAG는 이 가교 개체들의 토큰 정보를 기존 쿼리에 결합하여 쿼리를 동적으로 확장(Query Expansion)하고, 그래프 상의 인접 노드들을 따라 2차, 3차 홉(Hop) 검색을 연속적으로 수행함으로써 흩어져 있는 다단계 법률 증거들을 체계적으로 수집합니다.

3

그래프 기반 의미 확장과 신경망 재순위화(Neural Reranking)의 하이브리드 결합

통계적 토큰 공기 그래프를 통해 수집된 다단계 문서 후보군은 단순한 키워드 중첩도에 의존하기 때문에 의미론적 정밀도가 다소 떨어질 위험이 있습니다. TIGRAG는 이를 해결하기 위해 그래프 탐색으로 확보한 후보 컨텍스트들을 대상으로 고성능 교차 인코더(Cross-Encoder) 기반의 신경망 재순위화(Neural Reranking) 파이프라인을 적용합니다. 이 하이브리드 구조에서는 먼저 그래프가 넓은 범위의 다단계 인과 후보군을 초고속으로 필터링(Recall 극대화)하고, 이후 미세조정된 법률 특화 바이-인코더 및 교차 인코더가 사용자의 실제 법적 의도와 각 후보 문서 간의 심층적 의미 유사도를 재평가하여 최종 컨텍스트 윈도우에 배치할 우선순위를 결정(Precision 극대화)합니다. 이러한 2단계 아키텍처는 무관한 문서가 프롬프트에 유입되어 발생하는 LLM의 '중간 손실(Lost in the Middle)' 현상과 환각을 원천적으로 차단하며, 필요한 토큰 예산만을 정밀하게 소모하도록 보장합니다.

4

구조적 한계 분석: 통계적 노이즈와 의미론적 관계 누락에 대한 대안 설계

TIGRAG는 LLM의 개입 없이 그래프를 구축하므로, 'A가 B에게 손해배상을 청구했다'와 'B가 A에게 손해배상을 청구했다'처럼 주체와 객체의 역할이 전도된 관계를 단순히 토큰 공기 빈도만으로는 완벽히 구분하지 못하는 구조적 한계를 지닙니다. 즉, 관계의 방향성과 구체적인 속성(Attribute) 정보가 결여된 단순 무방향 그래프(Undirected Graph)가 생성되기 쉽습니다. 이러한 한계를 극복하기 위해, 전체 말뭉치에 대해 일괄적으로 LLM을 적용하는 대신, 그래프 탐색을 통해 좁혀진 핵심 서브그래프(Subgraph) 영역에 대해서만 국소적으로 경량 LLM(예: 4B~8B 파라미터 모델)을 적용하여 관계의 성격을 정의하는 '지연된 의미론적 정제(Lazy Semantic Refinement)' 기법을 대안으로 도입할 수 있습니다. 이를 통해 전체 빌드 비용은 낮게 유지하면서도, 고도의 법적 책임 소재 판단이 필요한 노드 쌍에 대해서는 정밀한 의미 관계를 동적으로 부여하여 무결성을 확보할 수 있습니다.

기술적 트레이드오프

긴장 관계 토큰 공기 그래프 기반 RAG는 지식 그래프 구축의 연산 비용 및 지연 시간을 획기적으로 낮추는 혁신적 대안입니다. 그러나 LLM을 사용해 정교하게 정의된 온톨로지 기반 지식 그래프에 비해 개체 간의 구체적인 법적 관계성이나 인과관계의 방향성을 포착하는 정밀도가 저하되는 긴장 관계를 가집니다.

실무적 해소 이러한 트레이드오프는 하이브리드 인덱싱 및 지연된 의미론적 정제(Lazy Semantic Refinement) 아키텍처를 통해 해결합니다. 법마디 OS에서는 기본 지식 탐색 및 1차 필터링에는 초고속 TIGRAG를 적용하여 넓은 맥락을 빠르게 포착합니다. 이후 최종 의사결정 및 법적 책임 분석이 필요한 핵심 관계 노드에 한해서만 실시간으로 경량 LLM 기반의 검증기를 동적 구동합니다. 이를 통해 전체 빌드 비용은 낮게 유지하면서도 법률적 정확성의 최적 균형점을 유지할 수 있습니다.

법마디 OS에 적용한다면

법마디 OS의 핵심 기능인 '실시간 판례·조문 다단계 추론 엔진'에 TIGRAG 아키텍처를 이식함으로써, 수십만 건의 판결문 간의 숨겨진 인용망을 단 몇 밀리초 만에 탐색하는 시스템으로 업그레이드할 수 있습니다. 구체적인 설계로서, 먼저 대한민국의 모든 성문법 조문과 판례 요지 데이터를 토큰 공기 그래프로 상시 인덱싱해 둡니다. 사용자가 비정형 자연어로 복잡한 다단계 질의를 입력하면 TIGRAG 엔진이 즉각 작동합니다. 엔진은 먼저 질의와 관련된 1차 법률 요건을 고속으로 검색하여 식별합니다. 이어서 해당 조문과 높은 공기 빈도를 지닌 핵심 판례 키워드 및 가교 개체들을 그래프 토폴로지 상에서 추출합니다. 추출된 가교 개체들을 매개로 삼아 기존 쿼리를 동적으로 확장하고, 연관된 특별법 조항과 하급심 판례들을 연쇄 검색합니다. 검색된 다단계 컨텍스트들을 법률 도메인에 특화된 재순위화 모델(Neural Reranker)을 통해 최종 정렬합니다. 마지막으로 이 정제된 컨텍스트를 Lawmadi OS의 생성 모듈에 주입하여 완벽히 검증된 답변을 생성합니다. 이 9단계 파이프라인을 통해 비용 장벽을 극복하고 실시간 다단계 추론의 무결성을 달성할 수 있습니다.

기술적 함의

"법률 AI의 진정한 무결성은 화려한 생성 능력에 있는 것이 아니라, 방대한 지식의 심연 속에서 흩어진 법리적 단서들을 얼마나 정밀하고 비용 효율적으로 연결해 내느냐에 달려 있습니다."

참고 자료

칼럼니스트

지유

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급
법마디 OS 무료로 경험하기
본 칼럼은 법마디 OS 기술팀의 관점이며, 특정 제품·기술에 대한 보증이나 법률 자문이 아닙니다.