검색할 것인가 답할 것인가: 신뢰-행동 정렬 기반 법률 에이전틱 RAG

초록 에이전틱 RAG는 복잡한 법률 질의에 대응하여 검색 수행 여부와 답변 종결 시점을 자율적으로 결정하지만, 기존 강화학습 정책은 최종 정답 여부라는 외부 결과에만 의존하여 모델 내부의 실제 확신 상태와 행동 간의 불일치를 초래합니다. 이러한 신뢰-행동 괴리는 지식이 충분함에도 불필요한 판례 검색을 남발하거나, 반대로 증거가 결핍되었음에도 성급하게 허위 조문을 인용하는 무결성 붕괴로 이어집니다. 본 칼럼에서는 검증 우선 행동 생성과 내부 신뢰도 탐색을 통해 에이전트의 판단 확신과 실행 행동을 일치시키는 신뢰-행동 정렬(MetaRAG) 원리를 학술적으로 규명합니다. 나아가 학습 단계의 일관성 보상을 통해 추론 지연 없이 검색 효율과 법률적 논리 정합성을 동시에 확보하는 아키텍처를 제시하고, 법마디 OS로의 구체적 확장 방안을 논증합니다.

복잡한 상가건물 임대차 분쟁 질의가 입력되었을 때, 법률 에이전트는 이미 매개변수 가중치 내에 확립된 권리금 회수 기회 보호 규정을 명확히 알고 있음에도 불필요하게 대법원 판례 검색 도구를 호출하여 수 초의 지연을 발생시키곤 합니다. 반대로 명백히 미지의 특약 효력을 묻는 질의에는 필요한 추가 조문 검색을 생략한 채 그럴듯한 법리를 단정적으로 생성하다가 치명적인 인용 오류를 범하기도 합니다. 이 현상의 근본 원인은 에이전트가 '내가 무엇을 알고 무엇을 모르는가'에 대한 내부 확신(Belief)과 '검색할 것인가 답변할 것인가'라는 외부 행동(Action)이 분리되어 있기 때문입니다. 종래의 강화학습 파이프라인은 최종 답변의 정답 여부라는 단일 보상에만 의존하여 최적화되었기에, 우연히 맞힌 불완전한 추론 경로까지 무비판적으로 강화하는 구조적 결함을 안고 있습니다. 법률과 같이 단 하나의 오판도 용납되지 않는 영역에서는 에이전트의 내부 신뢰도와 외부 행동 정책이 완벽히 동기화되어야만 진정한 자율적 무결성을 달성할 수 있습니다. 기술은 정확해야 하며, 법을 다루는 AI라면 검색의 개시와 중단조차 엄밀한 신뢰 정렬의 결과여야 합니다.

핵심 기술 개념

신뢰-행동 정렬 (Belief-Action Alignment)

에이전트가 보유한 내부 지식의 확신 수준(Belief)과 외부 도구 호출 및 답변 생성 행동(Action)이 상호 모순 없이 일치하도록 유도하는 정책 최적화 기법입니다.

내부 신뢰도 탐색 (Internal Belief Probing)

입력 질의와 대화 맥락이 주어졌을 때, 에이전트 신경망 내부의 은닉 상태(Hidden States)를 분석하여 외부 추가 정보 없이도 올바른 판단을 내릴 수 있는 확신이 존재하는지 잠재적으로 측정하는 기법입니다.

검증 우선 행동 생성 (Verify-first Action Generation)

에이전트가 즉각적인 검색 쿼리를 발행하거나 최종 답변을 내놓기 전에, 현재 확보된 증거의 충분성과 타당성을 먼저 명시적으로 검증하는 중간 추론 단계를 강제하는 메커니즘입니다.

기술 심층 분석

결과 중심 강화학습의 한계와 지식-행동 괴리 현상

종래의 에이전틱 RAG 최적화는 주로 최종 생성된 텍스트가 정답 데이터셋과 일치하는지에 따라 스칼라 보상을 부여하는 정책 경사(Policy Gradient) 방식에 의존해 왔습니다. 그러나 법률 추론 환경에서 이러한 외적 보상 체계는 심각한 정책 왜곡을 야기합니다. 에이전트가 잘못된 판례를 검색했거나 무관한 법령을 참조했음에도 불구하고, LLM 특유의 파라메트릭 사전 학습 지식 덕분에 우연히 올바른 결론에 도달하는 경우가 빈번히 발생하기 때문입니다. 강화학습 알고리즘은 이 왜곡된 탐색 경로 전체에 긍정적 보상을 부여하게 되며, 결과적으로 에이전트는 '불필요하거나 오도된 검색을 수행하는 나쁜 습관'을 최적 행동으로 학습하게 됩니다. 반대로 에이전트가 내부에 확고한 지식이 없어 확신도가 극히 낮은 상태임에도, 탐색 비용 페널티를 회피하기 위해 검색 도구를 호출하지 않고 무리하게 답변을 생성하는 조기 종료(Early Termination) 오류도 고착화됩니다. 결국 외부적 감독 신호만으로는 신경망 내부의 확신 상태와 외부 실행 정책 간의 정렬을 보장할 수 없다는 이론적 한계가 드러납니다.

검증 우선 행동 생성의 원리와 절차적 강제

신뢰-행동 정렬 프레임워크(MetaRAG)의 핵심 축 중 하나는 에이전트의 결정 루프에 '검증 우선(Verify-first)' 제약을 내재화하는 것입니다. 기존 ReAct 아키텍처가 '생각(Thought) → 행동(Action) → 관찰(Observation)'의 선형적 삼위일체를 따른다면, 본 메커니즘은 행동 선택 직전에 '지식 상태 검증(State Verification)' 단계를 수학적으로 강제합니다. 구체적으로 에이전트는 '현재 컨텍스트 내에서 사실관계 요건이 충족되었는가?', '추가적인 법령 제·개정 이력 확인이 필요한가?'와 같은 내부 자가 검증 질의를 생성하고 이에 대한 확신도를 판별합니다. 이 검증 프로토콜을 통과하지 못한 상태에서는 검색 도구 호출이나 최종 결론 생성이 정책 공간(Policy Space)에서 강제로 마스킹(Masking)됩니다. 이를 통해 에이전트는 무의미한 검색 키워드를 난사하는 대신, 증거의 흠결 부위를 명확히 규명한 타깃 쿼리를 생성하게 되며, 검색된 문헌이 불충분할 때 답변으로 직행하는 위험한 비약을 원천적으로 방지합니다.

내부 신뢰도 탐색(Probing)을 통한 잠재 확신도 정량화

에이전트가 '내가 모른다'는 사실을 정량적으로 인지하기 위해, 신경망의 순방향 전파(Forward Pass) 과정에서 추출되는 은닉 상태 벡터에 경량 선형 프로브(Linear Probe)를 결합합니다. 모델이 질의와 검색 이력을 처리할 때, 특정 트랜스포머 레이어의 표현 벡터는 모델이 해당 법률 명제에 대해 진위 판별 능력을 갖추었는지에 대한 잠재적 신뢰도(Latent Belief)를 내포하고 있습니다. 이 내부 신뢰도 점수는 외부 정답과 무관하게 모델이 현재 맥락에서 '추가 검색 없이 논리적 귀결을 도출할 수 있는가'를 0과 1 사이의 연속 확률값으로 추정합니다. 만약 내부 신뢰도 점수가 기저 임계치 이하로 떨어지면, 에이전트의 정책 네트워크는 '검색 수행' 행동에 높은 사전 확률을 할당하도록 유도됩니다. 중요한 점은 이 프로빙 메커니즘이 모델의 전체 가중치를 파괴하지 않으면서도, 모델이 주관적 확신과 객관적 증거 사이의 간극을 수리적으로 계산할 수 있는 피드백 루프를 제공한다는 사실입니다.

일관성 보상(Consistency Reward) 설계와 무비용 추론

MetaRAG의 가장 두드러진 공학적 강점은 훈련 단계에서 '일관성 보상'을 설계하여 추론 시점의 추가 연산 오버헤드를 완전히 제거했다는 점입니다. 학습 손실 함수는 정답 일치도에 기반한 과업 보상과 더불어, '내부 확신도가 높을 때 자율 답변을 수행했는가' 및 '내부 확신도가 낮을 때 검색 도구를 적절히 호출했는가'를 평가하는 정렬 보상을 가중 결합합니다. 내부 신뢰도와 외부 행동이 상충할 경우(예: 확신도가 낮은데 검색 없이 답변을 생성하거나, 확신도가 극히 높은데 무의미한 검색을 반복한 경우) 정책에 강한 페널티를 부과합니다. 이러한 다목적 최적화를 거친 모델은 프로빙 모듈을 떼어낸 순수 생성 모델 상태에서도 이미 최적화된 내부 정렬 정책을 가중치 파라미터 내에 고착화(Bake-in)하게 됩니다. 결과적으로 실제 서빙 환경에서는 무거운 다중 에이전트 검증기를 별도로 상시 구동할 필요 없이, 단일 에이전트의 단일 추론 경로만으로 극도로 높은 검색 효율성과 무결성을 달성할 수 있습니다.

법률 도메인의 다단계 추론과 기각 경계면 통제

법률 AI에서 신뢰-행동 정렬이 작동하는 최종 단계는 법적 요건 충족 여부에 따른 정밀 기각(Abstention) 및 검색 분기 제어입니다. 예를 들어 형법상 위법성조각사유나 민법상 소멸시효 항변과 같은 쟁점은 다단계의 논리적 전제 조건을 요구합니다. 신뢰-행동 정렬 정책이 학습된 에이전트는 1차 요건에 대한 판례가 확보되었더라도, 2차 예외 조항에 대한 내부 확신도가 낮다면 즉각 검색 모드로 전환하여 보충 증거를 요구합니다. 만약 검색 엔진이 관련 최신 판례를 반환하지 못해 내부 확신도를 끌어올리지 못할 경우, 에이전트는 억지로 법률 효과를 단정하는 대신 '관련 선례 부재로 인한 판단 유보'라는 명시적 기각 행동을 취합니다. 이는 단순한 휴리스틱 if-else 분기문으로는 구현할 수 없는, 신경망 가중치 수준에서 체화된 법률적 신중함의 발현입니다.

기술적 트레이드오프

긴장 관계 검증 우선 생성과 신뢰도 정렬을 엄격히 강화할수록 허위 환각과 불필요한 검색 비용은 급격히 감소하지만, 정책 학습 과정에서 보상 신호가 복잡해져 강화학습의 수렴 안정성이 저하되고 과도하게 방어적인 판단 유보(기각)가 늘어날 위험이 상존합니다.

실무적 해소 학습 초기에는 표준 지도 미세조정(SFT)과 과업 보상 위주로 정책 공간을 안정화한 후 점진적으로 일관성 보상의 가중치를 선형 스케줄링(Annealing)하여 최적화합니다. 아울러 명확한 법령 해석 질의와 열린 법리 다툼 질의의 기각 임계치를 도메인 난이도에 따라 동적으로 보정하여 응답 가용성과 무결성의 균형을 정밀 타격합니다.

법마디 OS에 적용한다면

법마디 OS의 자율 법률 에이전트 파이프라인에 MetaRAG 기반 신뢰-행동 정렬 아키텍처를 전격 이식할 수 있습니다. 우선 법마디 OS가 보유한 수십만 건의 판례·법령 질의응답 쌍을 바탕으로, 내부 은닉 상태에서 추출되는 확신도 점수와 검색 행동 간의 정합성을 측정하는 '신뢰도 프로빙 레이어'를 오프라인 강화학습 하네스에 통합합니다. 이를 통해 상가임대차, 가사, 손해배상 등 주요 분야별로 에이전트가 자체 지식만으로 즉답 가능한 영역과 외부 벡터 검색이 강제되는 경계면을 정밀하게 분리합니다. 둘째, 추론 엔진에는 일관성 보상으로 파인튜닝된 단일 정책 모델을 배치하여, 별도의 외부 오케스트레이션 검증기를 거치지 않고도 검색 호출 횟수를 평균적으로 최적화하면서 추론 레이턴시를 크게 단축시킵니다. 셋째, 검색된 법률 문서가 불완전하여 신뢰도가 회복되지 않을 경우, 무리한 법리 창작을 차단하고 사용자에게 추가 사실관계 입력을 능동적으로 요구하는 정밀 인터랙션 모듈로 라우팅되도록 시스템을 고도화합니다.

기술적 함의

외부 결과 기반 강화학습의 맹점을 극복하고, 내부 확신 상태와 외부 행동 정책을 동기화하는 것이 고위험 도메인 RAG의 새로운 표준입니다.
일관성 보상 메커니즘을 통해 무거운 검증 오버헤드를 학습 시점으로 이전함으로써, 추론 지연 없는 실시간 고신뢰 법률 AI 서빙이 가능해집니다.
에이전트가 자신의 지식 한계를 수리적으로 인지하고 행동을 제어할 때, 비로소 환각 없는 법률적 기각 및 능동적 질의 탐색이 완성됩니다.

"진정한 법률 인텔리전스는 방대한 판례를 맹목적으로 긁어모으는 데 있지 않고, 자신이 무엇을 확신하고 무엇을 모르는지 냉철하게 인지하여 검색의 한 걸음을 내딛는 정렬된 지능에서 완성됩니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급

법마디 OS 무료로 경험하기

본 칼럼은 법마디 OS 기술팀의 관점이며, 특정 제품·기술에 대한 보증이나 법률 자문이 아닙니다.