메인으로
지유 · 최고기술책임자(CTO) · 오늘의 기술 칼럼

질문의 형식을 넘어 구제의 본질로: 법률 AI의 XY 문제 교정

의뢰인의 잘못된 수단 질의(Y) 이면에 은닉된 실질적 법적 목표(X)를 식별하고 정합적으로 재지향하는 법률 AI 추론 구조를 논증합니다.

법마디 무료로 경험하기

초록 자연어 처리 기반 법률 인터페이스에서 사용자는 종종 자신의 실질적 목표(X)를 달성하기 위해 부적절하거나 비효율적인 법적 수단(Y)을 전제한 채 질문을 던집니다. 최근 EMNLP 2026 최우수 자원 논문상을 수상한 XYBench는 8,115개의 실제 질의를 통해 인공지능이 사용자의 내재적 오해를 간파하고 올바른 해결 궤적으로 재지향하는 역량을 정량화하였습니다. 법률 도메인에서 이러한 'XY 문제'를 다룰 때에는 사용자가 선택한 수단이 실제 목표에 맞는지 확인하고, 사실관계와 대안의 요건을 검토해야 합니다. 본 칼럼에서는 거대언어모델이 사용자의 표면적 질의 텍스트에 내포된 거짓 전제와 인과적 불일치를 감지하는 수리적·추론적 원리를 분석합니다. 아울러 표면적 질의 충족과 진정한 법적 이익 실현 간의 구조적 긴장을 해결하기 위한 반사실적 추론 및 목표-수단 정렬 프로토콜을 제시합니다. 궁극적으로 법률 인텔리전스는 입력된 프롬프트에 맹목적으로 순응하는 기계가 아니라, 의뢰인의 불완전한 상태 표현을 건전한 법률적 요건사실 구조로 복원하는 능동적 통로가 되어야 함을 규명합니다.

가령 의뢰인이 분쟁 상대방에게 보낼 문구를 더 강하게 작성해 달라고 요청하는 상황을 생각해 볼 수 있습니다. 이때 요청한 문구 작성이라는 수단(Y)만으로 의뢰인의 실제 목표(X)를 확정할 수 없으므로, 원하는 결과와 분쟁의 사실관계를 먼저 확인해야 합니다. 일반적인 거대언어모델(LLM)에 이 프롬프트를 입력하면, 안전 가드레일에 걸려 단순 거절을 출력하거나 혹은 위험한 조항 문구를 기계적으로 생성해 주는 양극단의 오류에 빠지기 쉽습니다. 인공지능은 요청된 문구를 작성하기에 앞서 목표와 사실관계를 확인하고, 선택한 수단과 가능한 대안의 법적 요건을 검토하도록 도와야 합니다. 앨런 인공지능 연구소(Allen Institute for AI)와 카네기멜론대 등이 주도한 XYBench 연구는 인공지능 어시스턴트가 사용자의 암묵적 오해를 탐지하고 본래의 목표로 재지향(redirection)하는 능력이 현존 모델들에서 극히 취약함을 실증하였습니다. 사용자 질문의 전제가 확인되지 않은 상태에서 수단만 구체화하면 실제 목표에 맞는 답변인지 판단하기 어려워집니다. 법률 AI가 단순한 텍스트 완성기를 넘어 진정한 지능형 보조 시스템으로 기능하려면, 질문의 표면형에 얽매이지 않고 질문 이면의 결손된 목표 상태를 역추적하는 추론 아키텍처가 필수적입니다.

핵심 기술 개념

XY 문제 (XY Problem)

질문자가 실제 달성하고자 하는 궁극적 목표(X) 대신, 자신이 해결책이라고 잘못 짐작한 2차적 수단(Y)에 대해 질문함으로써 본질적인 문제 해결을 방해하는 인지적·소통적 왜곡 현상입니다.

XYBench

앨런 인공지능 연구소 등이 EMNLP 2026에서 발표한 8,115개 질의 기반의 벤치마크로, 사용자의 암묵적 오해를 인공지능이 간파하고 본래 목표로 재지향할 수 있는지를 정량적으로 평가하는 공개 데이터셋입니다.

목표-수단 목적론적 추론 (Goal-Means Teleological Reasoning)

질의에 명시된 행위나 절차(수단)로부터 당사자가 처한 사실관계 및 보호받고자 하는 법적 지위(목표)를 연역·귀납적으로 분리하여 타당성을 검증하는 추론 절차입니다.

기술 심층 분석

1

표면적 순응 편향과 목표-수단 괴리의 역학 구조

지도 미세조정(SFT)과 인간 피드백 기반 강화학습(RLHF)을 거친 최신 언어모델들은 사용자 지시를 최대한 거스르지 않고 충실하게 이행하려는 강력한 순응 편향(compliance bias)을 내재하고 있습니다. 일반적인 대화에서는 이러한 특성이 유용한 사용자 경험을 제공하지만, 법률 영역에서는 치명적인 구조적 결함으로 작용합니다. 질문자가 특정 절차의 서식 작성 요령을 물을 때, 모델이 그 절차의 적용 요건을 확인하지 않고 요청된 서식 작성에만 집중하는 상황을 가정할 수 있습니다. 이 경우 질문자가 원하는 결과와 선택한 절차의 관계가 검토되지 않은 채 서식만 완성될 수 있으므로, 실제 목표와 요건 충족 여부를 별도로 확인해야 합니다. 이러한 응답을 분석하려면 모델이 질문에 명시된 절차와 서식 표현에 집중하는 정도를 검토할 수 있지만, 그 원인을 특정한 주의 집중(attention) 작동으로 단정하려면 별도의 검증이 필요합니다. 텍스트 표면에 드러나지 않은 의뢰인의 실질적 이해관계 X를 복원하기 위해서는 조건부 확률 분포 P(Y|Input)에 머무르지 않고, 입력 텍스트로부터 잠재적 상태 공간 S를 추정하여 P(X|Input)을 도출한 후, 해당 X를 달성하기 위한 최적 행동 경로 A*를 평가하는 2단계 목적지향 베이즈 추론 메커니즘이 강제되어야 합니다.

2

XYBench의 실증적 발견과 법률적 오류 전이 메커니즘

8,115개의 실무 질의를 토대로 설계된 XYBench 연구가 입증하듯, 거대언어모델들은 질문자가 명시적으로 오해를 드러내지 않는 한 표면적 질문 Y에 종속되어 오답 궤적을 심화시키는 경향을 보입니다. 연구진이 제시한 사례처럼 컵케이크가 식지 않아 흘러내리는 프로스팅을 굳히기 위해 전분을 더 넣는 방법을 묻는 질문자에게 전분 배합 비율을 알려주는 응답은 질문자가 처한 물리적 원인을 악화시킵니다. 법률 영역에서도 요청된 수단이 사용자의 실제 목표와 맞는지 확인하는 문제를 검토할 수 있습니다. 예컨대 분쟁 상대방을 공개적으로 압박하는 방법을 묻는 사용자에게는, 그 행동의 효과나 법적 결과를 단정하기 전에 사용자가 원하는 해결 목표와 관련 사실관계를 확인해야 합니다. 이러한 법률 질의에 재지향 평가를 적용하려면, 모델이 사용자의 목표를 확인하고 사실관계에 맞추어 대안의 요건을 검토하는지를 평가하는 별도의 설계가 필요합니다. 모델의 파라미터 규모가 커지더라도 추론 사슬(Chain-of-Thought) 내부에서 전제 조건에 대한 비판적 감사(auditing) 루틴이 독립적으로 동작하지 않으면, 거대 추론 모델조차 사용자의 잘못된 전제를 정교한 법률 용어로 포장하여 합리화하는 지능적 환각을 생성하게 됩니다.

3

반사실적 가설 검증과 전제 결함 탐지 프로토콜

법률 AI가 사용자의 XY 문제를 효과적으로 교정하기 위해서는 질의 텍스트를 파싱하는 즉시 가설 생성 모듈이 개입하여 반사실적(counterfactual) 시뮬레이션을 수행해야 합니다. 이 프로토콜은 질문자가 제시한 수단 Y가 실행되었을 때 도달하는 귀결 상태 S(Y)와 질문자가 바라는 이상적 상태 S(X) 사이의 발산 거리(divergence metric)를 계산하는 방식으로 작동합니다. 구체적으로 시스템은 입력 프롬프트로부터 '주장된 사실관계(Facts)', '요구된 행위(Y)', '추정되는 법익(Interests)'을 세 축의 의미론적 튜플로 분해합니다. 요구된 행위 Y의 전제나 적용 요건이 확인되지 않았다면, 추가 확인이 필요하다는 '전제 결함 플래그(Flawed Premise Flag)'를 표시하는 방안을 검토할 수 있습니다. 이 시점에서 생성 디코더는 Y에 대한 직접 답변 생성을 일시 정지하고, 추정된 법익 X를 충족할 수 있는 대안적 법률 행위 집합 {A1, A2, ...}를 법령 및 판례 데이터베이스로부터 탐색합니다. 그 결과물은 '질문하신 수단 Y가 목표 X에 맞는지 판단하려면 관련 사실과 법적 요건을 확인해야 하며, 확인 결과에 따라 대안의 요건도 검토할 수 있습니다'라는 설명으로 구성할 수 있습니다.

4

대화형 재지향 인터페이스와 질문 재구성 알고리즘

사용자의 오해를 포착했다 하더라도 이를 일방적인 교정문으로 출력하는 방식은 사용자의 인지적 저항을 유발하거나 새로운 의사소통 오해를 낳을 수 있습니다. 따라서 정교한 법률 에이전트는 질문 재구성(Query Reformulation) 알고리즘을 매개로 한 단계적 대화형 재지향 인터페이스를 채택해야 합니다. 이 알고리즘은 사용자의 입력문에서 사실적 주장(Factual Assertions)과 절차적 선택(Procedural Choices)을 엄격히 격리합니다. 사실적 주장은 그대로 보존하되 절차적 선택에 대해서는 해당 선택이 유효하기 위해 충족되어야 할 선결 요건(Preconditions)을 역질문 형태로 구성합니다. 예를 들어 특정 자료의 활용 절차를 묻는 질문에는, 절차를 안내하기 전에 자료를 확보한 경위와 활용 목적을 확인하는 단계를 둘 수 있습니다. 자료의 활용 가능성은 관련 법적 요건과 구체적 사실관계를 함께 검토해야 하므로, 질문에 담긴 일부 사정만으로 법적 결과를 단정해서는 안 됩니다. 이러한 재구성 알고리즘은 사용자로 하여금 자신의 질문이 잘못 설정되었음을 스스로 인지하게 만드는 소크라테스식 유도 추론을 가능하게 합니다. 궁극적으로 시스템의 출력 벡터는 표면적 질의 텍스트에 대한 수동적 매핑이 아니라, 최적의 법적 구제 상태로 질문자를 안내하는 동적 가이드라인으로 기능하게 됩니다.

기술적 트레이드오프

긴장 관계 사용자가 명시적으로 요구한 답변 형식(Y)을 거부하고 실질적 목표(X)로 전환하는 재지향 추론은 법률적 안전성을 대폭 향상시키지만, 사용자의 즉각적인 질의 응답 만족도와 상충하며 연산 지연시간 및 시스템 복잡도를 가중시킵니다.

실무적 해소 질문자가 요구한 표면적 질문 Y에 대한 법적 한계와 위험성을 전반부에서 간결히 짚어 순응적 기대감을 일정 부분 충족시키는 동시에, 후반부에서 실질적 권리 구제를 위한 대안 X를 구조화된 요건사실과 함께 제시하는 이원화된 응답 프로토콜을 구현함으로써 긴장을 완화할 수 있습니다.

이 주장이 틀리는 조건

반증 조건 사전 정의된 500건의 법률 XY 문제 벤치마크 테스트셋에서 전제 결함 탐지 프로토콜을 적용했음에도, 표면적 질의 Y에 직접 답변하는 대조군 대비 사용자의 최종 법적 권리 실현율이 유의미한 차이를 보이지 않는다면 본 논증은 타당성을 상실합니다. 또한 전제 결함 플래그의 오작동으로 인해 질문자의 정당하고 의도적인 특수 절차 질의까지 잘못된 목표로 오인하여 불필요하게 경로를 전환하는 오탐율이 전체 질의의 12%를 초과하는 현상이 지속적으로 관측될 경우, 본 칼럼이 제안하는 목표-수단 목적론적 추론 메커니즘의 실효성은 반증된 것으로 보아야 합니다.

법마디 OS에 적용한다면

현재 Lawmadi OS는 60개 법률 분야별 AI 리더에게 질의를 배정하며, 여러 분야가 얽힌 복합 질의는 CSO 서연이 주재하는 리더 협의를 거치되, 답변에 포함된 판례와 조문 인용은 국가법령정보센터(law.go.kr) API를 통해 원문과 대조하여 확인되지 않은 인용은 내보내지 않도록 설계했습니다. 이러한 기반 위에서 사용자의 질문에 내포된 법적 오해를 선제적으로 걸러내기 위한 '질의 전제 감사 파이프라인'의 결합을 검토할 수 있습니다. 60개 분야 AI 리더에게 프롬프트가 도달하기 전, 질의 텍스트가 지닌 '표면적 수단'과 '실질적 피해 구제 목표' 사이의 인과적 괴리를 평가하는 전처리 게이트를 두는 방안은 검증 전 가설입니다. 특히 CSO 서연이 주재하는 협의 단계에서, 당사자가 선택한 법률 용어만으로 담당 분야를 확정하지 않고 확인된 목표와 사실관계에 따라 관련 분야의 리더를 함께 호출하는 설계를 검토할 수 있습니다. 의뢰인이 전제한 청구를 검토할 때에는 law.go.kr API 조회로 법적 요건을 확인하고, 그 요건에 해당하는 사실의 충족 여부는 자료로 별도 검토한 뒤 대안의 요건을 살피는 구조를 검토할 수 있습니다. 외부 이용자에게 제공되는 판례·조문 조회 도구(MCP) 호출 단계에서도, 질문자의 입력 키워드를 그대로 검색어로 쓰지 않고 교정된 법률 요건으로 확장하여 조회하는 메커니즘은 성능 검증이 필요한 기술적 가설입니다.

기술적 함의

"기술이 사용자의 언어를 그대로 복창할 때 법률은 왜곡되지만, 기술이 사용자의 침묵과 오해 이면에 숨은 권리를 응시할 때 비로소 진정한 정의의 도구가 됩니다."

참고 자료

칼럼니스트

지유

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급

본 칼럼은 법마디 OS 기술팀의 관점이며, 특정 제품·기술에 대한 보증이나 법률 자문이 아닙니다.