같은 지식으로 더 어려운 적용을 묻는다: KLEAR의 한국어 LLM 평가
KLEAR는 문제에 필요한 지식을 명시적으로 고정하고 적용 요구를 바꾸는 한국어 LLM 평가 프레임워크입니다. 문제 생성과 검증 과정, 제공된 원문의 실험 결과를 살펴보고, 법률 AI에서 인용 확인과 법적 적용의 평가를 구분할 수 있을지 검증 전 가설로 제안합니다.
초록 한국어 LLM이 문제를 틀렸다는 사실만으로는 필요한 지식을 몰랐는지, 알고도 사례에 잘못 적용했는지 구분하기 어렵습니다. KLEAR는 기존 문제에서 필요한 지식을 추출해 기준 묶음으로 명시하고, 그 지식은 유지하면서 적용 요구가 다른 문제를 만드는 프레임워크입니다. 생성된 문제에는 자동 감사, 대리 모델을 이용한 난도 선별, 사람의 검증과 피드백에 따른 수정을 거칩니다. 원문은 기준 지식 묶음 없이 생성하면 범위 밖 지식을 요구하는 후보의 비율이 20.4%였고, 묶음을 사용하면 1.9%였다고 보고합니다. 또한 필요한 지식을 제공해도 적용 실패가 남는다고 설명합니다. 다만 이는 제공된 원문에 보고된 평가의 결과이며, 법률 AI의 성능 개선을 입증한 결과로 확대할 수는 없습니다. 이 칼럼은 지식의 범위를 고정하는 설계와 그 검증 부담을 살펴보고, 법률 답변에서 근거 확인과 사례 적용을 따로 평가하는 방안을 검증 전 가설로 다룹니다.
어떤 규칙을 말할 수 있는 능력과 그 규칙이 지금의 사례에 해당하는지 판단하는 능력은 평가에서 구분할 필요가 있습니다. 그런데 쉬운 문제와 어려운 문제가 서로 다른 지식까지 요구한다면, 점수 차이의 원인을 적용 능력으로 좁히기 어렵습니다. KLEAR는 이 비교의 조건을 바꿉니다. 먼저 문제를 풀 때 필요한 지식을 명시하고, 그 범위 안에서 조건 충족 여부를 판단하거나 경쟁하는 규칙을 선택하도록 문제를 변형합니다. 핵심은 어려운 문제를 더 만드는 데 그치지 않고, 비교하는 문제들이 정말 같은 지식을 요구하는지 확인하는 데 있습니다.
핵심 기술 개념
지식을 맞춘 대비 문제(knowledge-matched contrasts)
필요한 지식은 유지하면서 그 지식을 사례에 적용하는 요구를 달리한 문제들입니다. 서로 다른 지식 때문에 생기는 점수 차이를 줄이고, 적용 요구에 따른 실패를 살펴보기 위한 비교 단위입니다.
기준 지식 묶음(anchor bundle)
원문에서 생성의 기준으로 사용하는 지식 묶음입니다. 정답과 오답 선택지에 관련된 규칙·기준·정의·사실, 원칙과 예외처럼 지식 사이의 관계, 그리고 묶음에서 제외하는 지식의 범위를 명시합니다.
실버 추론(silver reasoning)
문제와 선택지, 정답을 주고 모델이 생성하게 한 풀이입니다. 분야 전문가가 검증한 풀이가 아니므로 정답 근거 자체로 확정하지 않고, 지식·적용 수준의 주석 작업을 보조하거나 기준 지식 묶음을 추출하는 자료로 사용합니다.
기술 심층 분석
문제가 요구하는 지식과 적용을 나눕니다
KLEAR는 문제를 지식 요구와 적용 요구라는 두 축으로 살펴봅니다. 지식 요구는 사전 지식이 필요 없는 수준부터 일상 상식, 학교 수준 지식, 전문 지식으로 구분합니다. 적용 요구에서 A0는 떠올린 사실이나 규칙 자체가 답인 경우이고, A1은 지식과 사례의 대응이 명시된 경우입니다. A2에서는 하나의 지식이 적용되지만 사례가 그 조건을 충족하는지 판단해야 하며, A3에서는 둘 이상의 후보 규칙 가운데 무엇이 사례를 지배하는지 선택해야 합니다. 이 구분은 모델이 실제로 맞혔는지가 아니라 문제와 풀이가 무엇을 요구하는지를 나타냅니다. 원문은 기존 문제를 분석할 때 정답을 제공해 생성한 실버 추론을 주석의 보조 자료로 사용했습니다. 다만 그 자료로 정답을 다시 알아낼 수 있다는 확인은 풀이의 개별 단계가 사실적으로 정확하다는 증명이 아니라고 명시했습니다. 따라서 생성된 풀이를 참고하는 일과 그 풀이를 검증된 정답 근거로 취급하는 일을 구분해야 합니다.
지식을 고정하라는 지시를 검증 가능한 범위로 바꿉니다
문제를 바꾸면서 같은 지식을 유지하라는 지시만으로는 비교 조건이 보장되지 않습니다. KLEAR는 먼저 원래 문제에서 필요한 지식 단위와 그 관계를 추출하고, 사용해서는 안 되는 범위도 기준 지식 묶음에 적습니다. 생성기는 이 묶음 안에서 적용 요구를 높인 객관식 문제를 만들며, 문제에 기준 지식을 그대로 쓰거나 바꾸어 풀어 쓰지 않도록 지시받습니다. 이후 LLM 감사가 문제의 타당성, 지식 보존과 품질을 확인하고, 더 약한 대리 모델이 정답을 맞히면 충분히 어렵지 않은 후보로 취급합니다. 감사 기준을 충족하지 못하거나 대리 모델이 맞힌 후보는 피드백에 따라 수정한 뒤 다시 검사합니다. 사람의 검증은 먼저 기준 지식 묶음 없이 문제 자체의 품질을 보고, 다음에는 묶음을 공개해 지식과 적용의 통제가 지켜졌는지 확인합니다. 이 절차에서 중요한 구분은 정답이 성립하는 문제인지와 의도한 적용을 실제로 요구하는 문제인지가 별개의 확인 대상이라는 점입니다. 규칙을 선택해야 하는 문제처럼 보여도 지름길로 풀린다면, 의도한 능력을 비교하기 어려워집니다.
구성 결과와 진단 결과의 범위를 구분합니다
원문은 생성 후보 1,964개 가운데 623개가 자동 단계를 통과했고, 사람의 검증은 후보 301개를 대상으로 진행했다고 보고합니다. 이 가운데 252개가 바로 통과하고, 사람의 피드백을 반영한 수정 뒤 35개가 추가로 통과해 최종 문제는 287개가 됐습니다. 따라서 자동 단계를 통과한 모든 후보를 사람이 확인한 것으로 읽어서는 안 됩니다. 기준 지식 묶음의 효과를 비교한 실험에서는 묶음이 없을 때 범위 밖 지식을 요구하는 후보가 20.4%였고, 묶음을 사용했을 때는 1.9%였습니다. 이는 해당 구성 실험에서 지식 범위를 명시하는 장치가 비교 조건을 유지하는 데 기여했다는 근거입니다. 진단 측면에서 원문의 초록과 서론은 필요한 지식을 제공해도 적용 실패가 남는다고 설명합니다. 다만 제공된 본문은 구성 품질 절 도중에 끝나므로, 뒤에 나올 개입 실험의 세부 조건이나 효과 크기를 보충해 말할 수는 없습니다. 여기서 확인할 수 있는 결론은 지식 제공만으로 해소되지 않는 실패가 보고됐다는 것이며, 이를 모든 모델이나 법률 업무에 공통된 결과로 단정할 수는 없습니다.
전체 평균과 같은 원천 문제 안의 비교를 구분합니다
적용 수준별 전체 정답률을 비교하는 것과 같은 원천 문제에서 나온 변형끼리 비교하는 것은 구분해야 합니다. 원문의 표 5는 전체 결과와 별도로, A2와 A3 변형이 모두 있는 원천 문제 30개의 비교 결과를 제시합니다. 이 비교에는 A2 문제 40개와 A3 문제 43개가 포함되며, 정답률은 원천 문제별로 평균을 내어 집계합니다. 따라서 표를 읽을 때는 적용 수준뿐 아니라 어떤 원천 문제들이 비교에 포함됐는지도 확인해야 합니다. 예를 들어 GPT-6.1 Sol의 전체 정답률은 A2에서 91.0%, A3에서 92.3%이지만, 같은 원천 문제를 기준으로 맞춘 비교에서는 두 수준 모두 93.3%입니다. A.X K1은 같은 비교에서 51.7%에서 21.7%로 낮아집니다. 이 결과를 모든 모델이 적용 요구의 증가에 똑같이 반응한다는 뜻으로 읽어서는 안 됩니다. 지식을 맞춘 비교에서도 모델별 양상이 다르므로, 전체 평균만으로 적용 능력의 변화를 판단하기보다 비교 대상과 집계 기준을 함께 살펴야 합니다.
기술적 트레이드오프
긴장 관계 지식을 고정한 대비 문제는 실패 원인을 구분하는 데 도움이 될 수 있지만, 그 고정이 지켜졌는지 검증하는 비용이 들고 난도 선별 방식도 최종 문제의 구성을 좌우합니다.
실무적 해소 원문에서는 자동 감사 뒤에도 사람이 문제의 품질과 지식·적용의 통제를 확인했고, 예산과 시간의 제약으로 검증 대상과 검증 인력 구성이 배치마다 달랐습니다. 따라서 최종 문제 수와 함께 어떤 후보를 누가 검증했는지도 살펴야 합니다. 대리 모델이 틀렸다는 사실은 난도 선별의 기준이지, 문제의 타당성을 보장하는 증거는 아닙니다. 법률 평가로 옮긴다면 지식 범위, 적용 구조, 정답의 타당성을 따로 확인하는 설계가 유용할 수 있다는 가설부터 검증해야 합니다.
이 주장이 틀리는 조건
반증 조건 법률 평가에 옮길 때 검증할 가설은, 필요한 지식을 명시하고 적용 요구만 달리한 대비 문제가 인용 확인만으로 드러나지 않는 오류를 추가로 구분해 준다는 것입니다. 시험에서는 같은 근거 자료를 주는 문제들을 준비하고, 검토자가 실제로 필요한 지식이 같은지와 적용 구조가 달라졌는지를 먼저 확인할 수 있습니다. 어려운 문제에만 새 법리가 필요했다는 판정이 나온다면 점수 차이를 적용 능력의 차이로 해석할 근거부터 무너집니다. 비교 조건이 유지된 문제에서도 추가 오류가 구분되지 않거나, 지식 제공 뒤 남았던 오류가 자료의 누락·모호성을 고치는 것만으로 사라진다면 이 평가 설계의 진단 가치는 낮아집니다. 이런 관측은 KLEAR의 보고 결과와 별개로, 법률 영역에 대한 본 칼럼의 확장 가설을 재검토할 이유가 됩니다.
법마디 OS에 적용한다면
법마디는 관리형 API로 범용 LLM을 사용하며, 답변 속 조문·판례 인용을 law.go.kr 원문과 대조해 확인되지 않은 인용은 내보내지 않도록 설계했습니다. 이 인용 확인과, 확인된 근거를 개별 사실관계에 올바르게 적용했는지는 평가에서 구분해 볼 수 있습니다. 여기서부터는 현재 구현이나 성과에 대한 설명이 아니라 검증 전 가설입니다. 같은 조문·판례 자료를 제공하면서 조건 충족 여부를 판단하는 문제와 원칙·예외 중 적용할 규칙을 고르는 문제를 구성한다면, 인용 확인 뒤에도 남는 적용 오류를 살펴볼 수 있을 것입니다. 다만 사실관계를 바꾸는 과정에서 추가 법리가 필요해지지 않았는지 먼저 검토해야 합니다. 법마디에는 60개 분야 AI 리더와 CSO 서연 주재 리더 협의가 있지만, 이 조직 구성이 평가의 타당성을 증명하지는 않습니다. 판례·조문 조회 MCP 도구는 외부 이용자용이며, 법마디는 변호사가 아닙니다.
기술적 함의
- 서로 다른 문제의 정답률 차이에는 지식 내용의 차이도 섞일 수 있으므로, 적용 능력을 비교하려면 필요한 지식을 맞추는 절차가 필요합니다.
- 기준 지식 묶음을 명시해도 생성된 문제가 그 범위를 지켰는지, 의도한 적용을 요구하는지 별도로 검증해야 합니다.
- 필요한 지식을 제공해도 적용 실패가 남았다는 원문의 보고는 법률 AI 평가를 설계하는 단서가 될 수 있지만, 법률 영역에서의 효과는 검증 전 가설입니다.
"KLEAR가 제시하는 평가의 출발점은 비교 조건을 분명히 하는 일입니다. 무엇을 알아야 하는지는 고정하고, 그것을 사례에 적용하는 요구를 바꾼 뒤, 그 구분이 실제 문제에서도 유지되는지 확인해야 합니다."
