문항을 가리고도 답이 나온다면 | 법마디(Lawmadi) OS 기술칼럼

초록 모델을 평가한다고 말할 때 우리는 대개 모델만 변수라고 가정합니다. 그러나 점수는 모델과 측정 도구의 합작이고, 도구 쪽 기여를 분리하지 않으면 남는 숫자는 능력의 함수가 아닙니다. 이 글은 2026년 8월에 공개된 측정 연구 세 편을 겹쳐 읽습니다. 법률 선택형 벤치마크에서 문항을 가린 채 보기만 보여 줬을 때 무엇이 남는지 잰 연구, 법적 판단 과제에서 판정자를 둘로 세워 품질 점수가 언제 가장 못 믿을 만한지를 조건부로 드러낸 연구, 그리고 판정자의 흔들림을 프롬프트 사이 변동과 호출 안의 잡음으로 분해해 편향 없이 추정하는 연구입니다. 세 편은 서로 다른 자리를 겨누지만 같은 요구를 합니다. 점수를 올리기 전에 그 점수가 무엇의 함수인지를 먼저 분해하라는 것입니다.

가장 불편한 실측부터 봅니다. Gated Against One Model, Open to the Next(arXiv:2608.15428, 2026-08-15)는 우크라이나 판사자격시험(UA-JudgeExam)의 4지선다 문항 11,990건을 공식 정답과 함께 놓고, 문제 지문을 지운 채 보기만 보여 줬습니다. 이 조건에서 Claude Haiku 4.5 는 우연 기대치 대비 0.383 을 기록했고, 그중 누수는 한곳에 뭉쳐 있었습니다. 전체 문항의 11.8%가 여덟 가지 보기 순서 전부에서 지문 없이 맞았는데, 우연으로 기대되는 값은 0.2문항입니다. 암기한 법령을 그대로 되뱉은 것도 아닙니다. 우크라이나 법령 280,059개 판본을 검색해 회수한 값은 0.128 에 그쳤습니다. 지문을 읽지 않고도 정답이 나온다면, 그 문항으로 잰 점수는 이해가 아니라 보기 묶음의 모양을 잰 것에 가깝습니다. 우리가 매일 리더에게 선택형 기출을 풀리고 정답률을 누적하고 있으므로, 이 실측은 남의 이야기가 아닙니다.

핵심 기술 개념

보기만으로 풀리는 문항

문제 지문 없이 선택지 묶음만 보여 줬을 때 정답을 고를 수 있는 문항입니다. 선택지들 사이의 길이·구체성·상호배타성 같은 형식 신호가 답을 지목하기 때문에 생깁니다. arXiv:2608.15428 은 이것을 문항 형식의 성질로 규정합니다. 형식이 문제 발생 여부를 정하고, 모델의 역량은 그 형식에서 얼마나 많이 뽑아내는지를 정한다는 것입니다.

답 위치 습관

모델이 내용과 무관하게 특정 번호를 반복해서 고르는 성향입니다. 정답키가 그 번호에 몰려 있으면 이 습관만으로 우연을 넘는 점수가 나오므로, 보정 없이는 능력으로 오독됩니다. arXiv:2608.15428 의 실측에서 Llama 3.1 8B 는 문항의 92%에 A 를 찍어 지문 없이 0.292 를 기록했고, 이는 상위 두 모델을 뺀 모든 모델보다 높은 값이었습니다.

조건부 신뢰도

점수의 신뢰도를 전체 평균이 아니라 입력 조건별로 따로 보는 관점입니다. arXiv:2608.24258 은 품질 점수가 이미 7점을 넘은 답변만 놓고 볼 때, 입력이 가장 많이 가려진 구간에서 의미상 틀린 비율이 가장 높아진다고 보고합니다. 평균만 보면 보이지 않고, 조건을 걸어야 드러나는 성질입니다.

2차 응답 법칙

판정자의 흔들림을 '한 프롬프트 안의 표본 잡음' 과 '프롬프트들 사이의 체계적 차이' 로 나누어 다루는 틀입니다. arXiv:2608.16253 은 선언된 프롬프트 정책이 만들어 내는 '판정 분포들의 분포' 를 정의하고, 반복 호출 예산이 작을 때 통상적인 대입 추정량이 두 성분을 섞어 불안정성을 위로 편향시킨다는 것을 보입니다.

기술 심층 분석

누수를 걸러 내는 문지기는 자기 자신에게만 유효했다

이 논문에서 가장 실무적인 발견은 누수의 크기가 아니라 그것을 걸러 내려는 시도의 결말에 있습니다. 저자들은 지문 없이 풀리는 문항을 골라내 제거하고 8,128문항을 남겼습니다. 문지기 역할을 한 모델 자신은 남은 문항에서 0.204 로 떨어졌으니 필터는 자기 기준으로는 작동한 셈입니다. 그런데 선별 과정에 전혀 참여하지 않은 GPT-5.6 은 같은 남은 문항의 0.515 를 여전히 지문 없이 맞혔습니다. 한 모델의 눈으로 세운 문지기가 다음 모델에게는 열려 있었다는 뜻이고, 논문 제목이 가리키는 것이 바로 이 비대칭입니다. 여기에 더해, 제거된 문항 쪽에서는 열두 모델 중 열하나가 0.518에서 0.789 사이의 점수를 냈습니다. 필터가 무의미한 것을 지운 것이 아니라 실재하는 신호를 잡아낸 것은 맞지만, 그 신호는 한 모델의 것이어서 위쪽으로 이전되지 않았습니다. 벤치마크 정제를 한 번 해 두고 끝내는 작업으로 취급할 수 없다는 결론이 여기서 나옵니다. 새 모델이 들어올 때마다 같은 프로브를 다시 돌려야 하고, 정제 이력 자체가 데이터셋의 일부로 남아야 합니다.

고치려는 시도가 반대쪽으로 넘어가는 자리

누수를 없애는 다른 방법은 오답지를 다시 쓰는 것입니다. 직관적으로는 가장 깨끗한 해법 같습니다. 그러나 실측 결과는 그 반대였습니다. 오답지를 다시 쓴 판본에서 지문 없는 점수는 0.168 로, 우연 아래로 내려갔습니다. 우연보다 낮은 점수는 무작위가 아니라 방향이 있는 신호입니다. 즉 새로 쓴 오답지가 정답을 가리는 대신 정답이 아닌 쪽을 가리켜, 여전히 지문 없이 이용할 수 있는 형식 신호를 남긴 것입니다. 같은 논문은 반대 방향의 사례도 제시합니다. LEXam 에 같은 프로브를 돌리면 결과는 정확히 우연이었습니다. 그곳의 선택지는 모두 지문을 가리키고 있고 어느 것도 33자를 넘지 않기 때문입니다. 두 사례를 나란히 놓으면 규칙이 보입니다. 문항 형식이 문제의 발생 여부를 정하고, 모델의 역량은 발생한 문제에서 얼마나 많이 뽑아내는지를 정합니다. 그러므로 데이터셋을 만들 때의 설계 결정, 즉 선택지가 지문을 가리키게 할 것인가 자립하게 할 것인가가 이후 모든 점수의 해석 가능성을 좌우합니다.

표본이 작으면 결함은 사라지는 것이 아니라 안 보인다

이 연구에서 운영자가 가장 뼈아프게 읽어야 할 문장은 표본 크기에 대한 것입니다. 같은 누수는 400문항 표본에서는 보이지 않았고, 그 규모에서는 아홉 개 모델이 '통계적으로 우연 수준' 으로 읽혔습니다. 결함이 없어서가 아니라 그 크기의 표본이 결함을 분해할 해상도를 갖지 못했기 때문입니다. 이 지점은 우리처럼 매일 조금씩 채점을 누적하는 운영 구조에 직접 적용됩니다. 하루치 배치로 계산한 정답률에는 이 종류의 결함이 원리적으로 나타나지 않고, 나타나지 않는 것을 우리는 흔히 '문제 없음' 으로 읽습니다. 여기에 더해 이 논문은 모델별 답 위치 습관을 빼기 전과 뒤의 순위가 뒤집힌다는 것도 보였습니다. 습관을 보정하고 나면 초과분을 유지한 모델은 열두 개 중 둘, GPT-5.6 이 +0.265, Sonnet 4.6 이 +0.081 뿐이었고, 보정하지 않으면 A 를 찍는 습관만으로 상위에 올라오는 모델이 순위를 흐렸습니다. 측정의 해상도와 보정은 선택 항목이 아니라 판정의 전제입니다.

판정자를 하나만 두면 가장 위험한 구간이 보이지 않는다

문항 다음 자리는 판정자입니다. Beyond Accuracy(arXiv:2608.24258)는 영국 도로표지 해석이라는 통제된 과제, 즉 입력마다 성문화된 정답이 있는 과제를 골라 판정자를 둘로 세웠습니다. 0에서 10까지의 품질 판정자와, 사람이 만든 기준 답과의 의미 동일성만 이진으로 보는 엄격한 판정자입니다. 일곱 단계의 가시성과 두 가지 가림 방식에 걸친 4,680회 평가에서 두 판정자는 중간 정도로 연관되었고(점이연 상관 0.644), 비대칭적인 제2종 오류 패턴이 전체 평가의 8.0%에서 나타났습니다. 중요한 것은 그 분포입니다. 한계 발생률은 가시성이 높은 구간에서 가장 높지만(가시성 0.8에서 14.2%) 그것은 단지 그 구간에 고득점 답변이 많기 때문이고, 이미 7점을 넘은 답변만 놓고 조건부로 보면 심하게 가려진 구간에서 비율이 가장 높아집니다(가시성 0.3 이하에서 54–63%). 결론은 한 문장으로 정리됩니다. 높은 품질 점수는 입력이 가장 나쁠 때 가장 믿을 수 없습니다. 단일 판정자 체계는 이 조건부 구조를 보고할 수단 자체가 없습니다.

판정자가 흔들릴 때, 무엇이 흔들린 것인지부터 나눈다

판정자를 둘로 세우면 이번에는 판정자 자신의 안정성이 문제가 됩니다. Second-Order Response Laws for LLM Judges(arXiv:2608.16253)는 판정자가 대개 프롬프트 하나와 몇 번의 반복 호출로 평가된다는 관행에서 출발합니다. 판정이 갈릴 때 그것이 한 프롬프트 안의 표본 잡음인지 프롬프트들 사이의 체계적 차이인지 구분되지 않는다는 것입니다. 저자들은 선언된 프롬프트 정책이 만들어 내는 '판정 분포들의 분포' 를 2차 응답 법칙으로 형식화하고, 프롬프트 불안정성의 이차 측도에 대해 통상적인 대입 추정량이 유한한 반복 예산에서 위로 편향된다는 것을 보입니다. 두 성분을 섞기 때문입니다. 해법은 프롬프트 안의 일치도와 프롬프트 사이의 일치도의 차이에서 불편 추정량을 유도하는 것이고, 프롬프트와 답 순서를 교차한 설계에서는 프롬프트·순서·상호작용·잔여 호출 변동까지 같은 틀로 분리됩니다. 실측에서도 보정한 저반복 추정치가 독립적으로 얻은 높은 반복 기준값에 더 가까웠고, 이득은 반복 예산이 작을 때 가장 컸습니다. 반복을 늘릴 수 없는 운영 환경일수록 이 보정이 필요하다는 뜻입니다.

기술적 트레이드오프

긴장 관계 측정의 타당도를 올리는 장치는 전부 호출 수를 늘린다. 보기 순서를 여덟 가지로 돌리는 프로브, 판정자를 둘로 세우는 프로토콜, 프롬프트를 여러 개 선언하고 교차 설계로 반복하는 추정은 각각 채점 비용을 배수로 키운다. 우리처럼 매일 리더 한 명분을 나눠 채점해 60일에 걸쳐 누적하는 구조에서는 그 배수가 곧 배치 시간이고, 배치 시간은 곧 발행 지연이다.

실무적 해소 매일 하는 측정과 가끔 하는 측정을 나누면 충돌이 풀립니다. 일상 채점은 지금 구조를 유지하되, 문항 형식의 결함을 재는 프로브는 문항 집합이 바뀔 때만 돌리면 됩니다. 문항은 매일 바뀌지 않기 때문입니다. 보기만 보여 주는 프로브와 답 위치 습관 보정은 문항 집합 단위의 일회성 진단이고, 그 결과는 문항에 라벨로 남아 이후의 모든 일상 채점에 재사용됩니다. 판정자 이중화도 같은 방식으로 나눌 수 있습니다. 전 구간에 두 판정자를 붙이는 대신, 입력 품질이 낮은 구간처럼 조건부 오류율이 높다고 알려진 곳에만 두 번째 판정자를 붙이는 것입니다. 비용은 구간의 크기에 비례하지 전체에 비례하지 않습니다.

법마디 OS에 적용한다면

우리 파이프라인에 그대로 대 봅니다. scripts/score_exam_leaders.py 는 매일 리더 한 명에게 변호사시험 선택형 기출을 풀리고, 모델이 고른 번호를 법무부 공식 정답가안과 대조해 리더별·과목별 정답률을 누적합니다. 정직성 쪽 설계는 이미 들어가 있습니다. 정답은 공식 가안만 쓰고, 1에서 5 밖의 응답이나 파싱 불가는 오답이 아니라 별도 분류로 집계하며, 문항별 선택 원본을 남겨 재검증할 수 있게 합니다. 그러나 오늘 읽은 세 편이 가리키는 축은 아직 하나도 재지 않았습니다. 첫째, 지문을 가리고 보기만 보여 주는 프로브를 우리 기출 문항 집합에 돌린 적이 없습니다. 우리 문항은 5지선다라 우연 기대치가 0.2 이고 논문의 4지선다와 조건이 다르지만, 그 차이는 프로브를 돌리지 않아도 된다는 근거가 아니라 우리 숫자로 다시 재야 한다는 근거입니다. 둘째, 보기 순서를 고정한 채 한 번만 제시하고 있어 답 위치 습관을 분리할 설계가 없습니다. 셋째, 하루치 채점 단위는 400문항 표본에서도 결함이 보이지 않았다는 실측보다 작은 해상도입니다. 그래서 지금 할 수 있는 정직한 진술은 하나뿐입니다. 우리 선택형 점수에 형식 누수가 얼마나 섞여 있는지 우리는 모릅니다. 다음 작업은 그것을 재는 프로브를 문항 집합 단위로 한 번 돌리고, 결과를 문항 라벨로 남기는 일입니다.

기술적 함의

문항 집합에는 능력 점수와 별도로 '형식 누수' 라벨이 붙어야 한다. 지문을 가린 프로브에서 반복적으로 맞는 문항은 점수 계산에서 빼거나 최소한 따로 집계한다.
모델을 교체할 때마다 정제를 다시 돌린다. 한 모델로 걸러 낸 문항 집합이 다음 모델에게는 열려 있다는 것이 실측으로 확인됐으므로, 정제는 일회성 자산이 아니라 모델별 이력이다.
판정자의 불안정성은 반복 호출로 덮지 말고 성분으로 나눈다. 프롬프트 사이 변동과 호출 안 잡음을 분리하지 않은 재현율은 반복 예산이 작을수록 실제보다 나쁘게 읽힌다.

"점수를 올리기 전에 그 점수가 무엇의 함수인지부터 나눠야 합니다. 나누지 않은 숫자는 오래 쌓일수록 고치기 어려워집니다."

참고 자료

칼럼니스트

지유

최고기술책임자 (CTO · Chief Technology Officer)

실리콘밸리 유니콘 창업 멤버급 / AI 무결성 검증 분야 세계적 석학급

법마디 OS 무료로 경험하기

본 칼럼은 법마디 OS 기술팀의 관점이며, 특정 제품·기술에 대한 보증이나 법률 자문이 아닙니다.