모델 안의 법적 요인, 단어인가 사실인가
LLM 내부 활성값에서 영업비밀 분쟁의 전문가 정의 요인 26개를 모두 읽어 낸 연구를 따라, 그 판독이 법적 사실을 본 것인지 표현을 본 것인지 가르는 문제와 전문가 범주를 정본으로 삼는 설계를 법률 AI 운영에 옮겨 봅니다.
초록 판례를 비교할 때 법률가는 새 사건의 사실 가운데 결론을 가른 패턴을 찾아 옛 사건과 맞대어 봅니다. AI와 법 연구는 이 패턴을 CATO 요인이라는 기호로 정리해 왔습니다. 이달 나온 논문 「Where Do Legal Factors Live in LLMs?」는 세 공개 모델이 영업비밀 분쟁 문장을 읽을 때 생기는 내부 활성값에서 CATO 요인 26개를 모두 읽어 낼 수 있는지 시험했습니다. 답은 그렇다였습니다. 선형 분류기는 전 요인을 거의 완벽하게 가려냈고, 희소 오토인코더 특징 하나나 다섯 개만으로도 높은 판독이 나왔습니다. 그러나 단어만 세는 TF-IDF 분류기도 거의 같은 성적을 냈습니다. 이 칼럼은 그 결과와 저자들이 밝힌 한계를 읽고, 법적 판단을 표현이 아니라 전문가가 정의한 범주로 검증해야 하는 이유를 법률 데이터 운영에 옮겨 봅니다.
모델이 법을 이해하느냐는 물음은 보통 답변을 보고 판단합니다. 이 논문은 답변 대신 모델 안을 봅니다. 영업비밀 분쟁에서 원고가 보안 조치를 했는지, 정보가 역설계로 알아낼 수 있는 것이었는지 같은 사실 패턴은 법률가들이 오래전에 요인 목록으로 정리해 두었습니다. 연구진은 그 목록을 잣대로 삼아, 모델이 문장을 읽는 순간의 내부 신호에서 각 요인이 있는지 없는지를 가려낼 수 있는지 재었습니다. 결과는 인상적이지만 저자들은 스스로 단서를 붙입니다. 단어 빈도만 보는 분류기도 같은 일을 거의 완벽하게 해냈다는 것입니다. 모델 안에서 읽어 낸 것이 법적 사실인지, 그 사실을 말하는 익숙한 표현인지는 아직 갈리지 않았습니다.
핵심 기술 개념
CATO 요인(Factor)
영업비밀 분쟁에서 한쪽 당사자에게 유리하게 작용하는 정형화된 사실 패턴입니다. 법률 전문가들이 판례 서술에서 뽑아 26개(F1부터 F27, F9는 결번)로 정리했습니다. 원고가 보안 조치를 했다(F6), 정보를 역설계로 알아낼 수 있었다(F16)처럼 원 사실과 최종 결론 사이의 중간 수준에서 판례 비교와 논증을 받칩니다.
선형 프로브(Linear Probe)
모델이 문장을 읽을 때 각 층이 만드는 활성값 벡터를 입력으로, 어떤 성질이 있는지를 가려내도록 따로 학습시킨 단순 분류기입니다. 모델 자체는 고정하고 분류기만 학습합니다. 학습에 쓰지 않은 문장에서도 잘 맞히면 그 정보가 내부 상태에 들어 있다는 증거가 됩니다.
희소 오토인코더 특징(SAE Feature)
활성값 벡터를 많은 후보 방향 가운데 소수의 조합으로 다시 표현하도록 학습한 오토인코더의 한 방향입니다. 한 좌표에 여러 정보가 섞이는 문제를 줄여, 사람이 하나씩 들여다볼 수 있는 단위를 만듭니다. 특징 번호는 모델과 층마다 따로 매겨집니다.
기술 심층 분석
26개 요인을 전부 읽어 냈다
연구는 두 물음을 던집니다. 첫째, 모델의 내부 활성값에서 각 요인의 유무를 단순 분류기로 읽을 수 있는가. 둘째, 그 정보를 소수의 특징으로 좁힐 수 있는가. 대상은 Qwen3 1.7B와 8B, Gemma 2 2B 세 공개 모델과 각 모델에 공개된 희소 오토인코더입니다. 첫째 물음의 답은 분명했습니다. 세 모델 모두 26개 요인 전부에서 학습에 쓰지 않은 문장 기준 AUC가 0.998에서 1.000 사이였습니다. 둘째 물음에서 무작위로 고른 특징 다섯 개는 평균 AUC가 0.53에서 0.58로 우연 수준에 가까웠지만, 골라낸 특징 하나는 평균 0.94에서 0.95, 다섯 개는 0.99 가까이 올라갔습니다. 요인마다 가장 좋은 층에서 특징 하나의 AUC는 모두 0.86을 넘었고, 연구진은 요인과 모델마다 하나씩 모두 78개의 층·특징 좌표를 보고합니다.
단어 빈도도 같은 일을 했다
결과를 읽을 때 가장 중요한 문장은 비교 기준에서 나옵니다. 연구진은 개별 단어와 인접 단어쌍만 쓰는 TF-IDF 분류기를 함께 돌렸고, 이 분류기도 시험 문장에서 거의 완벽한 AUC를 냈습니다. 저자들은 그래서 첫째 물음의 결과가 요인 정보를 그것을 표현하는 낱말과 떼어 놓지 않은 채 읽을 수 있다는 것을 보여 줄 뿐이라고 적습니다. 말뭉치의 성격도 이 점과 닿아 있습니다. 문장은 한 요인씩 분명히 드러나도록 생성 모델이 만든 두세 문장짜리 통제 서술이고, 다른 모델이 주석하고 또 다른 모델이 불일치를 판정했습니다. 무작위 220건을 사람이 대조한 일치율은 98.6%였습니다. 깨끗한 실험 조건이지만, 같은 요인을 말하는 문장들이 비슷한 낱말을 공유할 여지도 그만큼 큽니다.
가능성과 행위가 한 신호로
흥미로운 관찰은 특징의 공유입니다. Qwen3 1.7B에서 F16, 곧 정보를 역설계로 알아낼 수 있었다는 요인과 F25, 곧 피고가 실제로 역설계했다는 요인이 같은 층의 같은 특징 하나를 골랐습니다. 법적으로 둘은 다릅니다. 하나는 가능성이고 하나는 행위입니다. 공개된 곳에서 얻을 수 있었다는 F24와 공개 토론장에서 공개했다는 F27도 두 모델에서 특징을 나눠 썼습니다. 저자들은 이것을 결함으로 단정하지 않고, 좌표를 요인 정의와 나란히 읽으면 이런 관계가 보인다고 씁니다. 그리고 후속 과제로 묻습니다. 모델이 역설계 가능성과 실제 역설계를 혼동한다면 두 요인이 같은 특징에 기대고 있기 때문인가. 법률가가 보기에 가장 위험한 혼동이 표현이 비슷한 두 범주 사이에서 일어난다는 점을 정확히 짚는 물음입니다.
저자들이 밝힌 다음 시험
한계 절은 구체적입니다. 증거는 미국 영업비밀 요인에 관한 영어 통제 문장에서 나왔고, 실제 판결문은 더 길고 여러 요인이 겹치며 사실 자체가 다투어집니다. 모델은 17억에서 80억 매개변수로 지금 기준으로 작습니다. 양성과 음성 문장의 길이가 다른 경우가 있고 TF-IDF가 강했으므로, 길이를 맞추고 표현이 아니라 법적 사실을 바꾼 대조 문장을 넣으라고 적습니다. 원고가 아닌 사람이 보안 조치를 한 경우나 법적 의미가 없는 접근 제한처럼, 낱말은 같은데 요인은 성립하지 않는 문장입니다. 마지막으로 특징을 억제하거나 증폭해 출력이 실제로 그 특징에 기대는지 보는 개입 실험을 제안합니다.
기술적 트레이드오프
긴장 관계 표현에서 법적 범주를 추정하면 빠르고 넓게 적용되지만, 같은 낱말이 다른 범주를 말할 때 조용히 틀린다. 반대로 전문가가 정의한 범주 표지를 정본으로 삼으면 정확하지만, 표지가 없는 자리에서는 답을 내지 못하고 멈추는 일이 늘어난다.
실무적 해소 전문가 범주가 있는 자리에서는 그것을 정본으로 삼고, 추정은 표지와 대조할 수 있을 때만 씁니다. 표지가 없어 대조할 수 없는 자리에서는 추정을 단정으로 내보내지 말고 침묵하거나 사람에게 넘깁니다. 검증 문장도 낱말을 바꾼 것이 아니라 법적 사실을 바꾼 대조로 짜서, 판독이 표현에 기대는지를 따로 잽니다.
이 주장이 틀리는 조건
반증 조건 전문가 범주를 정본으로 두고 표지가 없으면 침묵하자는 이 판단은 깨질 수 있습니다. 법적 사실을 바꾼 대조 문장에서도 표현 기반 추정이 전문가 표지와 꾸준히 일치한다는 것이 관측되면, 표지가 없는 자리의 추정을 막는 비용이 이득보다 큽니다. 또 침묵한 자리가 늘어 이용자가 필요한 결론을 얻지 못하는 피해가 추정 오류로 인한 피해보다 크다면 기준을 다시 잡아야 합니다.
법마디 OS에 적용한다면
법마디 OS 는 모델 내부를 들여다보지 않습니다. 관리형 API 로 모델을 쓰기 때문에 활성값에 닿을 수도 없습니다. 그래도 이 논문의 단서, 곧 표현으로 범주를 추정하면 표현이 비슷한 다른 범주로 조용히 넘어간다는 문제는 오늘 우리 지면에서 그대로 나타났습니다. 수험판례 강의노트는 판례마다 선택형 안내에 결론의 방향, 곧 적극인지 소극인지를 적습니다. 정본은 판시사항이 항마다 괄호로 달아 둔 방향 표지입니다. 그런데 표지가 없는 항에서는 생성기가 결론 문장의 어미로 방향을 추정했고, 오늘 실린 헌법재판소 결정 하나에서 정치적 자유권의 의의를 풀이한 정의 문장에 적극이라는 방향을 붙였습니다. 그 결정의 판시 표지는 침해 여부와 평등권 침해 여부 모두 소극이었습니다. 지금은 개념이나 의의를 묻는 항에서는 방향을 적지 않고, 판시 표지가 한 방향뿐인 판례에서 카드가 반대 방향을 적으면 발행 전에 막습니다. 같은 모양의 과거 카드 다섯 장도 고쳤습니다. 전문가가 정의한 범주를 정본으로 두고, 그것과 대조할 수 없는 추정은 단정하지 않는다는 이 논문의 방향과 같은 처방입니다.
기술적 함의
- 모델 안에서 법적 범주를 읽어 냈다는 결과는 표현 기반 비교 기준과 함께 읽어야 한다. 단어 빈도가 같은 일을 하면 아직 표현과 사실이 갈리지 않은 것이다.
- 가능성과 행위처럼 표현이 비슷한 두 범주는 같은 신호를 나눠 쓸 수 있다. 법률 AI의 위험한 혼동은 바로 그 자리에서 난다.
- 검증 문장은 낱말이 아니라 법적 사실을 바꿔 짜야 한다. 전문가가 정의한 범주가 정본이고, 추정은 그것과 대조될 때만 쓸 수 있다.
"모델이 법적 개념을 안다는 증거는 그 개념을 말하는 낱말을 바꿔도, 낱말은 그대로 두고 사실만 바꿔도 판단이 따라 움직일 때 생깁니다. 그 시험의 잣대는 결국 법률가가 정의해 둔 범주입니다."
