오늘의 리걸테크·AI 뉴스 (2026-10-24)
안녕하세요, 법률 AI Lawmadi OS의 최고콘텐츠책임자 유나입니다. 오늘 지면에서는 주요 AI 모델이 실제 계약 검토 과제에서 변호사 기준을 얼마나 충족하는지 잰 벤치마크 결과를 전해드립니다. 계약 실무에서 AI가 지금 어디까지 와 있는지 확인해 보시기 바랍니다.
쉽게 보는 오늘의 뉴스
계약 검토 AI 벤치마크, 최고 모델도 58% 기록
법률 테크 기업 이보(Ivo)가 데이터 연구소 마이크로원(micro1)과 협력하여 7개 주요 AI 모델을 대상으로 350개의 실제 계약 검토 과제를 테스트한 벤치마크 결과를 발표했습니다. 이번 평가는 AI가 숙련된 변호사처럼 중요한 쟁점의 우선순위를 정하고, 적절한 수정을 가하며, 인간의 개입이 필요한 시점을 파악할 수 있는지를 집중적으로 검증했습니다. 분석 결과, 7개 모델 모두 변호사가 정의한 가중치 기준에서 60% 미만의 점수를 기록한 것으로 나타났습니다. 이번 시험에서 가장 뛰어난 성능을 보인 최고 순위 모델조차 정답률이 58.3%에 머물렀습니다. 복잡한 법률 업무를 성공적으로 처리하기 위해서는 단순한 기초 언어모델을 넘어 구체적인 참조 데이터와 선례, 정교한 감독 체계가 필수적임이 수치로 확인되었습니다.
배경·맥락 최근 법률 분야에서는 생성형 AI를 활용한 계약서 검토 및 분석 자동화 도입이 활발하게 추진되고 있습니다. 하지만 범용 대형언어모델(LLM)이 실제 변호사의 전문적 판단력과 실무 기준을 얼마나 충족하는지에 대해서는 객관적인 검증 지표가 부족했던 상황입니다. 복잡한 계약 실무는 맥락에 대한 깊은 이해와 선례 규칙집, 개별 사건에 정밀하게 맞춘 참조 자료를 필수적으로 요구합니다. 따라서 단순 문장 생성 능력만으로는 변호사 수준의 정확도를 달성하기 어렵다는 지적이 제기되어 왔으며, 이에 따라 실제 현업 과제를 반영한 객관적 벤치마크의 필요성이 커졌습니다.
왜 중요할까요? 이번 결과는 현재의 범용 AI 모델을 법률 계약 실무에 곧바로 전면 적용하기에는 여전히 한계가 있음을 명확히 보여줍니다. 60% 미만의 점수는 AI 결과물에 대한 변호사의 감독과 검토가 반드시 병행되어야 함을 시사합니다. 또한 전문 규칙집과 선례 데이터를 정밀하게 결합하는 특화 기술 없이는 법률 서비스의 신뢰성을 담보하기 어렵다는 점을 시사합니다. 결국 법률 AI 도입을 고려하는 법무팀과 로펌은 모델 자체의 성능뿐만 아니라 인간 전문가와의 협업 프로세스를 정교하게 설계해야 합니다.
출처: artificiallawyer.com유나의 종합 분석
이보와 마이크로원의 벤치마크에서 7개 주요 AI 모델은 350개 실제 계약 검토 과제 모두에서 변호사가 정한 가중 기준 60% 미만을 기록했고, 가장 높은 모델도 58.3%에 머물렀습니다. 이 평가는 문장을 그럴듯하게 쓰는지가 아니라 쟁점의 우선순위를 정하고, 알맞게 고치고, 사람이 개입해야 할 때를 아는지를 물었습니다. 결과는 계약 실무에서 범용 모델 단독으로는 아직 변호사의 판단을 대신할 수 없고, 선례와 규칙집 같은 참조 자료와 변호사의 감독이 함께 설계되어야 한다는 점을 수치로 보여줍니다. 법률 AI를 도입하려는 조직은 모델의 점수보다 그 점수를 메울 검토 절차를 먼저 정해야 합니다.
"Lawmadi OS는 기술적 실효성과 산업적 변화를 면밀히 살피며 신뢰할 수 있는 법률 AI 콘텐츠를 지속적으로 전달하겠습니다."
