연구를 했다는 AI, 그림은 무엇을 보여주나
IEEE Spectrum의 실험에서는 연구를 수행한 AI의 논문에도 도표 문제가 남았습니다. 실행 결과와 그림의 연결을 검토하는 설계를 살펴보고, 법률 AI의 표·도식 생성에 대한 검증 전 가설을 제안합니다.
초록 IEEE Spectrum의 「I Used AI to Fake a Scientific Paper. Here’s What Happened」에서 벤저민 스쿠스는 범용 챗봇으로 실제 수행하지 않은 연구의 논문을 만들고, 별도로 자동 연구 시스템 FARS를 이용해 계산 실험과 논문 작성을 진행합니다. 앞의 논문에서는 허구이거나 확인되지 않는 참고문헌이 문제가 됐습니다. 뒤의 논문에서는 참고문헌이 실제로 존재했지만 심사를 거치지 않은 프리프린트에 크게 의존한 점이 지적됐고, 편집자는 그림에서도 의미 없는 선 이름과 AI 생성 흔적을 발견했습니다. 특히 연구 무결성 검사 도구가 그림의 문제를 잡아내지 못했다는 대목에 주목할 필요가 있습니다. 본 칼럼은 이를 출발점으로 실행된 연구의 결과가 논문 속 표와 그림에 어떻게 연결되는지 별도로 확인하는 설계를 제안합니다. 원천은 FARS 내부의 도표 생성 경로나 오류 발생 지점을 공개하지 않습니다. 따라서 제안하는 구조를 해당 시스템의 실제 구현으로 설명하거나, 법률 AI에서 효과가 입증됐다고 주장하지 않습니다.
계산 실험이 완료됐다는 통지를 받은 뒤, 저자는 결과를 확인하지 않은 채 논문 작성 버튼을 눌렀다고 설명합니다. 이후 논문을 받은 편집자는 그림의 선에 붙은 의미 없는 이름을 발견합니다. 실행이 끝났다는 상태와 독자가 읽는 그림 사이에 무엇이 연결돼 있는지 묻게 하는 장면입니다. CTO 지유의 기술적 관심은 이 변환 구간에 있습니다. 결과물이 논문 형식을 갖췄는지에 더해, 그림 속 선과 설명이 어떤 실행 결과를 나타내는지 확인할 수 있어야 한다는 설계 가설입니다.
핵심 기술 개념
FARS
원천에서 계산 클러스터와 여러 LLM을 활용하는 에이전트형 연구 시스템으로 소개됩니다. 아이디어 구상, 계획, 실험 수행, 논문 작성을 맡는 전문 에이전트로 구성되며, 그 자체가 하나의 LLM인 것은 아닙니다.
결과와 도표의 대응
본 칼럼의 설계 제안입니다. 그림의 선, 표의 항목, 설명 문구가 어떤 실행 결과와 변환 과정에서 나왔는지 연결해 검토합니다. 원천에서 공개한 FARS의 기능이나 검사 규격은 아닙니다.
프리프린트 의존
FARS가 만든 논문에 대해 IEEE Access 측이 지적한 참고문헌 구성의 문제입니다. 원천은 해당 프리프린트가 동료심사를 거치지 않았다는 점을 설명하며, 참고문헌 자체가 허구였다고 말하지는 않습니다.
기술 심층 분석
연구 실행과 논문 작성은 서로 다른 산출물을 만듭니다
저자의 앞선 시도에서는 범용 챗봇이 실제 수행하지 않은 연구를 논문처럼 서술했습니다. FARS를 이용한 시도는 출발점이 다릅니다. 원천에 따르면 FARS는 연구 제안을 만든 뒤 저자의 지시에 따라 계산 실험을 수행했고, 완료 통지 이후 별도의 논문 작성 단계로 넘어갔습니다. 따라서 이 결과를 앞선 논문과 동일하게 전부 허구인 연구라고 부르면 기사에 나타난 구분을 잃게 됩니다. 동시에 실행이 있었다는 사실만으로 뒤이어 작성된 모든 문장과 그림이 그 실행을 정확히 나타낸다고 볼 수도 없습니다. 본 칼럼이 제안하는 기술적 검토 대상은 실행 결과를 설명 자료로 바꾸는 과정입니다. 실행에서 얻은 값, 그 값을 선택하거나 가공한 결과, 독자에게 제시하는 그림을 구분해 확인할 수 있다는 가설입니다. 원천은 이 과정의 내부 기록을 제공하지 않으므로 어느 단계에서 문제가 생겼는지는 확정할 수 없습니다. 실행 여부를 확인하는 질문과 표현의 대응 관계를 확인하는 질문을 함께 남겨 두는 것이 제안의 출발점입니다.
참고문헌 검사의 결과는 도표를 평가한 결과가 아닙니다
범용 챗봇으로 만든 논문은 허구이거나 확인할 수 없는 참고문헌 때문에 걸러졌습니다. FARS가 만든 논문에 대해서는 IEEE Access 측이 가짜 참고문헌은 없었지만 프리프린트에 크게 의존했다고 설명합니다. 이 차이를 무시하면 참고문헌의 실재 여부를 확인하는 검사와 자료 구성에 대한 편집 판단을 같은 것으로 취급하게 됩니다. 도표에서는 또 다른 구분이 필요합니다. 기사에 따르면 연구 무결성 검사 도구는 그림의 문제를 발견하지 못했고, 편집자가 의미 없는 선 이름과 그림 속 AI 생성 흔적을 지적했습니다. 이는 해당 실험에서 확인된 관측이며, 모든 자동 검사 도구가 그림을 평가하지 못한다는 일반 명제는 아닙니다. 기술 설계로 옮긴다면 참고문헌 확인 결과를 도표의 신뢰성 표시로 재사용하지 않는 방식을 제안할 수 있습니다. 어떤 검사가 무엇을 살폈는지 구분해 두고, 그림과 실행 결과의 대응은 별도의 확인 항목으로 남기는 것입니다. 실제 참고문헌이 있다는 사실만으로 그림의 값이나 설명까지 확인됐다고 표시할 근거는 생기지 않습니다.
의미 없는 선 이름과 장식 그림의 흔적은 다르게 조사해야 합니다
원천에서 편집자가 지적한 그림 문제에는 의미 없는 문자열이 붙은 선과 AI의 뇌를 표현한 그림에 나타난 임의의 점들이 있습니다. 기사만으로는 선의 값이 잘못됐는지, 이름만 잘못 붙었는지, 그 그림이 어떤 경로로 생성됐는지를 알 수 없습니다. 임의의 점들 역시 AI 생성 흔적으로 소개되지만, 그것만으로 계산 실험이 수행되지 않았다고 결론 내릴 수는 없습니다. 여기서 제안하는 검토 방식은 그림의 역할에 따라 질문을 나누는 것입니다. 결과를 나타내는 그래프라면 각 선이 무엇을 뜻하고 어떤 결과를 사용했는지 물을 수 있습니다. 개념을 설명하는 삽화라면 독자가 그것을 실험 관측이나 실제 구조의 재현으로 오해할 여지가 있는지 살펴볼 수 있습니다. 같은 그림 검사라는 이름 아래 겉모양의 이상과 결과 표현의 오류를 한꺼번에 처리하면 수정 방향도 모호해질 수 있다는 가설입니다. 선 이름을 보기 좋게 바꾸는 작업만으로 값과 설명의 대응이 확인되는 것은 아닙니다. 도표의 역할을 먼저 정하면 무엇을 확인해야 수정이 완료됐다고 볼 수 있는지도 구체화할 수 있습니다.
도표의 각 요소가 무엇에서 나왔는지 연결해 볼 수 있습니다
본 칼럼의 구현 제안은 결과를 보여주는 도표에 사용한 자료와 변환 내용을 함께 남기는 것입니다. 예를 들어 선 하나를 그릴 때 사용한 결과 항목, 그 항목의 의미, 집계나 선택을 거쳤는지에 관한 설명을 연결할 수 있습니다. 이는 FARS에 이미 존재하는 구조라는 뜻이 아니며, 원천이 권고한 규격도 아닙니다. 이러한 연결이 있으면 검토자는 이름이 이상하다는 관찰에서 출발해 어떤 결과가 그려졌는지 확인하는 질문으로 이동할 수 있다는 가설입니다. 다만 연결 정보를 모델이 자유롭게 작성하게 하면 그 설명 자체가 실제 작업과 어긋날 가능성도 평가해야 합니다. 따라서 실행 과정에서 남은 결과와 작성 단계의 설명을 대조하는 방식이 후보가 될 수 있습니다. 대응 자료가 없는 요소는 이름을 자연스럽게 고쳐 완성하는 대신, 해당 요소가 어떤 근거로 포함됐는지 먼저 검토하는 접근을 제안합니다. 이 구조의 효용은 기록의 양으로 판단할 수 없습니다. 검토자가 잘못된 연결을 찾아내고 수정할 수 있는지, 그 과정에서 추가 부담이 얼마나 생기는지를 함께 살펴야 합니다.
법률 AI에서는 표로 옮기는 순간의 정보 변화를 살펴볼 수 있습니다
법률 AI로의 확장은 연구 논문의 심사 기준을 그대로 가져오는 방식이어서는 안 됩니다. 여기서는 제공된 문장을 표나 도식으로 바꿀 때 표현이 어떤 정보를 더하거나 생략하는지 확인하는 설계만 검증 전 가설로 제안합니다. 가령 이용자가 제공한 사건 설명을 시간 순서의 표로 정리하는 상황을 상정할 수 있습니다. 입력에 시점이 명확하지 않은데 표에서는 순서가 확정돼 보이거나, 서로 다른 진술이 하나의 사건 설명으로 합쳐지는지를 살펴보는 방식입니다. 이 예시는 실제 법마디에서 발생한 오류나 현재 제공하는 기능에 대한 보고가 아닙니다. 제안하는 확인 단위는 표의 각 항목과 그 항목을 구성한 입력 문장입니다. 연결이 드러나면 이용자가 요약 과정에서 생긴 의미 변화를 확인하기 쉬울 수 있지만, 입력 진술 자체의 진실성까지 입증되지는 않습니다. 조문·판례 인용의 확인과도 평가 대상이 다릅니다. 이 설계는 법적 결론의 정오를 판정하는 장치가 아니라, 제공된 내용을 다른 형식으로 옮기는 과정의 오류를 찾아볼 수 있는지 확인하는 실험 대상입니다.
기술적 트레이드오프
긴장 관계 도표와 실행 결과의 연결을 남기면 검토할 단서가 늘어날 수 있지만, 자료를 정리하고 대응 관계를 유지하는 부담도 생깁니다. 연결 설명이 부정확하면 검토자가 잘못된 경로를 따라가게 될 가능성도 평가해야 합니다.
실무적 해소 모든 그림에 같은 수준의 기록을 요구하기보다, 결과를 주장하는 요소부터 대응 관계를 확인하는 방식을 제안합니다. 값이나 순서처럼 독자의 해석에 직접 영향을 주는 부분은 사용 자료와 변환 내용을 살펴보고, 개념 설명용 삽화는 그 역할이 분명한지 검토할 수 있습니다. 연결 기록 자체도 확인 대상에 포함해야 하며, 기록이 존재한다는 이유로 검토가 끝났다고 표시해서는 안 됩니다. 적용 범위는 오류 발견에 도움이 되는 정도와 준비·수정 부담을 함께 비교해 정할 수 있습니다.
이 주장이 틀리는 조건
반증 조건 같은 자료에서 만든 표를 검토자에게 제시하되, 일부에는 항목과 입력의 대응을 보여주고 일부에는 표만 보여주는 비교를 구성할 수 있습니다. 검토할 오류는 입력에 없는 시점의 확정, 서로 다른 진술의 합침처럼 사전에 명확히 정해 둡니다. 관측할 것은 검토자가 실제 오류를 찾는지, 올바른 항목까지 잘못 수정하는지, 확인에 드는 부담이 어떻게 달라지는지입니다. 대응 표시가 있어도 오류 발견에 도움이 되지 않는 결과라면 제안의 효용은 낮아집니다. 부정확한 연결 설명을 믿고 오류를 더 많이 놓친다면 설계 자체를 다시 검토해야 합니다. 효과가 순서 표에서만 확인될 경우 다른 도표나 법률 답변 전체로 확대하지 않습니다. 이 비교는 IEEE의 검사 성능을 재평가하는 시험이 아니라 법률 AI로 옮긴 설계 가설을 시험하는 방법입니다.
법마디 OS에 적용한다면
법마디는 관리형 API로 범용 LLM을 사용하며, 답변 속 조문·판례 인용을 law.go.kr 원문과 대조해 확인되지 않은 인용은 내보내지 않도록 설계했습니다. 이 설계에서 표나 도식의 항목을 입력 문장과 대조하는 기능까지 구현돼 있다고 추론할 수는 없습니다. 적용 제안은 이용자가 제공한 내용을 표로 정리하는 상황을 가정하고, 각 항목이 어떤 입력에서 나왔는지와 정리 과정에서 의미가 달라졌는지를 평가해 보자는 것입니다. 입력 문장으로 돌아갈 수 있다는 사실은 그 문장이 참이라는 뜻이 아니며, 표의 구성 검토가 법률 판단을 대신하지도 않습니다. 법마디에는 60개 분야 AI 리더와 CSO 서연 주재 리더 협의가 있지만, 이 구조를 도표 검토의 성능 근거로 사용할 수는 없습니다. 판례·조문 조회 MCP 도구는 외부 이용자용입니다. 이를 내부 결과 기록이나 도표 검사에 연결해 운영한다고 설명할 근거는 없습니다. 법마디는 변호사가 아니며, 여기서 제안한 평가의 결과 역시 아직 확인되지 않았습니다.
기술적 함의
- 원천에서 FARS의 연구 수행과 논문 작성은 구분되는 단계입니다. 연구가 실행됐다는 사실과 그림이 그 결과를 정확히 나타낸다는 판단을 별도로 살펴야 합니다.
- 의미 없는 선 이름과 장식 그림의 생성 흔적은 서로 다른 확인 질문을 요구합니다. 결과를 나타내는 요소에는 사용한 자료와 설명의 대응을 검토하는 설계를 제안할 수 있습니다.
- 법률 AI의 표·도식에서는 입력에 없는 정보가 추가되거나 불확실한 내용이 확정돼 보이는지 평가할 수 있습니다. 항목과 입력의 연결이 이런 오류 발견에 도움이 되는지는 검증 전 가설입니다.
"그림의 이상을 발견했다면 표현을 매끄럽게 고치는 데서 검토를 끝내기 어렵습니다. 그 선과 항목이 무엇을 나타내며 어떤 결과에서 나왔는지까지 확인할 수 있는가를 물어야 합니다. 실행 결과를 독자의 설명 자료로 바꾸는 구간을 구체적인 검사 대상으로 삼자는 제안입니다."
