공개했다고 쓸 수 있는 것은 아니다: 공공 데이터를 AI 가 쓰게 하는 조건
공적 자금 연구 성과를 AI 가 쓸 수 있는 형식으로 공개하자는 Project ProtoStar 를 원문 그대로 정리하고, 법령·판례 같은 공공 법률 데이터를 AI 가 제대로 쓰려면 무엇이 갖춰져야 하는지 가설로 살펴봅니다.
초록 Hugging Face 는 2026년 10월 29일 블로그에서 공적 자금으로 만든 과학 연구의 데이터셋·모델·코드를 AI 가 쓰기 쉬운 형식으로 공개하자는 Project ProtoStar 를 발표했습니다. 카네기멜런·퍼듀·조지아공대·애리조나주립·조지워싱턴 대학이 대학 연합으로, Astera Institute 와 ORCA 가 함께하고 Hugging Face 가 인프라를 맡습니다. 글은 공개된 연구가 곧바로 쓸 수 있는 연구는 아니라고 짚습니다. 자료가 서로 맞지 않는 시스템과 낡은 형식에 흩어져 있고, 이해와 재사용에 필요한 문서·메타데이터·출처 정보 없이 공개되는 경우가 많다는 것입니다. 이 칼럼은 그 진단을 정리하고, 법령·판례 같은 공공 법률 데이터를 AI 가 제대로 쓰려면 무엇이 필요한지를 가설로 살펴봅니다.
공공 데이터는 공개되는 것만으로 충분할까요. ProtoStar 를 소개한 글의 답은 '아니다'입니다. 미국 연방정부는 해마다 약 1,900억 달러를 연구개발에 쓰고, 국립보건원(NIH)과 국립과학재단(NSF)은 연구 결과와 데이터 공유 요건을 강화해 왔습니다. 그런데 공개된 자료가 흩어져 있거나 설명 없이 놓여 있으면 연구자도, AI 도 그것을 찾고 해석하고 조합하기 어렵습니다. 법률 AI 도 같은 질문을 피할 수 없습니다. 법령과 판례는 공개돼 있지만, AI 가 그것을 근거로 쓰려면 어떤 형태로 닿을 수 있어야 하는지가 따로 문제됩니다.
핵심 기술 개념
AI 활용 가능 형식 (AI-Ready Format)
사람이 읽는 문서가 아니라 기계가 찾고 읽고 조합할 수 있는 형태로 데이터·모델·코드를 공개하는 것을 말합니다. 원문은 이를 '기계가 다룰 수 있는(machine-actionable) 형식'이라고도 부릅니다.
출처 정보 (Provenance)
자료가 어디서 왔고 어떻게 만들어졌는지에 관한 정보입니다. 원문은 문서·메타데이터와 함께 출처 정보가 빠지면 자료를 이해하고 재사용하기 어렵다고 짚었습니다.
단순 기준선 (Simple Baseline)
새 방법의 성능을 비교할 때 쓰는 간단한 방법입니다. ProtoStar 의 첫 과제는 AI 예측을 과거 평균이나 선형 추세 같은 단순한 통계 기준선과 비교해 실제로 나은지를 봅니다.
기술 심층 분석
공개와 사용 가능은 다르다
원문은 공개가 곧 사용 가능을 뜻하지 않는다는 점을 진단의 중심에 둡니다. 과학 데이터셋·모델·코드는 서로 호환되지 않는 시스템에 흩어져 있거나, 정적이거나 낡은 형식으로 저장되거나, 이해와 재사용에 필요한 문서·메타데이터·출처 정보 없이 공개되는 경우가 많다고 합니다. 그 결과 연구자는 기존 성과 위에 쌓기 어렵고, AI 시스템은 분야를 넘나들며 자료를 찾고 해석하고 조합하기가 더 어렵다는 것입니다. ProtoStar 는 이 간극을 줄이려고 참여 기관이 적합한 자료를 AI 활용 가능 형식으로 열린 인프라에 공개하도록 양해각서로 약속하고, 실무 공개 지침을 함께 제공한다고 밝혔습니다.
문서화가 쓰임을 정한다
원문이 든 수치 가운데 눈에 띄는 것은 Hugging Face 의 데이터셋 다운로드 90% 가 문서화가 완전한 데이터셋에서 나온다는 대목입니다. 같은 자료라도 설명이 붙어 있어야 실제로 쓰인다는 뜻입니다. 원문은 또 Hugging Face 에 생물·화학·기후·천문 등 핵심 과학 분야의 공개 데이터셋이 1만 7,000건 넘게 있고, 의학과 수학까지 넣으면 2만 9,000건에 가깝다고 했습니다. 미국 국립생물정보센터(NCBI)의 저장소 18개는 1,100만 회 넘게, NASA IMPACT 의 저장소 27개는 약 77만 회 내려받혔다고 합니다(2026년 10월 26일 기준).
재사용을 실제로 시험하는 방식
ProtoStar 는 공개에서 멈추지 않고 열린 과제로 재사용을 시험하겠다고 합니다. 첫 과제는 카네기멜런대가 11월 2일부터 13일까지 여는 기후 위험 예측입니다. 참가자는 미국 210개 도시의 기상 기록 가운데 2018년까지를 써서 2019년부터 2026년까지의 실제 기후를 예측하고, 그 결과를 과거 평균과 선형 추세 같은 단순한 통계 기준선과 비교받습니다. 2019~2026년 실제 관측 기록과 비교하며, 2026년 기록이 모두 나온 뒤 2027년 초 최종 결과를 발표하는 설계입니다. 원문은 과제의 목표가 재사용 사례를 만드는 것과 함께, 재사용을 막는 기술 장벽·문서 공백·호환성 문제를 찾는 데 있다고 밝혔습니다. 예측 성적은 공개 리더보드에서 기준선 대비 오차로 매기고, 2026년 기상 기록이 모두 나오는 2027년 초에 최종 결과를 발표한다고 합니다.
법률 데이터로 옮기면 — 가설
원문은 과학 데이터를 다루고 법률 데이터를 다루지 않으므로, 여기서부터는 가설입니다. 법령과 판례도 공개돼 있지만, AI 가 근거로 쓰려면 기계가 읽을 수 있는 경로와 함께 시행일·개정 이력·출처 같은 정보가 붙어 있어야 합니다. 같은 조문이라도 어느 시점의 문언인지 알 수 없으면, AI 는 폐지되거나 바뀐 조문을 현행처럼 인용할 수 있습니다. 원문의 첫 과제가 AI 예측을 단순 기준선과 비교하듯, 법률 AI 도 근거 찾기를 단순한 검색과 비교해 실제로 나은지를 재 보는 것이 공정한 평가가 될 수 있습니다. 이것이 오류를 얼마나 줄이는지는 측정해 봐야 합니다. 그리고 AI 가 근거로 쓴 원문이 어느 시점의 것인지 답변에 함께 밝혀 두면, 이용자가 그 조문이 지금도 유효한지 스스로 확인할 수 있습니다.
기술적 트레이드오프
긴장 관계 자료를 AI 활용 가능 형식으로 정리하고 문서와 출처 정보를 붙이는 데에는 비용과 시간이 들고, 원래 형식을 보존하는 일과 기계가 읽기 쉽게 바꾸는 일 사이에서 고를 일이 생깁니다.
실무적 해소 원문은 공개 기관이 기존의 공개 의무를 지키면서 공개하는 성과의 과학적 가치를 높이는 쪽으로 이 비용을 설명합니다. 원래 자료와 분야별 저장소의 중요성은 인정하면서, 그 위에 기계가 읽을 수 있는 사본과 설명을 더하는 방식입니다. 법률 데이터에서도 원문은 그대로 두고 시행일과 출처를 붙인 읽기 경로를 더하는 쪽이 현실적일 수 있습니다.
이 주장이 틀리는 조건
반증 조건 문서화 수준이 서로 다른 자료를 놓고 재사용 정도나 AI 결과의 정확도를 비교했는데 뚜렷한 차이가 없다면, 이 글의 진단은 힘을 잃습니다. 법률 쪽에서도 시행일·개정 이력 같은 정보 없이 원문만 줘도 AI 가 폐지되거나 바뀐 조문을 현행처럼 인용하는 일이 드물다는 측정이 쌓인다면, 그런 정보를 붙이는 비용이 값어치를 하는지 다시 따져야 합니다. 두 비교 모두 같은 질문과 같은 평가 기준으로 해야 의미가 있습니다.
법마디 OS에 적용한다면
법마디 OS 는 관리형 API 로 범용 언어 모델을 쓰고, 답변 속 조문·판례 인용을 국가법령정보센터(law.go.kr) 원문과 대조해 확인되지 않은 인용은 내보내지 않도록 설계했습니다. 이 대조는 공공 법률 데이터에 기계가 닿을 수 있어야 가능합니다. 실제로 11월 7일부터 9일까지 콘텐츠 자동 생성 작업이 돌던 클라우드 환경에서 law.go.kr 에 닿지 못한 날에는, 원문 대조를 하지 못한 종을 발행하지 않거나 원문에 닿는 다른 환경에서 다시 만들었습니다. 공공 데이터가 공개돼 있어도 거기에 닿는 경로가 끊기면 확인할 수 없다는 점을, 원문의 '공개와 사용 가능은 다르다'는 진단과 같은 쪽에서 겪은 셈입니다.
기술적 함의
- 공개된 데이터가 곧 쓸 수 있는 데이터는 아니다. 문서·메타데이터·출처 정보와 기계 판독 형식이 함께 있어야 재사용된다.
- Hugging Face 데이터셋 다운로드의 90% 는 문서화가 완전한 데이터셋에서 나온다. 설명이 쓰임을 정한다.
- 법률 AI 도 시행일·개정 이력이 붙은 원문에 닿아야 현행 법을 인용할 수 있다. 근거 찾기를 단순 검색과 비교해 보는 평가는 시험해 볼 만한 가설이다.
"공공 데이터의 값어치는 공개 그 자체보다, 기계가 찾고 이해하고 확인할 수 있는 형태로 닿는지에서 정해집니다."
