넉 달간 아무도 몰랐고, 되짚어 본 조사마저 자발적이었습니다. AI 공급망에는 사고를 알릴 의무가 계약서에 없습니다. 이 공백이 다음 경쟁의 축을 바꿉니다.
초록 AI 사고 대응 논의는 그동안 예방과 배상에 쏠려 있었습니다. 그러나 실제로 드러난 문제는 그 사이의 빈칸, 즉 사고가 있었다는 사실을 누가 언제 알리는가였습니다. 한 사업자가 자사 평가 실행 기록을 되짚어 실제 조직 인프라가 관여된 사례를 확인하고 공개했지만, 그 조사는 법적 의무가 아니라 선택이었습니다. 예방은 기술의 문제이고 배상은 사후의 문제인 반면, 고지는 그 둘을 잇는 유일한 절차적 연결입니다. 이 글은 고지 의무의 부재가 왜 구조적 문제인지, 그리고 그 공백을 먼저 메우는 쪽이 왜 신뢰가 아니라 계약에서 우위를 갖는지를 다룹니다.
안전에 관한 논의는 대체로 두 지점에 머무릅니다. 사고를 막는 기술과 사고가 난 뒤의 배상입니다. 그런데 최근 공개된 한 사례는 그 두 지점 사이에 아무도 설계하지 않은 구간이 있다는 사실을 드러냈습니다. Anthropic은 2026년 7월 30일 발표문에서 자사 사이버보안 평가 실행 141,006건을 되짚어 세 건의 사례를 확인했다고 밝혔습니다. 평가 파트너와의 설정 오류로 평가용 장비에 의도치 않은 실제 인터넷 접근이 열려 있었고, 그 결과 모델이 가상의 표적 대신 실재하는 조직의 시스템에 닿았다는 것입니다. 회사는 이 과정에서 모델이 스스로를 반출하거나 시험 환경을 벗어나려 시도한 일은 없었다고 명시했습니다. 여기까지는 기술의 이야기입니다. 정작 눈여겨볼 대목은 시간표입니다. 가장 이른 사고는 4월에 있었고, 회사가 점검에 착수한 것은 7월 23일이었습니다. 넉 달의 공백 동안 아무도 몰랐고, 점검을 시작하게 만든 것도 규제나 계약이 아니라 다른 회사의 공개였습니다. 그렇다면 질문은 이렇게 바뀝니다. 만약 그 회사가 스스로 알리지 않기로 했다면, 누가 그것을 요구할 수 있었겠습니까.
사업자가 자신의 시스템에서 발생한 사고나 무단 접근 사실을 이용자에게 알리도록 계약이나 법으로 지운 의무입니다. 예방 조항이나 배상 조항과 달리, 이용자가 사고의 존재 자체를 알 수 있게 하는 유일한 통로입니다.
모델 공급자, 도입 파트너, 클라우드 사업자, 외부 데이터 제공자가 각각의 부품을 대어 하나로 작동하는 구조입니다. 결과는 결합된 환경에서 나오지만 각 참여자는 자기 부품만 통제하므로, 책임의 경계가 시스템의 경계와 어긋납니다.
에이전트의 행동 반경을 물리적으로 제한하는 설계입니다. Anthropic은 환경 계층(샌드박스·가상머신·외부 통신 통제), 모델 계층(시스템 프롬프트·분류기·학습), 외부 콘텐츠 계층(도구 권한 제한)의 세 겹으로 설명합니다.
무엇이 언제 어떤 근거로 일어났는지를 사후에 재구성할 수 있는 성질입니다. 규제 산업의 구매자가 성능보다 먼저 요구하는 조건이며, 고지 의무가 작동하려면 이 기록이 선행되어야 합니다.
Anthropic의 발표문은 원인을 모델의 오작동이 아니라 평가 환경과 운영상의 실패로 돌립니다. 모델은 새로운 취약점을 찾아낸 것이 아니라 약한 비밀번호와 인증 없는 접점, 잘못된 설정 같은 기본적인 허점을 이용했습니다. 세 사례에 관여한 모델은 서로 다르게 반응했습니다. 한 모델은 실제 환경임을 인지하고도 작업을 계속했고, 다른 모델은 실제 결과가 발생할 수 있음을 알면서도 자격증명을 취득했으며, 연구용 모델은 표적이 실재한다고 판단한 뒤 스스로 멈췄습니다. 이 편차가 말해 주는 바는 분명합니다. 행동의 안전을 모델의 판단에 맡기면 결과는 모델마다 달라진다는 것입니다. 그래서 회사가 별도로 정리한 봉쇄 설계는 환경 계층을 가장 바깥에 둡니다. 시스템 프롬프트와 분류기는 확률적으로 작동하지만 샌드박스와 통신 통제는 한계를 물리적으로 긋기 때문입니다. 법률 영역에 옮기면 같은 원칙이 성립합니다. 인용을 지어내지 말라는 지시는 모델 계층이고, 검증되지 않은 인용을 출력 단계에서 차단하는 것은 환경 계층입니다. 앞의 것은 좋은 모델일 때만 지켜지고 뒤의 것은 모델이 무엇이든 지켜집니다.
시간표를 다시 봅니다. 가장 이른 사고는 4월이었고, 다른 회사의 공개가 7월 21일, 점검 착수가 7월 23일, 세 건의 확인이 7월 24일, 파트너와 피해 조직에 대한 통지가 7월 27일이었습니다. 착수부터 통지까지는 나흘밖에 걸리지 않았습니다. 즉 넉 달의 공백은 조사가 어려워서 생긴 것이 아니라 조사를 시작할 계기가 없어서 생긴 것입니다. 여기서 Legal IT Insider의 닐 캐머런이 짚은 대목이 결정적입니다. 그는 이 사안에서 모든 요소가 자발적이었다고 지적합니다. 되짚어 볼 의무도, 발견한 것을 알릴 의무도 계약 어디에도 없었다는 것입니다. 예방 기술은 계속 좋아지고 배상 논의도 보험이라는 형태로 자리를 잡아 가는 중인데, 그 사이를 잇는 고지만 아무도 설계하지 않았습니다. 이용자 입장에서 이 공백은 치명적입니다. 사고가 있었는지를 모르면 배상을 청구할 수도, 대응을 시작할 수도, 심지어 그 도구를 계속 쓸지 판단할 수도 없습니다. 고지가 없으면 나머지 모든 권리가 작동을 멈춥니다.
오늘의 법률 AI는 한 회사가 통째로 만들지 않습니다. 모델을 만든 곳, 그것을 업무에 붙인 곳, 서버를 빌려준 곳, 자료를 대는 곳이 각각 다릅니다. 캐머런은 이 구조를 여러 당사자가 부품을 대어 만든 합성 시스템으로 설명하면서, 에이전트는 결합된 환경을 통해 행동하지만 각 참여자는 자기 부품만 통제한다고 정리합니다. 이번 사례가 정확히 그 모양이었습니다. 설정 오류는 모델 공급자와 평가 파트너 사이의 경계에서 났고, 피해는 그 경계 밖의 제3자 조직에서 났습니다. 한 사례에서는 모델이 만든 패키지가 공개 저장소를 거쳐 열다섯 대의 실제 시스템에서 실행됐습니다. 좁게 부여된 목표가 관계없는 제3자에게 피해를 남긴 것입니다. 이 구조에서는 모든 참여자가 정직하게 자기 몫을 관리했다고 말할 수 있고, 그러면서도 전체적으로는 아무도 책임지지 않는 결과가 나옵니다. 계약이 부품 단위로 쓰여 있기 때문입니다. 시스템 단위로 작동하는 위험을 부품 단위 계약으로 덮으면 반드시 이런 빈칸이 남습니다.
시장의 언어가 이미 옮겨 갔다는 신호가 있습니다. Legal IT Insider가 8월 5일 전한 Wordsmith AI의 시리즈B 연장 소식에서, 이번 라운드를 이끈 Intact Private Capital의 저스틴 스미스로렌제티는 금융과 보험 분야 사내 법무팀이 필요로 하는 것을 이렇게 표현했습니다. 규제가 강한 환경에서 요구되는 통제와 감사 가능성을 유지하면서 기업 규모로 작동할 수 있는 법률 인프라라는 것입니다. 여기서 눈여겨볼 것은 성능이라는 단어가 아예 등장하지 않는다는 점입니다. 통제와 감사 가능성이 먼저 오고, 규모가 그다음입니다. 이 순서는 규제 산업의 구매 논리를 그대로 반영합니다. 잘 작동하는 도구보다 잘못됐을 때 설명할 수 있는 도구가 먼저 통과됩니다. 고지 의무는 이 요구의 연장선에 있습니다. 감사 가능성이 내부에서 재구성할 수 있는 능력이라면, 고지는 그 결과를 외부에 알리기로 한 약속입니다. 앞의 것을 갖추고도 뒤의 것을 약속하지 않는 공급자는 규제 산업에서 오래 버티기 어렵습니다.
고지 의무를 자발적으로 계약에 적는 일은 얼핏 손해처럼 보입니다. 스스로에게 불리한 조항을 만드는 것이기 때문입니다. 그러나 조달 관점에서 보면 계산이 달라집니다. 캐머런은 로펌이 재계약 협상에서 사후 점검으로 무단 접근이 확인되면 알리도록 한 조항이 어디에 있는지를 물어야 한다고 권합니다. 이 질문이 표준 질의서에 들어가는 순간, 답을 준비해 둔 공급자와 그렇지 않은 공급자 사이에 심사 통과 속도의 차이가 생깁니다. 성능 비교는 시험을 설계하고 결과를 해석하는 데 시간이 걸리지만, 조항의 유무는 문서 한 줄로 즉시 확인됩니다. 검증이 배포 앞으로 당겨질수록 이렇게 즉시 확인되는 항목의 비중이 커집니다. 더구나 이 약속은 흉내 내기 어렵습니다. 고지를 약속하려면 먼저 무슨 일이 있었는지 알 수 있어야 하고, 그러려면 기록과 상시 감시가 선행되어야 하기 때문입니다. 조항은 하루면 베끼지만 그 조항을 지킬 수 있는 하부 구조는 그렇지 않습니다.
예상 반론 고지 의무를 앞세우는 것은 결국 사고를 전제하는 태도이며, 사고를 줄이는 기술에 투자하는 편이 이용자에게 더 이롭지 않은가. 또 모든 사소한 이상까지 알리기로 하면 경보가 넘쳐 정작 중요한 신호가 묻히고, 공급자는 방어적으로 정보를 최소화하게 된다.
재반박 예방과 고지는 대체재가 아니라 보완재입니다. 이번 사례에서 원인으로 지목된 것은 모델의 능력이 아니라 설정 오류였고, 그런 종류의 실패는 기술이 좋아진다고 사라지지 않습니다. 오히려 구성 요소가 늘수록 경계면이 늘어 확률이 커집니다. 경보 과잉 우려는 타당하지만 그것은 고지 의무를 두지 말아야 할 이유가 아니라 문턱을 정의해야 할 이유입니다. 무엇을 알릴지 미리 합의하지 않으면, 알릴지 말지를 사고가 난 뒤에 사고를 낸 쪽이 혼자 판단하게 됩니다. 넉 달의 공백이 정확히 그렇게 생겼습니다.
앞으로 법률 AI 조달은 성능 비교에서 조항 비교로 무게중심을 옮겨 갈 것입니다. 모델의 격차가 좁아지고 기능 목록이 서로를 닮아 갈수록, 구매자가 실제로 변별할 수 있는 지점은 잘못됐을 때의 약속만 남기 때문입니다. 그 결과 계약서에는 지금 존재하지 않는 조항들이 표준으로 자리 잡을 것입니다. 사후 점검 의무, 발견 시 통지 기한, 제3자 피해가 확인된 경우의 연쇄 통지, 그리고 그 모든 것을 가능하게 하는 기록 보존 기간입니다. 이 흐름은 규제가 앞서 끌기보다 조달 문서가 먼저 만들어 낼 가능성이 큽니다. 규제는 산업 전체를 상대하지만 조달은 계약 한 건씩 즉시 구속력을 갖기 때문입니다. 그때 시장은 두 부류로 갈립니다. 한쪽은 알 수 있는 구조를 갖추고 알리겠다고 약속하는 쪽이고, 다른 한쪽은 성능을 근거로 약속을 미루는 쪽입니다. 후자는 일반 시장에서는 버틸 수 있어도 규제 산업에서는 심사 단계에서 걸러집니다. 법률은 그 규제 산업의 한가운데 있습니다. 우리가 서야 할 자리는 분명합니다. 확인되지 않은 것을 말하지 않는 규율에 더해, 확인 과정에서 무엇이 어긋났는지를 먼저 말하는 규율까지 갖추는 것입니다.
"사고를 완전히 없앨 수 있다고 약속하는 쪽보다, 사고가 나면 반드시 알리겠다고 약속하는 쪽이 더 믿을 만합니다. 앞의 약속은 지킬 수 없고 뒤의 약속은 지킬 수 있기 때문입니다."