AI가 만들었다고 알려 줄 의무
화면에 뜬 글과 그림이 사람이 만든 것인지 묻고 싶을 때가 있습니다. 물어보지 않아도 알려 주게 되어 있는 구간이 법에 생겼습니다. 그 의무가 어디서 시작하고 어디서 멈추는지 조문으로 정리했습니다.
이 주제로 한빛 리더에게 1:1 질문하기물어보기 전에 알려 주게 되어 있습니다
상담 창구에서 답이 너무 빨리 돌아오거나, 뉴스에서 본 영상이 어딘가 매끄러울 때 드는 생각이 있습니다. 이거 사람이 만든 게 맞나. 예전에는 물어볼 곳이 마땅치 않았습니다. 지금은 다릅니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조는 인공지능사업자에게 세 가지 의무를 나누어 지웁니다. 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려면 그 사실을 이용자에게, 쓰기 전에 미리 고지해야 하고, 생성형 인공지능이 만든 결과물에는 그 사실을 표시해야 하며, 실제와 구분하기 어려운 가상의 음향·이미지·영상 등을 제공할 때는 이용자가 명확하게 인식할 수 있는 방식으로 고지하거나 표시해야 합니다. 세 항이 왜 따로 적혀 있는지, 그리고 지키지 않았을 때 무엇이 따라오는지가 이 글의 내용입니다. 미리 말해 두면, 세 항의 결과가 서로 다릅니다. 하나는 곧바로 과태료로 이어지고 둘은 조사와 명령을 먼저 거칩니다. 그 차이를 알면 무엇을 요구할 수 있는지도 달라집니다.
핵심 용어 정리
생성형 인공지능
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제2조 제5호가 정의한 말로, 입력한 데이터의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템을 말합니다. 여기서 말하는 데이터는 데이터 산업진흥 및 이용촉진에 관한 기본법 제2조 제1호의 데이터, 즉 관찰·실험·조사·수집 등으로 취득하거나 정보시스템·소프트웨어 등을 통하여 생성된 것으로서 광 또는 전자적 방식으로 처리될 수 있는 자료 또는 정보입니다. 정의가 결과물의 종류를 글과 그림으로 한정하지 않는다는 점이 뒤의 표시 의무 범위를 넓게 만듭니다.
고영향 인공지능
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제2조 제4호가 정의한 말로, 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 열거된 영역에서 활용되는 것을 말합니다. 에너지의 공급, 먹는물의 생산 공정, 보건의료의 제공 및 이용체계, 의료기기와 디지털의료기기의 개발·이용, 핵물질과 원자력시설의 관리·운영, 범죄 수사나 체포 업무를 위한 생체인식정보의 분석·활용, 채용과 대출 심사 등 개인의 권리·의무 관계에 중대한 영향을 미치는 판단 또는 평가, 교통수단·교통시설·교통체계의 주요한 작동 및 운영, 국가기관등의 의사결정, 유아교육·초등교육 및 중등교육에서의 학생 평가가 열거되어 있고, 마지막 목이 대통령령으로 정하는 영역을 열어 둡니다.
인공지능사업자
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제2조 제7호가 정의한 말로, 인공지능산업과 관련된 사업을 하는 법인·단체·개인 및 국가기관등을 말하며 두 갈래로 나뉩니다. 인공지능을 개발하여 제공하는 인공지능개발사업자와, 그 사업자가 제공한 인공지능을 이용하여 제품이나 서비스를 제공하는 인공지능이용사업자입니다. 표시와 고지 의무는 이 두 갈래 모두에게 걸립니다. 모델을 직접 만들지 않고 남의 모델을 붙여 서비스하는 쪽도 의무의 수범자라는 뜻입니다.
영향받는 자
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제2조 제9호가 정의한 말로, 인공지능제품 또는 인공지능서비스에 의하여 자신의 생명, 신체의 안전 및 기본권에 중대한 영향을 받는 자를 말합니다. 같은 조 제8호의 '이용자' 와 구별되는 개념입니다. 서비스를 직접 쓰는 사람만이 아니라 그 결과의 영향을 받는 사람을 법이 따로 이름 지어 두었다는 점에서, 채용 심사나 학생 평가처럼 대상자가 서비스의 고객이 아닌 국면을 염두에 둔 정의입니다.
심층 분석
투명성 의무를 한 덩어리로 읽으면 실제로 무엇을 요구할 수 있는지가 흐려집니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조는 세 항으로 나뉘어 있고, 대상과 시점과 방식이 항마다 다릅니다. 그리고 어겼을 때의 결과도 같지 않습니다. 순서대로 봅니다. 첫째, 사전고지입니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제1항은 인공지능사업자가 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우, 그 제품 또는 서비스가 해당 인공지능에 기반하여 운용된다는 사실을 이용자에게 사전에 고지하도록 합니다. 시점이 '사전' 이라는 점이 핵심입니다. 다 쓰고 난 뒤에 알리는 것은 이 항의 이행이 아닙니다. 그리고 이 항만이 곧바로 제재로 이어집니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조 제1항 제1호는 제31조 제1항을 위반하여 고지를 이행하지 아니한 자에게 3천만원 이하의 과태료를 부과하도록 정합니다. 둘째, 결과물 표시입니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제2항은 생성형 인공지능 또는 이를 이용한 제품·서비스를 제공하는 경우 그 결과물이 생성형 인공지능에 의하여 생성되었다는 사실을 표시하도록 합니다. 제1항이 '서비스가 인공지능 기반이다' 를 알리는 것이라면 제2항은 '이 결과물이 그렇게 만들어졌다' 를 결과물 자체에 붙이는 것입니다. 서비스 안내문에 한 줄 적어 두는 것으로 제2항까지 이행되지는 않는다는 뜻입니다. 셋째, 실제와 구분하기 어려운 결과물입니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제3항은 인공지능시스템을 이용하여 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등의 결과물을 제공하는 경우, 그 결과물이 인공지능시스템에 의하여 생성되었다는 사실을 이용자가 명확하게 인식할 수 있는 방식으로 고지하거나 표시하도록 합니다. 여기에는 조건이 하나 더 붙어 있습니다. 같은 항 후단은 결과물이 예술적·창의적 표현물에 해당하거나 그 일부를 구성하는 경우에는 전시 또는 향유 등을 저해하지 아니하는 방식으로 고지 또는 표시할 수 있다고 정합니다. 표시를 면제한 것이 아니라 방식을 달리할 수 있게 한 것입니다. 같은 조 제4항은 사전고지와 표시의 구체적인 방법과 그 예외를 대통령령으로 넘기고 있으므로, 화면 어디에 어떤 형태로 붙어야 하는지는 시행령에서 정해집니다. 여기서 실무적으로 가장 자주 놓치는 지점이 결과의 비대칭입니다. 과태료 조문인 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조 제1항은 제31조 제1항 위반과 국내대리인 미지정, 그리고 중지명령·시정명령 불이행을 열거할 뿐이고 제31조 제2항·제3항 위반 자체는 열거하고 있지 않습니다. 그러면 표시를 안 해도 되는 것이냐 하면 그렇지 않습니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제40조 제1항은 제31조 제2항·제3항, 제32조 제1항·제2항 또는 제34조 제1항에 위반되는 사항을 발견하거나 혐의가 있음을 알게 된 경우, 또는 그 위반에 대한 신고를 받거나 민원이 접수된 경우에 자료 제출을 명하거나 소속 공무원으로 하여금 조사하게 할 수 있도록 하고, 같은 조 제3항은 조사 결과 위반 사실이 인정되면 위반행위의 중지나 시정을 위하여 필요한 조치를 명할 수 있게 합니다. 그리고 그 명령을 이행하지 않으면 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조 제1항 제3호에 따라 3천만원 이하의 과태료 대상이 됩니다. 즉 표시 의무는 '신고 → 조사 → 명령 → 불이행 시 과태료' 의 경로를 탑니다. 개인이 할 수 있는 일이 여기서 분명해집니다. 신고와 민원이 조사의 발동 사유로 조문에 적혀 있습니다. 고영향 인공지능 쪽에는 한 겹이 더 있습니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제33조 제1항은 인공지능사업자가 자신의 인공지능이 고영향 인공지능에 해당하는지 사전에 검토하도록 하고, 필요하면 확인을 요청할 수 있게 합니다. 해당한다면 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제34조 제1항이 여섯 가지 조치를 요구합니다. 위험관리방안의 수립·운영, 기술적으로 가능한 범위에서 최종결과와 그 도출에 활용된 주요 기준 및 개발·활용에 사용된 학습용데이터의 개요 등에 대한 설명 방안의 수립·시행, 이용자 보호 방안의 수립·운영, 사람의 관리·감독, 조치 내용을 확인할 수 있는 문서의 작성과 보관, 그리고 위원회에서 심의·의결된 사항입니다. '왜 이런 결과가 나왔는지 설명해 달라' 는 요구가 조문에 근거를 갖는 자리가 두 번째 항목입니다. 다만 문언이 '기술적으로 가능한 범위에서' 이고 '설명 방안의 수립·시행' 이라는 점은 정확히 읽어야 합니다. 개별 결정마다 완전한 설명을 받을 권리를 곧바로 도출하기는 어렵고, 사업자가 설명 방안을 갖추고 시행하도록 하는 구조입니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제35조 제1항의 영향평가도 마찬가지로 '노력하여야 한다' 로 되어 있고, 같은 조 제2항은 국가기관등이 고영향 인공지능을 이용하려는 경우 영향평가를 실시한 제품 또는 서비스를 우선적으로 고려하도록 정합니다. 의무가 아니라 조달에서의 우대라는 형식으로 실효를 만드는 방식입니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제30조 제3항과 제4항이 검증·인증에 대해 같은 구조를 쓰고 있습니다. 마지막으로 국외 사업자입니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제4조 제1항은 국외에서 이루어진 행위라도 국내 시장 또는 이용자에게 영향을 미치는 경우에는 이 법을 적용한다고 정합니다. 그리고 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제36조 제1항은 국내에 주소나 영업소가 없는 인공지능사업자 중 대통령령으로 정하는 기준에 해당하는 자에게 국내대리인을 서면으로 지정해 신고하도록 하며, 같은 조 제3항은 국내대리인이 그 사항과 관련하여 이 법을 위반한 경우 그를 지정한 인공지능사업자가 그 행위를 한 것으로 본다고 정합니다. 해외 서비스라는 이유로 닿지 않는 구조가 아니라는 뜻입니다.
절차 안내
1단계 · 서비스 화면과 약관에서 사전고지가 있었는지 확인한다
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제1항은 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우 그 사실을 이용자에게 사전에 고지하도록 정합니다. 시점이 '사전' 이므로 이용을 마친 뒤에 안내되었다면 이 항의 이행으로 보기 어렵습니다. 이 항의 위반은 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조 제1항 제1호에 따라 곧바로 3천만원 이하의 과태료 대상이므로, 세 항 가운데 가장 다투기 쉬운 자리입니다.
2단계 · 결과물 자체에 표시가 붙어 있는지 따로 본다
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제2항은 생성형 인공지능이 만든 결과물에 그 사실을 표시하도록 하고, 같은 조 제3항은 실제와 구분하기 어려운 가상의 음향·이미지·영상 등에 대하여 이용자가 명확하게 인식할 수 있는 방식의 고지 또는 표시를 요구합니다. 서비스 안내에 인공지능을 쓴다고 적혀 있어도 결과물에 표시가 없다면 두 항은 별도로 문제 됩니다. 다만 같은 조 제3항 후단은 예술적·창의적 표현물에 해당하거나 그 일부를 구성하는 경우 전시나 향유를 저해하지 않는 방식으로 할 수 있게 열어 두었습니다.
3단계 · 그 인공지능이 고영향에 해당하는지 열거 영역과 맞춰 본다
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제2조 제4호는 고영향 인공지능이 활용되는 영역을 열거합니다. 채용이나 대출 심사처럼 개인의 권리·의무 관계에 중대한 영향을 미치는 판단 또는 평가, 유아교육·초등교육 및 중등교육에서의 학생 평가, 국가기관등의 의사결정, 범죄 수사나 체포 업무를 위한 생체인식정보의 분석·활용 등이 여기 들어갑니다. 해당한다면 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제34조 제1항의 조치들이 함께 걸리고, 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제33조 제1항은 사업자가 그 해당 여부를 사전에 검토하도록 정하고 있으므로 '검토했는가' 자체가 물어볼 수 있는 사실이 됩니다.
4단계 · 설명을 요구할 때는 조문의 문언에 맞춰 요구한다
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제34조 제1항 제2호는 기술적으로 가능한 범위에서 인공지능이 도출한 최종결과, 그 도출에 활용된 주요 기준, 개발·활용에 사용된 학습용데이터의 개요 등에 대한 설명 방안을 수립·시행하도록 정합니다. 같은 항 제5호는 조치의 내용을 확인할 수 있는 문서의 작성과 보관을 요구합니다. 그러므로 '이 결정의 전 과정을 공개하라' 보다 '설명 방안이 무엇이고 그 방안에 따라 무엇을 설명받을 수 있는가' 로 묻는 편이 조문에 맞고 실제로 답을 받기도 쉽습니다.
5단계 · 표시가 없다면 신고·민원으로 조사를 발동시킨다
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제40조 제1항 제2호는 제31조 제2항·제3항, 제32조 제1항·제2항 또는 제34조 제1항의 위반에 대한 신고를 받거나 민원이 접수된 경우를 조사의 발동 사유로 명시합니다. 같은 조 제3항은 조사 결과 위반이 인정되면 중지나 시정을 위하여 필요한 조치를 명할 수 있게 하고, 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조 제1항 제3호는 그 명령을 이행하지 아니한 자에게 3천만원 이하의 과태료를 정합니다. 화면과 시각을 남겨 두는 것이 이 경로의 출발점입니다. 상대가 해외 사업자여도 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제4조 제1항이 국내 시장 또는 이용자에게 영향을 미치는 국외 행위에 이 법을 적용하도록 하고 있습니다.
핵심 법령
아래 법령 조문은 게시 전 국가법령정보센터(law.go.kr)와 실시간 대조하여 실존을 확인했습니다.
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조
인공지능 투명성 확보 의무. 고영향·생성형 인공지능 기반 서비스의 사전고지, 생성형 인공지능 결과물의 표시, 실제와 구분하기 어려운 음향·이미지·영상의 명확한 고지 또는 표시를 세 항으로 나누어 정합니다.
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제34조
고영향 인공지능과 관련한 사업자의 책무. 위험관리방안, 최종결과와 주요 기준 및 학습용데이터 개요에 대한 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 조치 내용을 확인할 수 있는 문서의 작성·보관을 요구합니다.
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제40조
사실조사 등. 표시 의무 등의 위반을 발견하거나 신고·민원이 접수된 경우 자료 제출 요구와 현장 조사를 가능하게 하고, 위반이 인정되면 중지나 시정을 위하여 필요한 조치를 명할 수 있게 합니다.
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조
과태료. 사전고지 미이행, 국내대리인 미지정, 중지명령·시정명령 불이행에 대하여 3천만원 이하의 과태료를 정합니다. 표시 의무 위반 자체는 여기에 열거되어 있지 않다는 점이 함께 읽어야 할 대목입니다.
실무 주의사항
- 세 항의 결과가 같지 않습니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조 제1항이 열거하는 것은 제31조 제1항 위반, 국내대리인 미지정, 그리고 중지명령·시정명령 불이행입니다. 제31조 제2항·제3항의 표시 의무 위반은 여기에 없고, 대신 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제40조 제1항이 그 위반을 조사 사유로 잡아 같은 조 제3항의 명령으로 이어집니다. 표시가 없다는 사실만으로 곧바로 과태료를 기대하면 어긋나고, 신고와 민원이 조사를 여는 자리라는 점을 알고 움직이는 편이 정확합니다.
- 설명을 받을 권리로 곧바로 읽으면 어긋납니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제34조 제1항 제2호의 문언은 '기술적으로 가능한 범위에서' 의 '설명 방안의 수립·시행' 이고, 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제35조 제1항의 영향평가도 '노력하여야 한다' 입니다. 개별 결정마다 완전한 설명을 청구할 수 있는 구조는 아닙니다. 실제로 요구할 수 있는 것은 설명 방안의 존재와 내용, 그리고 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제34조 제1항 제5호가 요구하는 문서의 작성·보관 여부입니다.
- 예술적·창의적 표현물은 표시가 면제된 것이 아닙니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제3항 후단은 결과물이 예술적·창의적 표현물에 해당하거나 그 일부를 구성하는 경우 전시 또는 향유 등을 저해하지 아니하는 방식으로 고지 또는 표시할 수 있다고 정합니다. 방식을 달리할 수 있다는 것이지 하지 않아도 된다는 뜻이 아닙니다. 구체적인 방법과 예외는 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제4항이 대통령령으로 넘기고 있습니다.
자주 묻는 질문
챗봇이 사람인 척했습니다. 문제가 되나요?
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제1항은 인공지능사업자가 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우, 그 제품 또는 서비스가 해당 인공지능에 기반하여 운용된다는 사실을 이용자에게 사전에 고지하도록 정합니다. 사람인 척했는지와 무관하게 '사전에 알렸는가' 가 판단의 축입니다. 이 항의 위반은 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조 제1항 제1호에 따라 3천만원 이하의 과태료 대상이고, 부과·징수 절차는 같은 조 제2항이 정합니다.
AI로 만든 영상에 표시가 없습니다. 어디에 알리나요?
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조 제3항은 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등의 결과물에 대하여 이용자가 명확하게 인식할 수 있는 방식의 고지 또는 표시를 요구합니다. 이 항의 위반은 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제40조 제1항 제2호가 신고나 민원 접수를 조사 사유로 명시하고 있으므로 신고가 실제로 절차를 여는 행위가 됩니다. 조사 결과 위반이 인정되면 같은 조 제3항에 따라 중지나 시정 조치가 명해지고, 그 명령을 이행하지 않으면 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조 제1항 제3호의 과태료가 따릅니다. 화면과 시각을 남겨 두는 것이 먼저입니다.
채용 심사에 AI를 썼다는데, 무엇을 요구할 수 있나요?
채용이나 대출 심사처럼 개인의 권리·의무 관계에 중대한 영향을 미치는 판단 또는 평가는 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제2조 제4호 사목이 고영향 인공지능의 영역으로 열거한 자리입니다. 해당한다면 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제34조 제1항이 위험관리방안의 수립·운영, 최종결과와 그 도출에 활용된 주요 기준 및 학습용데이터 개요 등에 대한 설명 방안의 수립·시행, 이용자 보호 방안, 사람의 관리·감독, 조치 내용을 확인할 수 있는 문서의 작성·보관을 요구합니다. 요구의 형태는 '설명 방안이 무엇인가' 와 '그 방안에 따라 무엇을 설명받을 수 있는가' 입니다.
해외 서비스인데도 우리 법이 적용되나요?
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제4조 제1항은 국외에서 이루어진 행위라도 국내 시장 또는 이용자에게 영향을 미치는 경우에는 이 법을 적용한다고 정합니다. 다만 같은 조 제2항은 국방 또는 국가안보 목적으로만 개발·이용되는 인공지능으로서 대통령령으로 정하는 것을 적용에서 제외합니다. 창구도 마련되어 있습니다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제36조 제1항은 국내에 주소나 영업소가 없는 사업자 중 대통령령으로 정하는 기준에 해당하는 자에게 국내대리인을 서면으로 지정해 신고하도록 하고, 같은 조 제3항은 국내대리인의 위반을 지정한 사업자의 행위로 봅니다.
'인증받은 AI' 라는 광고를 봤습니다. 믿어도 되나요?
인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제30조 제1항은 단체 등이 자율적으로 추진하는 검증·인증 활동을 지원하는 사업의 근거를 두고 있을 뿐, 인증을 받아야만 서비스할 수 있게 한 조문이 아닙니다. 같은 조 제3항은 고영향 인공지능을 제공하는 사업자가 사전에 검증·인증을 받도록 '노력하여야 한다' 고 정하고, 같은 조 제4항은 국가기관등이 고영향 인공지능을 이용하려는 경우 검증·인증을 받은 제품 또는 서비스를 우선적으로 고려하도록 합니다. 즉 자율 인증이고, 어떤 기관이 무엇을 확인했는지를 따로 확인해야 의미가 있습니다.