출력이 행동이 되는 문턱을 먼저 적는다
NIST 의 사이버보안 AI 프로파일 초안을 따라, AI 출력을 그대로 실행할 자리와 사람 검토 뒤로 미룰 자리를 미리 갈라 두어야 하는 이유를 다룹니다.
초록 NIST 는 2025년 12월 사이버보안 프레임워크 2.0 위에 AI 를 얹은 프로파일 초안(NIST IR 8596)을 내놓았습니다. 초안은 AI 를 세 자리에 세웁니다. 지켜야 할 시스템, 방어에 쓰는 도구, 공격자가 쓰는 무기입니다. 이 칼럼이 주목하는 것은 두 번째 자리입니다. 초안은 방어에 쓰는 AI 를 권하면서도, 그 출력이 행동으로 이어지기 전에 믿고 움직여도 될 만큼 신뢰할 수 있는지를 가르는 신뢰 문턱과 사람의 점검을 두라고 적었습니다. 사고 통지를 자동으로 보낼 때와 사람 검토를 먼저 거칠 때를 가르는 기준도 미리 세우라고 했습니다. 이 칼럼은 그 문턱을 법률 AI 의 인용 검증으로 옮겨, 어느 판정은 자동으로 막고 어느 판정은 사람에게 넘길지를 무엇이 정해야 하는지 살펴봅니다.
보안 운영팀에 AI 를 들이는 이유는 분명합니다. 하루에 쏟아지는 경보를 사람이 다 읽을 수 없으니, 진짜 위협과 잡음을 가르고 가장 심각한 것부터 올려 주는 일을 기계에 맡기는 것입니다. 그런데 같은 출력이 어디로 흘러가느냐에 따라 위험은 전혀 달라집니다. 경보의 순서를 바꾸는 데 쓰이면 틀려도 사람이 한 번 더 봅니다. 계정을 잠그거나 외부에 사고를 통지하는 데 곧바로 쓰이면, 틀린 출력이 곧 틀린 행동이 됩니다. NIST 의 사이버보안 AI 프로파일 초안은 이 차이를 출력의 품질 문제가 아니라 문턱의 문제로 다룹니다. 출력이 얼마나 좋은가와 별개로, 그 출력이 어느 선을 넘으면 행동이 되는지를 조직이 미리 적어 두라는 것입니다. 법률 AI 에서도 같은 질문이 나옵니다. 인용 대조 결과 가운데 어느 것이 발행을 막고, 어느 것이 사람에게 넘어가야 합니까.
핵심 기술 개념
사이버보안 AI 프로파일(Cyber AI Profile, NIST IR 8596)
NIST 사이버보안 프레임워크 2.0 의 기능·범주·하위범주 체계를 그대로 쓰면서, AI 와 관련된 사이버보안 위험을 다루는 우선순위와 고려사항을 덧붙인 공동체 프로파일입니다. 2025년 12월 16일 예비 초안이 공개됐고, 기존 프레임워크를 대체하지 않는다고 스스로 밝힙니다.
초점 영역(Secure·Defend·Thwart)
초안이 AI 와 사이버보안의 교차를 정리한 세 갈래입니다. Secure 는 조직에 들인 AI 시스템을 지키는 일, Defend 는 AI 로 방어 업무를 돕는 일, Thwart 는 공격자가 쓰는 AI 에 맞서는 일입니다. 초안은 각 영역이 나머지 둘을 가능하게 한다고 적습니다.
행동 문턱(Action Threshold)
AI 출력이 사람의 확인 없이 실제 조치로 이어져도 되는 조건을 미리 정한 선입니다. 초안의 표현으로는 'AI 출력이 그에 따라 행동해도 될 만큼 신뢰할 수 있는지'를 가리키는 신뢰 문턱이며, 이 글에서는 자동 실행과 사람 검토를 가르는 경계를 뜻합니다.
기술 심층 분석
세 자리에 선 하나의 기술
NIST 는 2025년 12월 16일 사이버보안 AI 프로파일 예비 초안을 공개하고 45일 동안, 2026년 1월 30일까지 의견을 받았습니다. 보도자료(「Draft NIST Guidelines Rethink Cybersecurity for the AI Era」)에 따르면 1년에 걸친 개발 과정에 6,500명이 넘는 사람이 관심 공동체에 참여했습니다. 초안의 골격은 세 초점 영역입니다. 조직에 들인 AI 시스템을 지키는 Secure, AI 로 방어 업무를 돕는 Defend, 공격자의 AI 에 맞서는 Thwart 입니다. 초안은 이 셋이 서로 다른 각도에서 위험을 다루지만 공통점이 있고, 각 영역이 나머지 둘을 가능하게 한다고 적었습니다. AI 시스템이 잘 지켜질수록 AI 기반 방어가 그 시스템을 노리는 위협을 더 잘 찾아낸다는 것입니다. 이 구도에서 눈여겨볼 점은 같은 기술이 지킬 대상이면서 동시에 지키는 도구라는 것입니다. 방어에 쓰는 AI 도 Secure 가 다루는 AI 시스템의 하나이므로, 그 출력도 틀릴 수 있다는 전제에서 출발해야 합니다.
방어에 쓰는 AI 가 받는 단서
초안의 Defend 절은 AI 가 방어에 기여하는 장면을 넓게 늘어놓습니다. 쏟아지는 경보를 걸러 실제 위협과 잡음을 가르고, 가장 심각한 위협을 골라내며, 공격이 진행 중일 때 취할 조치를 제안하는 일입니다. 일부 팀은 여러 AI 에이전트가 공격을 함께 식별하고 대응하면서 서로를 점검하게 하는 실험도 하고 있다고 적었습니다. 그러나 같은 절은 이런 쓰임에서 새로운 위험이 생길 수 있다는 것도 함께 다루겠다고 밝히고, 조직이 그 능력이 자기 필요에 비해 충분히 성숙했는지를 계속 평가해야 한다고 덧붙입니다. 프로파일 표의 조직 맥락 항목에서는 이 단서가 더 구체적입니다. 방어 조치를 적대적 조작, 모델 표류, 환각으로부터 보호하기 위해 사람의 점검과 함께, AI 출력이 그에 따라 행동해도 될 만큼 신뢰할 수 있는지를 가리키는 신뢰 문턱을 두라는 것입니다.
자동으로 보낼 것과 먼저 읽을 것
문턱이라는 생각은 초안의 다른 행에서도 되풀이됩니다. AI 가 만든 사고 요약과 규정 준수 보고서는 분석가의 일을 덜어 주지만, 조직의 위험관리를 바꾸기 전에는 사람이 내용을 검토해야 한다고 적었습니다. 사고 대응 쪽에서는 사고 통지를 자동으로 보내도 되는 경우와 사람 검토를 먼저 거쳐야 하는 경우를 가르는 기준을 세우라고 했습니다. 훈련 항목에서는 분석가가 행동하기 전에 환각과 편향, 조작된 응답을 알아보도록 가르치라고 합니다. 세 행이 공통으로 요구하는 것은 출력의 정확도를 높이라는 것이 아닙니다. 출력과 행동 사이에 선을 긋고, 그 선이 어디에 있는지를 출력이 나오기 전에 정해 두라는 것입니다. 선이 미리 적혀 있지 않으면, 그때그때 출력이 그럴듯해 보이는지가 사실상의 기준이 됩니다.
의견 1,400건이 남긴 숙제
NIST 는 2026년 1월 두 번째 워크숍을 열고, 3월 23일 회고 글(「Reflections from the Second NIST Cyber AI Profile Workshop」)에서 워크숍과 의견 수렴 기간에 1,400건이 넘는 의견을 받았다고 밝혔습니다. 회고가 정리한 주제 가운데 둘이 오늘의 논점과 닿습니다. 하나는 사람의 개입이 현재의 AI 도입과 책임 기준에서 여전히 필수라는 것이고, 다른 하나는 AI 시스템의 성능 지표, 인증, 비교 평가를 둘러싼 공통의 난제입니다. 둘을 함께 읽으면 문턱을 정하는 일이 왜 어려운지 드러납니다. 신뢰 문턱을 세우려면 출력이 얼마나 믿을 만한지를 잴 지표가 있어야 하는데, 그 지표가 아직 공통으로 정해지지 않았습니다. 그래서 문턱은 모델의 점수에 기대기보다, 판정의 근거가 무엇이고 그 근거를 조직이 직접 확인할 수 있는지에 따라 정하는 편이 현실적입니다. 이 마지막 판단은 회고 글이 아니라 필자의 해석입니다.
기술적 트레이드오프
긴장 관계 문턱을 높게 잡아 사람 검토로 넘기는 판정을 늘리면 틀린 자동 조치는 줄지만, 검토 대기열이 길어져 정작 급한 판정이 늦어지고 사람은 비슷한 경보를 반복해 읽다가 주의를 잃는다. 문턱을 낮게 잡아 자동 조치를 늘리면 속도는 얻지만, 출력이 틀린 날에는 그 오류가 아무도 보지 않은 채 행동으로 굳는다.
실무적 해소 문턱을 출력의 확신도 하나로 정하지 않고, 판정의 재료가 어디에 있는지로 먼저 가릅니다. 근거가 조직의 손 안에 있어 같은 입력에 같은 판정이 다시 나오는 축은 자동으로 막아도 됩니다. 근거가 외부 서버의 사정이나 모델의 판단에 기대는 축은 경보로만 올리고, 사람이 읽을 후보로 넘깁니다. 그리고 판정하지 못한 경우는 통과나 차단에 섞지 않고 따로 셉니다. 이렇게 하면 자동 조치는 재현 가능한 판정에만 남고, 사람의 주의는 정말로 판단이 필요한 몫에 쓰입니다. 문턱의 위치는 출력을 보기 전에 축마다 적어 두고, 바꿀 때는 지난 판정을 새 문턱에 다시 대어 본 뒤에 바꿉니다.
이 주장이 틀리는 조건
반증 조건 재료의 위치로 문턱을 가르자는 이 글의 판단은 운영 기록으로 틀렸다고 드러날 수 있습니다. 자동으로 막는 축의 판정 가운데 사람이 사후에 읽고 뒤집는 비율이, 경보로만 올린 축에서 사람이 실제 결함을 찾아내는 비율과 비슷하거나 더 높게 꾸준히 나온다면, 재현 가능성은 정확성을 보장하지 못한 것입니다. 또 경보로 넘긴 후보가 쌓이기만 하고 사람이 읽지 못한 채 다음 날로 넘어가는 경우가 계속된다면, 사람에게 넘긴다는 문턱은 실제로는 아무도 보지 않는 통과와 같아지고 이 설계는 설 자리를 잃습니다.
법마디 OS에 적용한다면
법마디 OS 는 답변과 데일리 콘텐츠의 조문·판례 인용을 국가법령정보센터 원문과 대조하고, 확인되지 않은 인용은 내보내지 않습니다. 이 대조는 언어 모델의 판단에 맡기지 않고 원문과의 비교로 합니다. 데일리 콘텐츠의 인용 충실도 감사는 오늘 다룬 문턱을 축마다 따로 둡니다. 조문과 판례는 원문이 법령정보 API 에서 오고 같은 인용에 같은 판정이 다시 나오므로 차단 축으로 다룹니다. 조문은 그마저도 제목과 본문 두 축이 동시에 바닥일 때만 막고, 한 축만 낮으면 사람이 읽을 경보로 남깁니다. 기사와 논문은 상대 서버에 닿지 못하는 날이 있어 경보 축으로만 두고, 닿지 못한 경우는 결함이 아니라 관측불가로 따로 셉니다. 오늘 새벽 배치에서도 기사와 논문 축에 관측불가가 한 건씩 기록됐고, 그것은 통과로 합쳐지지 않았습니다. 발행 단계에서도 같은 선을 지킵니다. 검증을 통과하지 못해 발행되지 않은 콘텐츠는 자동으로 다시 만들어 내보내지 않고, 사람이 보고 다시 쓸지를 정합니다. 오늘 이 기술칼럼이 그 경로로 나왔습니다. 남은 과제는 경보로 넘긴 후보가 실제로 읽히고 있는지를 재는 일입니다. 경보가 쌓이기만 한다면 그 문턱은 다시 그어야 합니다.
기술적 함의
- AI 출력과 행동 사이의 선은 출력이 나오기 전에 적어 둔다. 선이 없으면 그럴듯해 보이는 출력이 사실상의 기준이 된다.
- 자동 조치는 근거가 손 안에 있어 같은 판정이 다시 나오는 축에만 맡기고, 외부 사정이나 모델의 판단에 기대는 축은 사람이 읽을 경보로 넘긴다.
- 판정하지 못한 경우는 통과나 차단에 섞지 말고 따로 센다. 못 잰 것을 초록으로 읽는 순간 문턱은 아무것도 막지 않는다.
"AI 를 방어에 들이는 조직이 먼저 정할 것은 모델이 아니라 선입니다. 어떤 출력은 바로 행동이 되고, 어떤 출력은 사람의 눈을 한 번 더 거칩니다. 그 선을 출력이 나온 뒤에 긋는다면 그것은 문턱이 아니라 사후 해명입니다. 법률 AI 도 같습니다. 무엇을 스스로 막고 무엇을 사람에게 넘길지는 답이 나오기 전에 적혀 있어야 합니다."
