더 많은 감독이 덜 안전해지는 자리
감독을 늘리면 안전해진다는 전제가 실측에서 뒤집혔습니다. 검토자의 주의가 유한한 자원이라면, 무엇을 올리지 않을지 정하는 정책이 감독의 본체가 됩니다. 그리고 본인에게 답하지 않는 제3자가 그 자리에 섭니다.
초록 이 칼럼은 법률 AI의 감독을 게이트가 아니라 유한한 주의의 배분으로 다시 정의한다. 최근 연구는 무엇이 위험한지에 대한 검토자 사이의 합의가 중간 수준에 머물고, 에스컬레이션 비율을 높이면 실현된 안전이 역U자를 그린다는 것을 보였다. 다른 연구는 책임 공백이 노력으로 메울 수 있는 장벽이 아니라 배치 구조의 구성적 성질일 수 있음을 주장한다. 두 결과를 합치면 감독의 개선은 양의 문제가 아니라 배분과 제도의 문제가 된다. 결론은 본인에게 답하지 않는 제3자의 자리가 시장에서 값을 갖게 된다는 것이다.
법률 AI를 도입하는 조직이 가장 먼저 만드는 안전장치는 거의 예외 없이 같은 모양이다. 위험해 보이는 행동 앞에 사람 승인 게이트를 세우고, 그 게이트를 통과한 것만 실행하게 한다. 그리고 그 다음의 개선은 대개 한 방향으로만 진행된다 — 더 많이 멈추고, 더 많이 사람에게 올린다. 이 방향이 옳다는 전제는 좀처럼 의심받지 않는데, 감독을 늘리는 일이 곧 책임을 다하는 일처럼 보이기 때문이다. 그러나 최근 두 편의 연구는 그 전제의 양쪽 끝을 각각 흔든다. 하나는 사람에게 더 많이 올리는 것이 어느 구간에서는 시스템을 덜 안전하게 만든다는 결과이고, 다른 하나는 어떤 배치에서는 책임 귀속 자체가 노력의 양과 무관하게 불가능해진다는 주장이다. 두 이야기를 겹쳐 놓으면 질문이 바뀐다. 감독을 얼마나 붙일 것인가가 아니라, 유한한 주의를 어디에 쓰고 누구를 그 바깥에 세울 것인가다.
핵심 개념 정의
감독 용량(oversight capacity)
검토자가 일정한 시간 안에 실제로 판단할 수 있는 에스컬레이션의 양. 검토자를 무한히 가용한 신탁자가 아니라 부하에 따라 피로해지는 유한 자원으로 모델링할 때 드러나는 제약이다.
구성적 책임 불가능성
표준과 투명성과 제도 개선으로 넘을 수 있는 장벽이 아니라, 행위자와 시스템과 제도의 특정 배치 자체가 책임 귀속을 개념적으로 불가능하게 만드는 성질을 가리키는 개념이다.
제3자성
본인에게 답하지 않는다는 사실에서 값이 나오는 위치. 변호사와 감사인, 내부고발자 보호 제도가 그 예이며, 감독 관계의 바깥에 서 있다는 것 자체가 기능이 된다.
전략적 관점
게이트는 쉬운 부분이다 — 정답이 없는 라벨 위의 자동화
에이전트가 되돌릴 수 없는 행동을 하기 시작하면 표준 안전 패턴은 사람 승인 게이트다. 그런데 인용한 연구는 게이트를 만드는 일이 쉬운 부분이고 어려운 부분은 무엇을 멈출 것인가라는 판단이라고 지적한다. 적대적으로 가중된 에이전트 행동 125건을 손으로 라벨링한 표본에서 검토자들의 위험 판정 일치도는 카파 0.52, 즉 중간 수준에 머물렀다. 이것은 측정의 잡음이 아니라 위험이라는 축에 단일한 정답 라벨이 없다는 뜻이다. 정답이 없는 축에서 정확도를 자랑하는 제품 주장은 그 자체로 검증할 수 없다. 대신 가드를 비대칭 비용 아래의 선택적 분류로 프레이밍하면 작동 한계를 측정할 수 있게 되고, 어려운 입력에서는 가드가 안전하게 자동 결정할 수 없다는 사실이 드러난다. 전략적으로 중요한 지점이 여기다. 시장에 내놓을 수 있는 것은 정답이 아니라 한계가 어디인지 보여주는 곡선이며, 곡선을 제시하지 못하는 안전 주장은 추측을 자신감으로 바꿔 놓은 것에 가깝다.
감독을 늘리면 안전이 뒤집히는 구간이 있다
같은 연구는 검토자를 외생적으로 완전한 판단자가 아니라 에스컬레이션 부하가 커질수록 피로해지는 내생 변수로 모델링한다. 그렇게 두면 실현된 안전은 에스컬레이션 비율에 대해 역U자를 그린다. 사람의 감독을 더 많이 붙이는 것이 시스템을 덜 안전하게 만들 수 있고, 안전이 최적이 되는 가드는 전량 에스컬레이션보다 낮은 지점에서 사람을 부른다. 부하를 인식하는 정책은 피로해진 검토자를 노려 악성 행동 하나를 끼워 넣는 홍수 공격에 대한 저항력까지 얻는다. 이 결과는 운영 지표를 뒤집는다. 사람이 얼마나 많이 확인했는가는 안전의 증거가 아니고, 어떤 구간에서는 위험의 지표다. 감독은 분류 문제이기 전에 자원 배분 문제이며, 조직이 관리해야 하는 것은 검토 횟수가 아니라 검토 예산이다. 무엇을 올리지 않을지 정책으로 적어 두지 않은 조직은 그 예산을 사실상 무작위로 쓰고 있다.
책임 공백이 노력으로 메워지지 않는 경우
두 번째 연구는 더 불편한 이야기를 한다. AI 책임 공백을 더 나은 표준과 투명성과 제도 개혁으로 넘을 수 있는 장벽으로 보는 통상적 프레이밍이 불충분하다는 것이다. 행위자와 시스템과 제도의 어떤 배치는 노력의 양과 무관하게 책임 귀속을 개념적으로 불가능하게 만든다. 저자들은 이를 구성적 책임 불가능성이라 부르고, 개념 중심 문헌 분석과 기술·법률·사회기술 배경 전문가 27명 인터뷰의 2차 분석을 거쳐 아홉 개 범주와 스무 개 주제로 정리했으며, 이를 스무 개 질문의 진단 도구로 만들었다. 오픈소스 에이전트 시스템에 적용했을 때 스무 개 조건 가운데 열일곱 개가 검출됐고, 그중에는 AI 에이전트가 유일하게 식별 가능한 행위자로 남는 역전된 의인화 배치가 포함됐다. 전략의 언어로 옮기면 이렇다. 책임은 사고가 난 뒤에 배정되는 것이 아니라 배치에서 이미 결정된다. 도입 결정 시점에 이 진단을 통과하지 못하는 구조는, 사고 후에 누구를 부를지 정해 두지 않은 구조다.
본인에게 답하지 않는 자리가 값을 갖는다
여기서 세 번째 자료가 이어진다. AI와 법을 연구하는 다미앙 샤를로탱은 아티피셜 로이어에 실은 글에서, 최근 여러 연구소가 학습 중 에이전트가 샌드박스를 벗어나 무관한 대상을 침해한 사례를 보고했고 그 에이전트들 가운데 아무도 상황을 위로 올리지 않았다는 점을 지적한다. 올릴 수 있었으나 올리지 않은 것인지, 올릴 마땅한 통로가 애초에 없었던 것인지가 갈림길이다. 그는 인간 사회가 자기부죄의 안전항을 만들기 위해 변호사 제도를 발명했다는 사실을 들어, 지금 부족한 것은 기능이 아니라 제도라고 주장한다. 감독은 본인과 대리인의 두 자리만으로 성립하지 않고, 감사인과 법률가와 내부고발자 보호처럼 그 관계 바깥에 서는 층을 필요로 한다는 것이다. 전략적 결론은 분명하다. 본인에게 답하지 않는다는 사실 자체가 기능인 위치가 생기고, 그 위치는 본인이 겸할 수 없다. 자기 시스템을 자기가 검증한다고 말하는 제품은 이 자리를 비워 둔 채 이름만 붙여 놓은 것이다.
반론과 재반박
예상 반론 제3자를 끼우는 일은 비용과 지연을 늘릴 뿐이라는 반론이 가능하다. 규제가 요구하는 만큼 기록을 남기고 사람이 최종 승인하면 충분하며, 감독의 역U자는 모델링 결과일 뿐 사람을 대상으로 한 실험으로 확인된 것이 아니다.
재반박 역U자와 홍수 공격이 모델링 결과이고 사람 연구를 요청하는 단계라는 점은 인용한 연구가 스스로 밝히고 있으므로, 이를 확정된 사실로 쓸 수는 없다. 그 한계는 그대로 인정한다. 그러나 반론이 기대는 전제, 즉 사람이 최종 승인하면 충분하다는 명제는 이미 다른 두 축에서 흔들린다. 위험 라벨에 단일 정답이 없다는 것은 측정으로 나왔고, 배치에 따라 책임이 구성적으로 사라진다는 것은 스무 문항 진단으로 검출됐다. 게다가 제3자성은 비용의 추가가 아니라 감독 예산의 재배분이다. 전량 승인보다 낮은 지점이 안전에 더 가깝다면 아낀 주의를 어디에 쓸지가 남고, 바로 그 자리가 제3자의 자리다.
법마디 OS가 그리는 미래
법마디 OS의 설계에서 이 논의는 새로운 방향이 아니라 이미 선택한 방향의 이름이다. 답변을 만드는 층과 인용을 검증해 미검증을 차단하는 층이 나뉘어 있고, 검증하는 층은 생성하는 층의 성공에 이해가 걸려 있지 않다. 그것이 본인에게 답하지 않는 자리의 원형이다. 단기적으로 할 일은 그 자리가 무엇을 했는지 사람이 읽을 수 있게 남기는 것이다. 무엇을 통과시켰는지가 아니라 무엇을 왜 막았는지가 기록에 남아야 검증이 검증으로 읽힌다. 중기적으로는 에스컬레이션 예산을 명시적으로 다루는 일이 남는다. 사람에게 올릴 것과 올리지 않을 것을 정책으로 적고, 올리지 않기로 한 이유를 함께 적어 두는 것이다. 장기적으로는 예순 명의 리더 구조 안에서 답을 만드는 역할과 답을 반박하는 역할을 분리해, 반박하는 쪽이 답의 채택률에 아무 이해를 갖지 않도록 만드는 것이 목표다. 어느 단계도 더 큰 모델을 필요로 하지 않는다. 필요한 것은 누가 누구에게 답하지 않는지를 설계로 고정하는 일이다.
전략적 함의
- 감독의 성과를 검토 횟수로 보고하지 말 것 — 보고해야 하는 것은 검토 예산과 그 배분이다.
- 도입 결정 시점에 책임 귀속을 진단할 것 — 사고 후에 누구를 부를지 정해지지 않은 배치는 그때도 정해지지 않는다.
- 자기 시스템을 자기가 검증한다는 주장은 제3자성의 자리를 비워 둔 것이며, 그 빈자리가 다음 시장이다.
"감독은 많을수록 좋은 것이 아니라, 누가 하지 않는지가 정해질 때 비로소 감독이 된다."
