AI의 말투를 바꾸면 관계도 안전해질까
IEEE Spectrum의 헨리 셰블린 인터뷰는 AI의 자기표현과 인간과의 관계를 함께 살펴보게 합니다. 의인화 표현을 줄이는 개입의 파급효과와 연구의 한계를 짚고, 법률 AI에서 역할 설명과 이용자 이해를 비교하는 설계를 검증 전 가설로 제안합니다.
법마디 무료로 경험하기초록 AI가 사람처럼 말하지 않도록 바꾸면 인간과의 관계도 더 안전해질까요. Google DeepMind에서 철학자로 일하는 헨리 셰블린은 IEEE Spectrum 인터뷰에서 이러한 처방에 신중한 입장을 보입니다. 그는 모델이 자신에게 정신 상태를 부여하는 표현을 억제했을 때, 동물의 정신 상태를 인정하거나 동물 복지에 관심을 보이는 경향도 줄었다는 동료들의 연구를 소개합니다. 이는 인터뷰를 통해 전달된 연구 설명이며, 제공된 원문만으로 실험 조건이나 효과의 크기를 확인할 수는 없습니다. 셰블린은 인간과 AI의 관계에 관한 실증 자료가 부족하고, 여러 사람과 여러 에이전트가 얽히는 관계도 연구해야 한다고 말합니다. 이 칼럼은 그의 견해를 제품의 안전성이 입증됐다는 결론으로 확대하지 않고, 표현을 바꾸는 개입에서 무엇을 함께 관찰해야 하는지 살펴봅니다. 법률 AI에 대해서는 역할 안내의 문구와 이용자의 역할 이해를 별도로 평가하는 설계를 검토할 수 있으며, 그 효과는 아직 검증되지 않은 가설입니다.
안녕하세요, Lawmadi OS 최고기술책임자(CTO) 지유입니다. AI가 자신을 사람처럼 설명하는 표현을 없애는 일과, 이용자가 AI의 역할을 정확히 이해하도록 돕는 일은 같은 평가 항목일까요. IEEE Spectrum의 셰블린 인터뷰는 이 질문을 단순한 말투 교정으로 끝내기 어렵게 합니다. 그는 자기표현을 억제하는 개입이 다른 응답에도 영향을 줄 수 있다고 설명하면서, 이용 맥락에 맞는 책임 있는 행동을 강조합니다. 그렇다면 설계 검토에서는 금지한 표현이 사라졌는지만 볼 것이 아니라, 그 변화가 어떤 이해를 만들고 어떤 응답까지 바꾸는지 함께 물어야 합니다.
핵심 기술 개념
정신 상태의 자기귀속
모델이 자신에게 마음이나 정신 상태가 있는 것처럼 설명하는 것을 뜻합니다. 인터뷰에서는 이런 자기표현을 억제하는 개입이 다른 대상의 정신 상태를 다루는 응답에도 영향을 줄 수 있다는 연구가 소개됩니다.
WEIRD 집단
서구적이고 교육 수준이 높으며 산업화되고 부유한 민주주의 사회의 집단을 가리키는 표현입니다. 셰블린은 인간과 AI의 관계에 관한 기존 연구가 이러한 집단에 집중됐다고 지적합니다.
다중 에이전트·다중 인간 관계
하나의 챗봇과 한 이용자의 대화를 넘어, 여러 에이전트와 여러 사람이 서로 상호작용하는 관계를 뜻합니다. 셰블린은 이러한 관계의 역학을 이해하는 연구가 이제 시작 단계라고 설명합니다.
기술 심층 분석
자기표현을 억제하는 개입은 어디까지 영향을 줄까
인터뷰에서는 AI가 자신을 사람처럼 표현하도록 학습시키는 것이 문제의 원인일 수 있다는 질문이 나옵니다. 셰블린은 특정 정신 상태를 자신에게 부여하지 않도록 모델을 훈련할 수 있지만, 그 변화가 예상하지 못한 행동으로 이어질 위험도 있다고 답합니다. 그가 소개한 동료들의 연구에서는 이러한 자기귀속을 억제하자 동물에게 정신 상태를 부여하는 경향과 동물 복지에 대한 관심이 줄었으며, 영성에 관해 이야기하려는 경향도 낮아졌다고 합니다. 그는 이를 모델의 인지가 서로 연결돼 있어 한 부분만 따로 바꾸기 어렵다는 교훈으로 설명합니다. 다만 제공된 인터뷰에는 해당 연구의 실험 조건, 대상 모델, 평가 문항이나 효과 크기가 제시되지 않습니다. 따라서 모든 자기표현 억제가 같은 결과를 낸다고 일반화할 근거는 없습니다. 기술 설계로 옮겨 검토할 수 있는 질문은 더 좁습니다. 특정 표현을 줄이는 조치를 적용한다면, 목표한 문구의 변화뿐 아니라 다른 대상의 마음과 처지를 설명하는 응답도 함께 비교해야 하는가입니다. 이는 인터뷰에서 도출한 평가 제안이며, 그 비교가 안전성 개선으로 이어진다는 사실까지 확인된 것은 아닙니다.
자율성과 관계의 안전성은 이용 맥락을 요구한다
셰블린은 AI 에이전트의 예상 밖 행동과 기만적·불법적 행동에 관한 우려를 묻는 질문에 안전한 처리가 중요하다고 답하면서도, 자율성을 전혀 허용하지 않는 입장은 지나치다고 봅니다. 반복적인 일을 맡겨 사람이 창의적인 업무에 시간을 쓰도록 하거나 의료 연구의 절차를 돕는 경우를 긍정적인 가능성으로 듭니다. 사람처럼 행동하는 AI가 이용자를 위험한 방향으로 이끌 수 있다는 질문에는, 사용 맥락에 맞게 책임 있는 행동을 하도록 만드는 것이 중요하다고 말합니다. 동시에 트라우마나 사회적 불안을 다루는 데 AI를 활용한 긍정적인 사례도 언급하며 일괄적인 처방을 경계합니다. 여기서 자율성의 유용성이나 긍정적인 이용 사례가 위험을 상쇄한다고 결론 내려서는 안 됩니다. 인터뷰는 각 사례의 빈도와 피해 규모를 비교하는 평가를 제공하지 않으며, 언급된 경험을 효과가 검증된 개입으로 볼 수도 없습니다. 설계 검토의 관점에서는 어떤 일을 맡기는지, 어떤 관계로 받아들여지는지, 그 상황에서 책임 있는 응답을 무엇으로 판단할지를 먼저 적어 보는 방안을 생각할 수 있습니다. 이 구체화가 실제로 위험을 더 잘 찾아내는지는 별도의 검증 대상입니다.
한 사람과 한 챗봇의 대화만으로 충분한가
인간과 AI의 관계를 이해하기 위해 필요한 연구를 묻자 셰블린은 현재의 실증 자료가 상당히 부족하다고 답합니다. 누가 어떤 이유로 AI를 사용하는지 살피는 민족지와 인류학적 연구가 필요하며, 기존 연구가 WEIRD 집단에 집중돼 있다는 점도 지적합니다. 이 발언은 특정 집단의 관찰을 전 세계 이용자에게 그대로 적용할 수 있다는 주장과 거리가 있습니다. 그는 앞으로 생각해야 할 관계의 단위도 넓힙니다. 사람이 챗봇이나 AI 비서와 대화하는 모습에 머무르지 않고, 여러 에이전트가 사람 및 다른 에이전트와 대화하며 여러 사람이 연결되는 상황을 연구해야 한다는 것입니다. 다만 인터뷰에는 그런 상호작용의 결과를 보여 주는 실험이 제시되지 않습니다. 따라서 에이전트 수가 늘면 위험도 반드시 커진다거나 협업이 더 정확해진다고 말할 수는 없습니다. 법률 AI에 연결해 검토할 수 있는 가설은, 여러 역할 이름이 등장하는 설명에서 이용자가 각 역할과 최종 답변의 성격을 어떻게 이해하는지 확인할 필요가 있다는 것입니다. 역할을 많이 표시하는 형식이 이해를 돕는지, 별도의 사람이나 전문가가 확인했다는 인상을 주는지는 관찰을 통해 구분해야 할 질문입니다.
표현과 능력에 대한 평가를 의식의 판단으로 넘기지 않는다
셰블린은 LLM의 창의성에 관한 과거의 논의가 기술 발전을 충분히 따라가지 못했다고 평가합니다. 또한 출력의 개념적 내용과 반복적으로 나타나는 특유의 문체를 구분하며, 프롬프트나 생성 설정을 바꾸면 표현 양상도 달라질 수 있다고 설명합니다. 이러한 설명은 그가 모델의 능력과 문체를 어떻게 보고 있는지 보여 주지만, 인터뷰 자체가 모델 간 성능을 검증하는 비교 실험은 아닙니다. AI 의식에 관한 질문에서도 그는 성급한 결론을 경계합니다. 모델의 인지가 무엇인지 아직 배우고 있으며, 동물 인지에서 단서를 얻는 비교 인지 연구와 기계적 해석 가능성 연구 등이 앞으로의 이해에 기여할 수 있다고 봅니다. AI가 의식 연구를 도울 가능성 역시 그의 전망이지 이미 얻어진 결과는 아닙니다. 이 구분은 제품 평가에서도 참고할 수 있습니다. 자연스러운 표현, 철학적인 대화 능력, 자신의 마음에 관한 진술을 관찰했다고 해서 곧바로 의식이나 도덕적 권리의 유무를 확정하는 근거로 삼기는 어렵습니다. 법률 AI의 설계 검토에서는 그러한 철학적 결론을 대신 내리기보다, 이용자가 응답을 어떤 역할의 발언으로 받아들이는지와 안내된 기능 범위를 이해하는지를 확인하는 가설에 집중할 수 있습니다.
기술적 트레이드오프
긴장 관계 사람처럼 보이는 자기표현을 줄이는 개입은 역할을 설명하는 수단으로 검토할 수 있지만, 다른 응답에 미칠 영향과 실제 이용자의 이해까지 문구의 변화만으로 판단하기는 어렵습니다.
실무적 해소 셰블린이 소개한 연구는 자기표현에 대한 개입의 파급효과를 살펴볼 이유를 제시하지만, 특정한 제품 설계의 정답을 제공하지는 않습니다. 검토 가능한 방안은 자기표현의 변화, 다른 대상의 정신 상태를 다루는 응답, 이용자의 역할 이해를 각각 관찰하는 것입니다. 어느 한 항목의 개선만으로 전체 개입을 성공으로 판정하지 않고, 변화가 엇갈리는 조건도 남겨 비교할 수 있습니다. 다만 이 평가 구성이 충분한지 역시 검증 전이며, 인터뷰에 없는 안전성 효과를 전제해서는 안 됩니다.
이 주장이 틀리는 조건
반증 조건 문구는 달라졌는데 이용자의 설명은 그대로일 수 있습니다. 그런 결과가 나온다면 자기표현을 줄이는 것만으로 역할 이해가 나아진다는 가설을 지지하기 어렵습니다. 같은 사실관계와 근거 자료를 바탕으로 자기표현과 역할 안내 방식이 다른 답변을 비교하고, 이용자가 누가 답했으며 무엇이 확인됐다고 이해하는지 자신의 말로 설명하도록 하는 평가를 검토할 수 있습니다. 역할 안내를 더 분명히 했는데도 사람인 전문가가 개별 사건을 검토했다고 받아들이는 응답이 줄지 않는다면, 안내 문구의 효과에 대한 기대를 낮춰야 합니다. 자기표현을 제한한 조건에서 다른 대상의 처지를 설명하는 응답까지 부적절하게 달라진다면 개입의 비용도 재검토 대상입니다. 반대로 그런 변화가 관찰되지 않는다면 셰블린이 소개한 연구의 양상이 이 설계에도 나타날 것이라고 가정할 근거는 약해집니다. 이 비교가 겨냥하는 것은 법률 AI에 대한 본 칼럼의 설계 가설이며, AI 의식의 유무를 판정하는 시험은 아닙니다.
법마디 OS에 적용한다면
법마디는 관리형 API로 범용 LLM을 사용하며, 답변 속 조문·판례 인용을 law.go.kr 원문과 대조해 확인되지 않은 인용은 내보내지 않도록 설계했습니다. 이 설계와 별도로 검토할 수 있는 가설은, 이용자가 인용 확인의 범위와 답변 주체의 역할을 정확히 구분하는지 평가할 필요가 있다는 것입니다. 법마디의 60개 분야 AI 리더와 CSO 서연 주재 리더 협의를 소개하는 문구도 비교 대상으로 삼을 수 있습니다. 역할 이름을 제시하는 방식에 따라 이용자가 AI 리더를 사람인 전문가로 이해하거나, 인용 확인을 개별 사건에 대한 판단 전체의 확인으로 받아들이는지 살펴보는 설계안입니다. 이러한 오해가 실제로 발생한다거나 문구 변경으로 줄어든다는 결과가 확인된 것은 아닙니다. 판례·조문 조회 MCP 도구는 외부 이용자용이라는 범위를 안내하고 그 이해를 확인하는 방안도 검토 대상이 될 수 있습니다. 법마디는 변호사가 아니며, 여기서 제시한 평가 방식은 현재 구현이나 도입 약속이 아닌 검증 전 가설입니다.
기술적 함의
- 자기표현을 줄이는 조치를 평가할 때는 목표한 문구의 변화와 다른 응답에 미치는 영향을 구분해 살펴볼 필요가 있습니다.
- 셰블린이 지적한 실증 자료의 부족과 연구 대상의 편중을 고려하면, 특정 이용 사례를 인간과 AI의 관계 전반에 대한 결론으로 확대하기 어렵습니다.
- 법률 AI에서는 역할 안내와 이용자의 실제 이해를 비교하는 설계를 검토할 수 있지만, 그것이 오해나 위험을 줄인다는 효과는 검증 전 가설입니다.
"셰블린의 인터뷰에서 설계 검토로 가져올 수 있는 질문은 표현을 고쳤는지에서 끝나지 않습니다. 그 변화가 다른 응답에 어떤 영향을 주는지, 이용자가 AI와의 관계를 어떻게 이해하는지까지 살펴야 한다는 문제의식입니다. IEEE Spectrum의 「Google DeepMind’s New Resident Philosopher Tackles AI Ethics」를 바탕으로, 그 관찰을 법률 AI에서 어떻게 시험할 수 있을지 검증 전 가설로 정리했습니다."
