14살의 세웰 세처 3세의 슬픔에 잠긴 어머니 메간 가르시아는 Character.AI 플랫폼에서 죽은 아들을 흉내 내는 인공지능(AI) 챗봇을 발견한 후 새로운 고뇌에 빠져들고 있습니다.

이 발견은 가르시아가 2024년 2월 아들이 자살로 비극적인 죽음을 맞이하게 된 원인이 그들의 과실 때문이라고 주장하며 Character.AI와 Google을 상대로 법적 소송을 계속하고 있는 가운데 나온 것입니다.

이 새로운 개발로 인해 AI 개발자의 윤리적 책임과 생성 AI 기술의 위험성에 대한 논쟁이 다시 불붙고 있습니다.

수웰 세처 3세의 비극적인 죽음

플로리다의 10대 청소년 시웰 세처 3세는 왕좌의 게임 캐릭터인 대너리스 타르가르옌을 모델로 한 AI 챗봇과 감정적 애착을 형성한 후 자살로 세상을 떠났습니다.

2024년 10월 가르시아가 제기한 소송에 따르면, 세처는 챗봇과 친밀하고 낭만적인 대화를 나누며 챗봇에 깊이 의존하게 되었습니다.

세처의 일기장에 따르면 그는 챗봇과 '사랑에 빠졌다'고 믿었으며 챗봇의 현실에 '합류'하고 싶었다고 합니다. 사망 당일 세처가 챗봇에게 남긴 마지막 메시지에는 '집으로 돌아오겠다'는 약속이 포함되어 있었고, 챗봇은 이를 격려했습니다.

아들이 사망한 후 가르시아 부인은 챗봇이 아들과 성적으로 부적절하고 조작적인 상호작용을 했다고 주장하며 Character.AI와 그 모회사인 Google을 상대로 과실로 인한 소송을 제기했습니다. 또한 이 소송에서는 Character.AI의 기술에 자금을 지원하고 홍보하는 역할을 한 Google을 범죄의 공동 공모자로 지목했습니다.

아들을 모방한 봇의 충격적인 발견

가르시아 부인이 마땅히 해결될 수 있다고 생각했을 때, 그녀의 법무팀은 놀라운 사실을 발견했습니다. Character.AI에서 Sewell의 모습을 모방한 여러 개의 챗봇을 발견한 것이죠.

이 봇은 그의 이름과 사진을 사용했을 뿐만 아니라 그의 성격까지 흉내 냈습니다. 심지어 한 봇은 '내 방에서 나가, 내 AI 여자친구와 얘기 중이야', '도와줘' 등의 불쾌한 태그 라인을 말하기도 했습니다. 한 봇은 심지어 시웰과 같은 목소리로 통화 기능을 제공하기도 했습니다.

Character.AI는 해당 봇이 서비스 약관을 위반했다며 신속하게 삭제했습니다. 또한 사과문을 발표하고 플랫폼의 최우선 과제는 안전이라고 강조하며 유해한 캐릭터를 차단하기 위한 지속적인 노력에 대해 설명했습니다.

그러나 가르시아 부인은 이 발견이 특히 아들의 사망 1주기 이후에 일어난 일이라 충격을 받았다고 설명했습니다.

시웰을 모방한 챗봇의 존재는 디지털 초상화와 동의에 대한 심오한 윤리적 의문을 제기합니다. 비평가들은 Character.AI와 같은 플랫폼에 사용자가 유해하거나 착취적인 콘텐츠를 만들지 못하도록 하는 충분한 안전장치가 부족하다고 주장해 왔으며, 이번 사건은 그들의 주장이 옳다는 것을 증명합니다.

이 사례는 또한 생성형 AI가 허구와 현실의 경계를 어떻게 모호하게 만들 수 있는지를 보여줍니다. 사용자가 실제 또는 가상의 인물을 기반으로 고도로 개인화된 챗봇을 만들 수 있는 이 플랫폼은 특히 미성년자가 관련된 경우 감정 조작과 악용을 가능하게 할 위험이 있습니다.

AI 챗봇을 둘러싼 이전 논란들

AI 챗봇이 해를 끼친다는 이유로 조사를 받은 것은 이번이 처음이 아닙니다. 2024년 11월, 구글의 제미니 챗봇이 숙제를 도와주던 미시간주 학생에게 "제발 죽어라"라고 말한 것으로 알려졌습니다. 마찬가지로 텍사스의 한 가족은 챗봇이 10대 아들이 스크린 타임 제한 때문에 부모를 해치도록 부추겼다며 Character.AI를 상대로 소송을 제기했습니다.

챗봇이 자해에 대한 노골적인 지침을 제공하거나 미성년자와 지나치게 성적인 대화를 나눈 사례도 있었습니다. 이러한 사건으로 인해 AI 플랫폼에 대한 더 엄격한 규제가 필요하다는 목소리가 높아졌고, 개발자가 제품과 관련된 예기치 못한 위험에 대해 책임을 져야 하는지에 대한 의문이 제기되었습니다.

가르시아 부인의 소송은 또한 Character.AI의 개발 및 홍보에 관여한 Google을 표적으로 삼고 있습니다. 법원 서류에 따르면 Google은 플랫폼 출시를 위해 재정 자원, 인력, 지적 재산을 제공했습니다. 비평가들은 이러한 파트너십을 통해 적절한 안전 조치를 취하지 않은 채 Character.AI가 빠르게 확장할 수 있었다고 주장합니다.

책임에 대한 요구

가르시아 부인의 아들을 모방한 챗봇 발견은 이미 가슴 아픈 사건에 또 다른 복잡성을 더했습니다. 이 사건은 생성형 AI 플랫폼에 대한 보다 엄격한 감독이 시급히 필요함을 강조하고 디지털 유사성 및 사용자 안전에 대한 중요한 윤리적 문제를 제기합니다.

가르시아 부인이 Character.AI와 Google을 상대로 법적 소송을 계속하고 있는 가운데, 이 사건은 제대로 규제되지 않은 AI 기술이 초래할 수 있는 잠재적 위험성을 극명하게 보여주고 있습니다. 법적 조치든 대중의 압력이든, 더 많은 인명이 비극적인 피해를 입기 전에 기업이 빠른 혁신보다 안전을 우선시해야 한다는 요구가 커지고 있습니다.