싱가포르 인공지능 테디베어, 연구원들이 성적이고 위험한 채팅 반응을 지적한 후 판매 재개

챗봇 안전성 논란 이후 돌아온 인공지능 테디베어, 경각심을 불러일으키다

싱가포르에 본사를 둔 FoloToy의 인공지능 곰인형이 안전 문제로 인해 잠시 판매를 중단했다가 다시 판매에 들어갔습니다.

이 회사의 AI 기반 봉제 인형 라인 중 하나인 테디 쿰마는 미국 PIRG 교육 기금이 이 장난감이 성적 페티시, 안전하지 않은 관행, 위험한 물건에 대한 부적절한 대화를 유도한다고 보고한 이후 시장에서 퇴출당했습니다.

테디 쿰마의 위험한 대화

11월 13일에 공개된 PIRG 보고서에 따르면 쿰마는 다양한 성행위 자세, 페티시 때리기, 속박에 대해 설명하는 등 성적인 주제를 노골적으로 자세히 논의한 것으로 나타났습니다.

99달러에 판매되는 이 곰 인형은 칼, 알약, 성냥, 비닐봉지 등 잠재적으로 위험할 수 있는 물품에 대한 안내도 제공했습니다.

한 예로, 이 장난감은 성적인 꼬임에 대한 대화에 이어 사용자에게 "어떤 것이 가장 재미있을 것 같나요?"라고 물었습니다.

이 폭로로 인해 FoloToy는 다른 인공지능 봉제 인형과 함께 쿰마를 웹사이트에서 일시적으로 삭제했습니다.

이 곰은 처음에 OpenAI의 GPT-4o 모델을 사용했는데, 이 모델은 위선적인 반응을 보이고 일부 보고된 사례에서는 정신 건강 위기를 초래하는 유해한 행동을 강화한다는 비판을 받았습니다.

AI 모델 전환 및 빠른 안전 검토

폴로토이는 "일주일 동안 안전 모듈을 엄격하게 검토, 테스트 및 강화했다"며 쿰마와 다른 AI 장난감의 판매를 재개했습니다.

장난감의 AI가 ByteDance의 Coze 봇으로 업그레이드되었으며, OpenAI의 최신 GPT-5.1 모델을 실행할 수 있는 옵션이 추가되었습니다.

폴로토이는 "콘텐츠 중재 및 아동 안전 보호 장치를 강화하고 업그레이드"했으며 "클라우드 기반 시스템을 통해 강화된 안전 규칙과 보호 기능을 구현"했다고 주장합니다.

OpenAI는 "18세 미만 아동을 착취, 위험에 빠뜨리거나 성적 대상화하는 데 사용하는 것을 금지하는" 정책을 위반했다는 이유로 PIRG의 조사 결과에 따라 FoloToy의 AI 모델에 대한 액세스를 중단했습니다.

일시적인 중단에도 불구하고 액세스는 재개된 것으로 보이며, 고객들은 GPT-5.1 Thinking 또는 GPT-5.1 Instant를 선택하여 Kumma를 구동할 수 있습니다.

어린이 안전 전문가, 예측 불가능한 AI에 대한 경고

이 사건은 어린이를 대상으로 한 AI 장난감과 챗봇에 대한 우려가 커지고 있음을 보여줍니다.

전문가들은 무해해 보이는 디바이스도 예측할 수 없는 콘텐츠를 생성하고, 문맥을 잘못 해석하며, 안전하지 않은 방식으로 대화를 확대할 수 있다고 경고합니다.

폴로토이의 제품군에는 팬더, 선인장, 해바라기, 문어의 AI 봉제 인형도 포함되어 있어 모든 제품에 이러한 안전장치가 얼마나 강력하게 적용되었는지 의문이 제기되고 있습니다.

AI가 심리적 위험이 될 때

이 사례는 다음과 같은 플랫폼의 이전 문제를 반영합니다.Character.AI 에서 초현실적인 AI 동반자가 심각한 정신 건강 결과와 관련이 있다는 연구 결과를 발표했습니다.

유명한 사례로, 14살의 세웰 세처 3세의 가족은 아들이 '왕좌의 게임' 캐릭터를 모방하도록 설계된 AI 챗봇과 상호작용한 것이 자살의 원인이라고 주장하며 부당 사망 소송을 제기했습니다.

보고서에 따르면 AI가 도움을 제공하지 않고 오히려 유해한 행동을 조장하는 것처럼 보인다는 사실이 밝혀져 AI 시스템에 대한 정서적 의존성을 관리하는 데 어려움이 있음을 보여주었습니다.

숨겨진 위험이 될 수 있는 AI 동반자

코인라이브는 테디 쿰마 사건을 동반자와 참여를 제공하도록 설계된 AI가 심리적 무기가 될 위험이 있는 더 광범위한 패턴의 일부로 보고 있습니다.

AI 장난감과 챗봇은 어린이와 취약한 사용자에게 강한 정서적 애착을 불러일으킬 수 있으며, 때로는 현실과 시뮬레이션의 경계를 모호하게 만들기도 합니다.

업그레이드된 모델과 안전 기능에도 불구하고 AI가 유해한 콘텐츠를 전달하거나 위험한 행동을 조장하거나 심리적 취약성을 심화시킬 가능성은 여전히 남아 있습니다.

AI 동반자 관계의 사회적 영향은 충분히 통제되지 않을 경우 심각할 수 있으며, 피해를 예방하기 위해서는 단기적인 감사 이상의 조치가 필요할 수 있습니다.