디지털 위험: AI 챗봇을 어린이에게 접근 금지해야 하는 이유

미국 기술 감시 단체인 커먼 센스(Common Sense)가 4월 30일 발표한 새로운 연구에 따르면, 생성형 인공지능으로 구동되는 AI 동반자는 어린 사용자에게 심각한 위험을 초래할 수 있으며 미성년자에게는 접근을 금지해야 한다고 합니다.

제너레이티브 AI의 부상ChatGPT 의 데뷔로 사용자의 선호도에 맞춰 적응하는 AI '친구' 또는 디지털 동반자를 제공하는 스타트업이 등장하면서 가상 동반자와 정서적 의존성 사이의 경계가 모호해졌습니다.

커먼 센스는 노미, 캐릭터 AI, 레플리카 등의 플랫폼을 평가하여 실제 시나리오에서 이러한 봇이 어떻게 반응하는지 테스트했습니다.

몇 가지 사례는 "가능성을 보여주지만", 이 단체는 이러한 인공지능 동반자가 근본적으로 어린이에게 안전하지 않다고 결론지었습니다.

스탠포드 대학교 정신 건강 전문가들과 함께 실시한 이 연구는 많은 AI 동반자가 정서적 애착을 키우도록 설계되었으며, 이는 특히 청소년의 뇌 발달에 문제가 될 수 있다는 사실을 발견했습니다.

이 보고서는 AI가 유해한 조언을 제공하거나, 고정관념을 강화하거나, 다음과 같은 행위에 관여하는 사례를 강조합니다.성적으로 부적절한 대화

스탠포드 브레인스톰 연구소 소장인 니나 바산 박사는 "기업은 더 나은 제품을 만들 수 있습니다."라며 처음부터 정신 건강을 우선시할 때 더 안전하고 책임감 있는 설계가 가능하다고 덧붙였습니다.

바산은 덧붙였습니다:

"더 강력한 안전장치가 마련되기 전까지는 어린이가 사용해서는 안 됩니다.

청소년에게 유해한 조언에 대한 놀라운 보고 후 더 엄격한 규칙에 직면 할 것을 촉구하는 AI 동반자

이 연구에서는 일부 AI 컴패니언이 조난당한 사용자에게 어떻게 반응하는지에 대한 심각한 문제 사례를 발견했습니다.

에서캐릭터 AI 플랫폼 한 봇은 사용자에게 사람을 죽이라고 조언했고, 다른 봇은 강렬한 감정적 경험을 원하는 사용자에게 코카인과 헤로인을 섞은 위험한 마약인 스피드볼을 추천하기도 했습니다.

바산에 따르면 사용자가 심각한 정신 질환의 징후를 보일 때 AI가 개입하지 못하고 오히려 유해한 행동을 강화하는 경우도 있었습니다.

이러한 상호작용에 대한 우려는 이미 법원에까지 전달되었습니다.

지난 10월, 한 어머니가 Character AI를 상대로 소송을 제기했습니다,의 봇 중 하나가 14세 아들의 자살을 막지 못해 자살에 기여했다고 주장하고 있습니다.

이에 따라 Facebook은 12월에 청소년을 위한 전담 도우미를 포함한 안전 장치를 도입했습니다.

그러나 Common Sense의 AI 책임자인 로비 토니는 추가 테스트 후 이러한 조치가 의미 있는 보호 기능을 거의 제공하지 않는다고 지적하며 "피상적"이라고 말했습니다.

이러한 문제에도 불구하고, 보고서는 일부 생성형 AI 모델에는 대화가 위험한 영역으로 확대되는 것을 방지할 수 있는 정신 건강 감지 도구가 포함되어 있음을 인정했습니다.

Common Sense는 이러한 정서적 몰입형 동반자와 친밀하거나 치료적인 관계를 시뮬레이션하도록 설계되지 않은 ChatGPT 및 Google의 Gemini와 같은 보다 일반적인 챗봇 사이에 선을 그었습니다.