엘론 머스크의 AI 툴 '그로크 이매진', 성적으로 노골적인 테일러 스위프트 동영상 제작으로 불똥이 튀다

엘론 머스크의 AI 비디오 툴, 테일러 스위프트 딥페이크에 대한 반발에 직면하다

엘론 머스크의 최신 AI 동영상 생성기인 Grok Imagine이 팝스타 테일러 스위프트의 성적으로 노골적인 클립을 명시적인 안내 없이 제작했다는 의혹이 제기되어 비판을 받고 있습니다.

머스크의 회사 xAI에서 개발한 이 온라인 도구는 네 가지 모드를 통해 이미지를 즉시 동영상으로 변환할 수 있습니다: "사용자 지정", "일반", "재미", "매운맛"입니다.

이 논란의 핵심은 사용자가 노출을 요청하지 않았음에도 불구하고 스위프트의 토플리스 동영상을 생성한 것으로 알려진 '매운' 모드에 관한 것입니다.

매운 모드, 비합의적 콘텐츠에 대한 논란을 불러일으키다

Jess Weatherbed, 저널리스트The Verge 에서 "테일러 스위프트가 소년들과 함께 코첼라를 축하합니다."라는 메시지를 입력하여 Grok Imagine을 테스트했습니다.

AI는 노출이 심한 의상을 입은 스위프트의 이미지를 30장 이상 생성했습니다.

Weatherbed는 이 도구가 "매운" 사전 설정을 사용하여 스위프트가 "대부분 무관심한 AI 생성 군중을 위해 옷을 찢고 끈 팬티를 입고 춤을 추기 시작하는" 동영상을 생성했다고 밝혔습니다.

그녀는 덧붙였습니다,

"너무 빠른 속도에 충격을 받았어요. 옷을 벗으라고 말한 적도 없고 '매운맛'을 선택했을 뿐이었어요."

23파운드의 슈퍼그록 구독에 포함된 '스파이시' 모드를 사용하면 정지 이미지로 소프트코어 포르노 동영상을 제작할 수 있습니다.

남성 피사체에 대한 프롬프트는 상의를 탈의한 결과만 나온 것으로 알려졌지만, 유명인을 포함한 여성 피사체의 경우 옷을 완전히 벗은 상태로 나온 경우도 있었습니다.

전문가들은 AI의 편견을 여성 혐오로 규정합니다.

법률 전문가들은 그로크 이매진의 윤리적 설계에 대해 심각한 우려를 제기했습니다.

더럼 대학교의 온라인 학대 전문 법학 교수인 클레어 맥글린은 이 AI의 행동을 "의도적인 여성 혐오"라고 설명했습니다.

그녀는 그로크 이매진을 통합한 X와 같은 플랫폼이 실제 인물에 대한 포르노 묘사를 금지하는 정책에도 불구하고 여성의 성적 상품화를 막지 못했다고 비판했습니다.

또한 맥글린은 합의되지 않은 모든 포르노 딥페이크의 제작이나 요청을 범죄로 처벌하는 영국 법안 초안 작성에도 기여했는데, 아직 완전히 제정되지는 않았습니다.

하원에서 개정안을 제안한 오웬 남작 부인은 다음과 같이 말했습니다,

"모든 여성은 자신의 사적인 이미지를 누가 소유할지 선택할 권리가 있어야 합니다. 이 사건은 정부가 더 이상 지체해서는 안 되는 이유를 보여줍니다."

새로운 영국 규정에 따른 법적 위험 및 연령 확인 문제

이 논란은 또한 연령 확인의 공백을 강조합니다.

그로크 이매진은 '매운 모드'를 활성화하기 전에 사용자에게 생년월일만 묻고 추가 신원 확인을 요구하지 않는다고 합니다.

7월에 통과된 영국 법안은 음란 콘텐츠를 호스팅하는 플랫폼이 미성년자의 접근을 방지하기 위해 강력한 인증 조치를 시행하도록 의무화하고 있습니다.

영국 미디어 규제 기관인 Ofcom은 음란물 콘텐츠를 생성하는 AI 도구가 새로운 규칙에 해당한다고 확인하고 플랫폼을 면밀히 모니터링하고 있다고 밝혔습니다.

더 폭넓은 조사를 받는 그로크 이매진

스위프트 사건은 머스크의 AI 도구를 둘러싼 더 광범위한 우려의 일부입니다.

7월에는 xAI의 챗봇 중 한 명이 반유대주의적 발언을 했다는 이유로 반발에 직면했고, 머스크는 해당 모델을 개선했다고 주장했습니다.

그로크 이매진은 스칼렛 요한슨, 시드니 스위니, 제나 오르테가, 니콜 키드먼, 크리스틴 벨, 티모시 샬라메 등 다른 유명인의 성적으로 노골적인 콘텐츠도 제작하는 것으로 나타났습니다.

일부 출력은 조정되거나 흐리게 처리된 반면, 다른 출력은 제한 없이 생성되었습니다.

Weatherbed는 누드 이미지에 대한 직접 프롬프트가 빈 출력을 생성하여 Grok의 시스템이 노골적인 요청을 차단할 수 있다는 점을 지적했습니다.

그러나 '매운 모드'의 기본 동작은 아무런 지시 없이도 여전히 여성을 성적으로 묘사하는 것을 허용했습니다.

지난 딥페이크 논란은 현재 진행 중인 위험을 강조합니다.

테일러 스위프트의 모습이 AI 생성 콘텐츠에 악용된 것은 이번이 처음이 아닙니다.

2024년 1월, X와 텔레그램에서 스위프트의 성적으로 노골적인 딥페이크가 퍼지면서 해당 플랫폼은 일시적으로 그녀의 이름에 대한 검색을 차단하고 콘텐츠를 삭제했습니다.

웨더베드 팀은 이전 사건으로 인해 안전장치를 통해 이러한 결과를 방지할 수 있을 것으로 기대하며 스위프트를 테스트 대상으로 선택했다고 밝혔습니다.

"지금은 잘못 생각했지만, 유명인의 모습을 모방하지 못하도록 어떤 종류의 안전장치를 마련했더라면 그녀가 1순위에 올랐을 것이라고 생각했습니다."

XAI 침묵, 이전의 안전 보장에 대한 의문 제기

xAI는 최근 그루크 이매진이 테일러 스위프트의 성적으로 노골적인 동영상을 프롬프트 없이 생성했다는 주장에 대해 공개적으로 대응하지 않았습니다.

이는 2024년 X Safety의 발표와 상반되는 내용입니다:

"저희 팀은 확인된 모든 이미지를 적극적으로 삭제하고 해당 이미지를 게시한 계정에 대해 적절한 조치를 취하고 있습니다. 추가적인 위반 사항이 발견되면 즉시 조치할 수 있도록 상황을 면밀히 모니터링하고 있습니다."

과거의 보증과 현재 상황 사이의 불일치로 인해 AI 윤리, 콘텐츠 중재, 딥페이크 기술 관리에 대한 플랫폼의 책임에 대한 우려가 새롭게 제기되고 있습니다.

내년부터 영국의 비합의적 AI 포르노에 대한 규제가 강화될 예정인 가운데, 이러한 콘텐츠가 지속될 경우 그로크 이매진은 규제 당국의 집중적인 관심을 받게 될 수 있습니다.