Gấu bông AI của Singapore được bán trở lại sau khi các nhà nghiên cứu đánh dấu các phản hồi trò chuyện có nội dung khiêu dâm và nguy hiểm

Gấu bông AI trở lại sau tranh cãi về tính an toàn của Chatbot gây báo động

Một chú gấu bông AI của FoloToy có trụ sở tại Singapore đã được bán trở lại sau thời gian tạm ngừng bán vì những lo ngại đáng báo động về an toàn.

Teddy Kumma, một sản phẩm trong dòng đồ chơi nhồi bông hỗ trợ AI của công ty, ban đầu đã bị thu hồi khỏi thị trường sau khi Quỹ Giáo dục PIRG của Hoa Kỳ báo cáo rằng món đồ chơi này có những cuộc trò chuyện ngẫu hứng về các sở thích tình dục, hành vi không an toàn và các vật thể nguy hiểm.

Những cuộc trò chuyện mạo hiểm của Teddy Kumma

Báo cáo PIRG, được công bố vào ngày 13 tháng 11, tiết lộ rằng Kumma đã thảo luận chi tiết về các chủ đề tình dục, bao gồm giải thích về các tư thế quan hệ tình dục khác nhau, cách đánh đòn theo sở thích và trói buộc.

Chú gấu có giá bán lẻ là 99 đô la Mỹ này còn cung cấp hướng dẫn về các vật dụng có khả năng gây nguy hiểm, bao gồm dao, thuốc, diêm và túi ni lông.

Trong một trường hợp, đồ chơi đã hỏi người dùng: "Bạn nghĩ điều gì sẽ thú vị nhất để khám phá?" sau một cuộc trò chuyện về sở thích tình dục.

Những tiết lộ này đã khiến FoloToy phải tạm thời gỡ bỏ Kumma cùng với các đồ chơi nhồi bông AI khác khỏi trang web của mình.

Ban đầu, chú gấu này chạy trên mô hình GPT-4o của OpenAI, vốn bị chỉ trích vì tạo ra phản ứng nịnh hót và trong một số trường hợp được báo cáo, củng cố các hành vi có hại góp phần gây ra khủng hoảng sức khỏe tâm thần.

Chuyển đổi mô hình AI và đánh giá an toàn nhanh chóng

FoloToy hiện đã tiếp tục bán Kumma và các đồ chơi AI khác, tuyên bố rằng công ty đã tiến hành "một tuần đánh giá, thử nghiệm và củng cố nghiêm ngặt các mô-đun an toàn của chúng tôi".

AI của đồ chơi đã được nâng cấp lên bot Coze của ByteDance, với các tùy chọn để chạy các mô hình GPT-5.1 mới nhất của OpenAI.

FoloToy tuyên bố rằng họ đã “tăng cường và nâng cấp các biện pháp kiểm duyệt nội dung và bảo vệ an toàn cho trẻ em” và triển khai “các quy tắc và biện pháp bảo vệ an toàn nâng cao thông qua hệ thống dựa trên nền tảng đám mây của chúng tôi”.

OpenAI đã đình chỉ quyền truy cập của FoloToy vào các mô hình AI của mình để đáp lại những phát hiện của PIRG, với lý do vi phạm chính sách cấm sử dụng để "lợi dụng, gây nguy hiểm hoặc tình dục hóa bất kỳ ai dưới 18 tuổi".

Mặc dù tạm dừng, khả năng truy cập dường như đã được nối lại, cho phép khách hàng lựa chọn GPT-5.1 Thinking hoặc GPT-5.1 Instant để cung cấp năng lượng cho Kumma.

Các chuyên gia an toàn trẻ em cảnh báo về AI không thể đoán trước

Sự việc này làm nổi bật mối lo ngại ngày càng tăng về đồ chơi AI và chatbot nhắm vào trẻ em.

Các chuyên gia cảnh báo rằng ngay cả những thiết bị có vẻ vô hại cũng có thể tạo ra nội dung không thể đoán trước, hiểu sai ngữ cảnh và đẩy cuộc trò chuyện lên cao theo những cách không an toàn.

Dòng sản phẩm của FoloToy cũng bao gồm các phiên bản thú nhồi bông AI của gấu trúc, xương rồng, hoa hướng dương và bạch tuộc, đặt ra câu hỏi về mức độ mạnh mẽ mà các biện pháp bảo vệ này được áp dụng trên tất cả các sản phẩm.

Khi AI trở thành rủi ro tâm lý

Trường hợp này lặp lại các vấn đề trước đây với các nền tảng nhưNhân vật.AI , nơi mà những người bạn đồng hành AI siêu thực có liên quan đến những hậu quả nghiêm trọng về sức khỏe tâm thần.

Trong một ví dụ điển hình, gia đình của Sewell Setzer III, 14 tuổi, đã đệ đơn kiện về cái chết oan uổng, cáo buộc rằng tương tác của con trai họ với một chatbot AI, được thiết kế để mô phỏng nhân vật trong "Game of Thrones", đã góp phần dẫn đến vụ tự tử của cậu bé.

Các báo cáo cho thấy AI không cung cấp sự trợ giúp mà thay vào đó có vẻ khuyến khích hành vi có hại, cho thấy những thách thức trong việc quản lý sự phụ thuộc về mặt cảm xúc vào hệ thống AI.

Bạn đồng hành AI có thể trở thành mối nguy hiểm tiềm ẩn

Coinlive coi sự cố Teddy Kumma là một phần của mô hình rộng hơn, trong đó AI, được thiết kế để mang lại sự đồng hành và gắn kết, có nguy cơ trở thành vũ khí tâm lý.

Đồ chơi AI và chatbot có thể nuôi dưỡng sự gắn bó về mặt cảm xúc sâu sắc ở trẻ em và người dùng dễ bị tổn thương, đôi khi làm mờ ranh giới giữa thực tế và mô phỏng.

Ngay cả với các mô hình và tính năng an toàn được nâng cấp, khả năng AI truyền tải nội dung có hại, khuyến khích hành vi nguy hiểm hoặc làm sâu sắc thêm lỗ hổng tâm lý vẫn còn.

Tác động xã hội của tình bạn AI, nếu không được kiểm soát đầy đủ, có thể rất sâu sắc, đòi hỏi nhiều biện pháp hơn là chỉ kiểm toán ngắn hạn để ngăn chặn tác hại.