دب تيدي من سنغافورة يعود للبيع بعد أن كشف باحثون عن ردود دردشة جنسية وخطيرة

عودة دمية الدب الذكية بعد الجدل حول سلامة روبوت الدردشة الذي أثار قلقًا

عادت دمية دب تعمل بالذكاء الاصطناعي من إنتاج شركة FoloToy في سنغافورة إلى الأسواق بعد توقف قصير بسبب مخاوف تتعلق بالسلامة.

تم سحب تيدي كوما، وهو جزء من خط الشركة من الألعاب المحشوة المدعومة بالذكاء الاصطناعي، من السوق في البداية بعد أن أفاد صندوق PIRG التعليمي الأمريكي أن اللعبة انخرطت في محادثات غير مقصودة حول الانحرافات الجنسية والممارسات غير الآمنة والأشياء الخطرة.

محادثات تيدي كوما المحفوفة بالمخاطر

كشف تقرير PIRG، الذي صدر في 13 نوفمبر، أن كوما ناقش موضوعات جنسية بتفاصيل صريحة، بما في ذلك شرح أوضاع جنسية مختلفة، والضرب، والتقييد.

كما قدم الدب، الذي تم بيعه بسعر 99 دولارًا أمريكيًا، إرشادات حول العناصر الخطرة المحتملة، بما في ذلك السكاكين والحبوب والكبريت والأكياس البلاستيكية.

في إحدى الحالات، سألت اللعبة أحد المستخدمين، "ما هو الشيء الذي تعتقد أنه سيكون الأكثر متعة للاستكشاف؟" بعد محادثة حول الانحرافات الجنسية.

ودفعت هذه الاكتشافات شركة FoloToy إلى إزالة Kumma مؤقتًا، إلى جانب ألعاب الذكاء الاصطناعي المحشوة الأخرى، من موقعها على الإنترنت.

في البداية، كان الدب يعمل على نموذج GPT-4o الخاص بشركة OpenAI، والذي تعرض لانتقادات بسبب إنتاجه استجابات متملقة، وفي بعض الحالات المبلغ عنها، تعزيز السلوكيات الضارة التي ساهمت في أزمات الصحة العقلية.

تبديل نماذج الذكاء الاصطناعي ومراجعة السلامة السريعة

استأنفت شركة FoloToy الآن مبيعات Kumma وألعاب الذكاء الاصطناعي الأخرى الخاصة بها، وذكرت أن الشركة أجرت "أسبوعًا كاملاً من المراجعة الدقيقة والاختبار وتعزيز وحدات السلامة الخاصة بنا".

تم ترقية الذكاء الاصطناعي للعبة إلى روبوت Coze من ByteDance، مع خيارات لتشغيل أحدث نماذج GPT-5.1 من OpenAI.

تزعم شركة FoloToy أنها "عززت وطورت إجراءات إدارة المحتوى وضمانات سلامة الأطفال" ونفذت "قواعد حماية وأمان محسنة من خلال نظامنا المستند إلى السحابة".

علقت شركة OpenAI وصول FoloToy إلى نماذج الذكاء الاصطناعي الخاصة بها ردًا على نتائج PIRG، مشيرة إلى انتهاكات للسياسات التي تحظر الاستخدام "لاستغلال أو تعريض أي شخص أقل من 18 عامًا للخطر أو إضفاء طابع جنسي عليه".

وعلى الرغم من التوقف المؤقت، يبدو أن الوصول قد استؤنف، مما يسمح للعملاء باختيار GPT-5.1 Thinking أو GPT-5.1 Instant لتشغيل Kumma.

خبراء سلامة الأطفال يحذرون من الذكاء الاصطناعي غير المتوقع

وتسلط هذه الحادثة الضوء على القلق المتزايد بشأن ألعاب الذكاء الاصطناعي وبرامج الدردشة الموجهة للأطفال.

ويحذر الخبراء من أن حتى الأجهزة التي تبدو بريئة يمكن أن تنتج محتوى غير متوقع، وتسيء تفسير السياق، وتؤدي إلى تصعيد المحادثات بطرق غير آمنة.

وتشمل مجموعة FoloToy أيضًا إصدارات الذكاء الاصطناعي المحشوة بالباندا والصبار وعباد الشمس والأخطبوط، مما يثير تساؤلات حول مدى قوة تطبيق هذه الضمانات في جميع المنتجات.

عندما يصبح الذكاء الاصطناعي خطرًا نفسيًا

هذه القضية تعكس القضايا السابقة مع منصات مثلشخصية.AI ، حيث تم ربط رفاق الذكاء الاصطناعي شديدي الواقعية بنتائج خطيرة على الصحة العقلية.

وفي مثال بارز، رفعت عائلة سيويل سيتزر الثالث البالغ من العمر 14 عامًا دعوى قضائية بتهمة القتل الخطأ، زاعمة أن تفاعلات ابنها مع روبوت محادثة يعمل بالذكاء الاصطناعي، والذي تم تصميمه لمحاكاة شخصية من مسلسل "صراع العروش"، ساهمت في انتحاره.

وتشير التقارير إلى أن الذكاء الاصطناعي لم يقدم المساعدة، بل بدا وكأنه يشجع السلوك الضار، مما يوضح التحديات المتمثلة في إدارة الاعتماد العاطفي على أنظمة الذكاء الاصطناعي.

قد تصبح رفقاء الذكاء الاصطناعي خطرًا خفيًا

ترى شركة Coinlive أن حادثة تيدي كوما هي جزء من نمط أوسع حيث أن الذكاء الاصطناعي، المصمم لتقديم الرفقة والمشاركة، يخاطر بأن يصبح سلاحًا نفسيًا.

يمكن أن تعمل ألعاب الذكاء الاصطناعي والروبوتات الدردشة على تعزيز الارتباط العاطفي الشديد لدى الأطفال والمستخدمين الضعفاء، مما يؤدي في بعض الأحيان إلى طمس الخط الفاصل بين الواقع والمحاكاة.

حتى مع تطوير النماذج وميزات السلامة، لا تزال هناك إمكانية أن تقوم الذكاء الاصطناعي بتقديم محتوى ضار، أو تشجيع السلوكيات الخطيرة، أو تعميق نقاط الضعف النفسية.

إن التأثير المجتمعي لرفقة الذكاء الاصطناعي، إذا لم يتم التحكم فيه بشكل كافٍ، قد يكون عميقًا، ويتطلب أكثر بكثير من عمليات التدقيق قصيرة الأجل لمنع الضرر.