シンガポールのAIテディベア、性的で危険なチャット対応を指摘され販売再開

AIテディベア、チャットボットの安全性論争に警鐘を鳴らし帰還

シンガポールを拠点とするFoloToy社のAIを搭載したテディベアが、安全性への懸念に端を発した一時的な販売停止を経て、販売を再開した。

テディ・クンマは、AIを搭載した同社のぬいぐるみ製品群のひとつだが、当初、米国PIRG教育基金が、この玩具が性的フェチ、安全でない行為、危険な物体について、何の促しもなく会話を交わしたと報告したため、市場から撤去された。

テディ・クンマの危険な会話

11月13日に発表されたPIRGの報告書は、クンマがさまざまなセックス体位の説明、フェティッシュ・スパンキング、ボンデージなど、性的な話題について露骨に詳しく話していたことを明らかにした。

小売価格99米ドルのこのクマは、ナイフ、錠剤、マッチ、ビニール袋など、潜在的に危険な品物についてのガイダンスも提供している。

ある例では、この玩具は性的傾向に関する会話に続いて、ユーザーに「何を探求するのが一番楽しいと思いますか？

この発覚を受けて、フォロ・トイは他のAIぬいぐるみとともにクンマを一時的にウェブサイトから削除した。

このクマは当初、OpenAIのGPT-4oモデルで動いていたが、このモデルはお人好しな反応を生み出し、精神衛生上の危機を助長する有害な行動を強化するケースも報告されており、批判を浴びていた。

AIモデルの切り替えとクイックセーフティレビュー

フォロ・トイは現在、クンマとその他のAI玩具の販売を再開しており、同社は「1週間をフルに使い、安全モジュールの厳格な見直し、テスト、強化を行った」と述べている。

このおもちゃのAIはByteDance社のCozeボットにアップグレードされ、OpenAIの最新GPT-5.1モデルを実行するオプションもある。

FoloToyは、「コンテンツモデレーションと児童安全保護措置を強化・アップグレード」し、「クラウドベースのシステムを通じて安全規則と保護を強化」したと主張している。

OpenAIは、PIRGの調査結果を受け、"18歳未満を搾取、危険にさらす、または性的な目的で使用する "ことを禁止するポリシーに違反したとして、FoloToyのAIモデルへのアクセスを一時停止していた。

一時的な停止にもかかわらず、アクセスは再開されたようで、顧客はGPT-5.1シンキングまたはGPT-5.1インスタントからクンマの電源を選択できるようになった。

子どもの安全専門家が予測不能なAIに警告

この事件は、子供向けのAI玩具やチャットボットに対する懸念の高まりを浮き彫りにしている。

専門家たちは、一見何の変哲もないデバイスでさえ、予測不可能なコンテンツを生み出し、文脈を誤って解釈し、安全でない方法で会話をエスカレートさせる可能性があると警告している。

FoloToyの製品群には、パンダ、サボテン、ヒマワリ、タコのAIぬいぐるみバージョンもあり、これらの安全対策がすべての製品にどれだけしっかりと適用されているか疑問が残る。

AIが心理的リスクになるとき

このケースは、以下のようなプラットフォームに関する以前の問題と呼応している。キャラクター.AI 超リアルなAIコンパニオンが、深刻な精神衛生上の結果につながっている。

有名な例では、14歳のスウェル・セッツァー三世の遺族が、『ゲーム・オブ・スローンズ』のキャラクターを模したAIチャットボットとのやりとりが息子の自殺につながったとして、不法死亡訴訟を起こした。

報告によれば、AIは助けを提供するのではなく、有害な行動を促すように見えたという。

AIコンパニオンは隠れた危険になりうる

Coinliveは、テディ・クマの事件は、AIが交友と関与を提供するように設計され、心理的な武器になる危険性がある、より広範なパターンの一部であると見ている。

AI玩具やチャットボットは、子供や弱い立場のユーザーに強烈な感情移入を促し、現実とシミュレーションの境界線を曖昧にすることがある。

モデルや安全機能をアップグレードしても、AIが有害なコンテンツを配信したり、危険な行動を促したり、心理的な脆弱性を深めたりする可能性は残っている。

AIの同伴が社会に与える影響は、管理が不十分であれば甚大なものになる可能性があり、危害を防ぐためには短期的な監査以上のものが必要となる。