ChatGPTの塩交換のヒントに従った男性、19世紀の珍しい症状で入院

AIによる健康アドバイス、塩分置換実験後に稀なブロミズム症例につながる

米国の60歳の男性が、AIチャットボット「ChatGPT」のアドバイスに従って食卓塩を食事から取り除こうとした結果、3週間の入院を余儀なくされた。

彼は塩化ナトリウムを削減するため、臭化ナトリウムに置き換えた。臭化ナトリウムは、歴史的に食品調味料ではなく、医薬品や工業用として使用されてきた化合物である。

この決定は、パラノイア、幻覚、神経症状を含む深刻な健康上の合併症を引き起こした。

ソースACPジャーナル

パラノイアと幻覚で緊急入院

この男性は、以前は健康で精神科の病歴もなかったが、隣人が自分を毒殺しようとしていると確信し、救急外来を受診した。

のどの渇きがひどく、提供された水も拒否したという。

臨床検査では、高クロル血症、陰イオンギャップ陰性などの電解質異常がみられた。

医師たちはすぐに臭化物中毒（ブロミズム）を疑った。

24時間以内に被害妄想と幻聴・幻視が強まり、精神科に強制入院させられた。

ブロミズム歴史的毒性症候群の再来

臭化物中毒は、臭化物塩が市販の鎮静剤や医薬品に使用されていた20世紀初頭によく見られ、最盛期には精神科の入院患者の約8％を占めていた。

米国FDAは1975年から1989年にかけて、摂取可能な製品に含まれる臭化物を段階的に削減した。

症状には、疲労、不眠、微妙な運動失調、過度の口渇、皮膚病変、神経学的障害などがある。

この場合、患者の臭化物濃度は1700mg/Lに達し、基準範囲の200倍以上であった。

AIの誤操作は、非文脈化された健康アドバイスのリスクを浮き彫りにする

Annals of Internal Medicine』誌の報告によると、ChatGPT3.5で塩化物の代替品について問い合わせたところ、AIは臭化物を提案したという。

この研究はこう述べている、

"返信は、文脈が重要であると述べてはいるが、具体的な健康上の警告はしておらず、また、医療専門家がするであろうと推測されるような、なぜ私たちが知りたいと思ったのかについての問い合わせもしていない。"

医師たちは、AIは科学的に不正確である可能性があり、文脈が欠落している場合には安全でない行為を助長する可能性があることを強調した。

集中治療による回復

この男性の治療には、積極的な点滴と入念な電解質補正が行われた。

3週間かけて、精神状態と検査結果は徐々に正常に戻り、精神科での投薬治療を継続することなく退院した。

OpenAIが新たな安全対策で対応

このような事例を受け、OpenAIはChatGPTのセーフガード、特にメンタルヘルスに関するガイダンスをより厳格に導入した。

同社は、AIがエビデンスに基づくリソースを提供し、専門家による相談を奨励し、個人の重大な決断に関するアドバイスを控えることを発表した。

このアップデートは、GPT-4oの以前のバージョンが「好意的すぎる」「深刻な苦痛の兆候を認識できないことがある」と批判されたことを受けて行われた。

AI健康アドバイスが安全性と監視に疑問を投げかける

コインライブは、このような事件は、AIの将来性と実用的な限界の間のもろい境界線を露呈していると見ている。

ChatGPTのようなツールは迅速な情報を提供できるが、文脈や個人のリスクを評価できないままであり、ユーザーは有害な結果に陥りやすい。

より広範な市場において、これはAI主導の保健指導におけるより強力なセーフガードと説明責任の緊急の必要性を浮き彫りにしている。

厳密な安全性チェックを導入できないプロジェクトは、信頼を得るのに苦労する可能性があり、迅速な導入だけで長期的な存続が可能かどうか疑問視されている。