AI 건강 조언, 소금 대체 실험 후 희귀 브로미즘 사례로 이어져
미국의 한 60세 남성은 AI 챗봇 ChatGPT의 조언에 따라 식단에서 소금을 빼려고 시도했다가 3주 동안 병원에 입원하기도 했습니다.
염화나트륨을 줄이기 위해 그는 과거에 식품 조미료가 아닌 의약품과 산업 분야에서 사용되던 브롬화나트륨으로 대체했습니다.
이 결정은 편집증, 환각, 신경학적 증상 등 심각한 건강상의 합병증을 유발했습니다.
출처:ACP 저널
편집증과 환각으로 응급실 입원이 필요한 경우
정신과 병력이 없는 건강한 남성이 이웃이 자신을 독살하려 한다고 확신하고 응급실에 도착했습니다.
그는 극심한 갈증을 호소하며 제공된 물도 거부했습니다.
실험실 테스트 결과 고염소혈증과 음이온 갭을 포함한 전해질 수치가 비정상적인 것으로 나타났습니다.
의사들은 브롬화 독성, 즉 브롬화증(오늘날에는 거의 볼 수 없는 질환)을 빠르게 의심했습니다.
24시간 이내에 편집증과 청각 및 시각적 환각이 심해져 비자발적인 정신과 입원 치료를 받게 되었습니다.
브로미즘: 역사적인 독성 증후군의 귀환
브롬산염 독성은 20세기 초에 일반의약품 진정제 및 약물에 브롬염이 사용되면서 한때 정신과 병원 입원의 약 8%를 차지할 정도로 흔하게 발생했으며, 최고조에 달했던 시기에는 브롬화합물 중독으로 인한 사망자 수가 전체 사망자의 약 8%에 달했습니다.
미국 FDA는 1975년부터 1989년 사이에 식용 제품에서 브롬화물을 단계적으로 퇴출시켰기 때문에 오늘날에는 브롬화물이 검출되는 사례가 극히 드뭅니다.
증상으로는 피로, 불면증, 미묘한 운동 실조증, 과도한 갈증, 피부 병변, 신경학적 장애 등이 있습니다.
이 경우 환자의 브롬화물 수치는 기준 범위의 200배가 넘는 1700mg/L에 달했습니다.
맥락을 벗어난 건강 조언의 위험을 강조하는 AI의 실수
내과학 연보에 따르면 연구자들이 ChatGPT 3.5에 염화물 대체품을 문의하자 AI가 브롬화물을 제안했다고 합니다.
연구팀은 이렇게 말했습니다,
"답변에는 맥락이 중요하다고 명시되어 있지만 구체적인 건강 경고는 제공하지 않았고, 의료 전문가가 할 것으로 예상되는 것처럼 왜 우리가 알고 싶어 하는지에 대한 문의도 없었습니다."
의사들은 AI가 과학적으로 부정확한 결과를 낳을 수 있으며, 맥락이 누락된 경우 안전하지 않은 관행을 조장할 수 있다고 강조했습니다.
집중 치료를 통한 회복
이 남성의 치료에는 적극적인 정맥 수액 투여와 세심한 전해질 교정이 포함되었습니다.
3주 동안 그의 정신 상태와 검사 결과는 점차 정상으로 돌아왔고, 지속적인 정신과 약물 치료 없이 퇴원할 수 있었습니다.
OpenAI, 새로운 안전 조치로 대응
이와 같은 사례 이후, OpenAI는 특히 정신 건강 안내와 관련하여 ChatGPT에 더 엄격한 안전장치를 도입했습니다.
Facebook은 이제 AI가 증거 기반 리소스를 제공하고, 전문가 상담을 권장하며, 중대한 개인적 결정에 대한 조언을 제공하지 않을 것이라고 발표했습니다.
이번 업데이트는 이전 버전의 GPT-4o가 "너무 유쾌하다"는 비판과 함께 심각한 조난 징후를 인식하지 못하는 경우가 있다는 지적을 받은 이후 나온 것입니다.
안전과 감독에 대한 의문을 제기하는 AI 건강 조언
코인라이브는 이와 같은 사건이 인공지능의 가능성과 현실적 한계 사이의 취약한 경계를 드러낸다고 지적합니다.
ChatGPT와 같은 도구는 신속한 정보를 제공할 수 있지만, 상황이나 개인적 위험을 평가할 수 없어 사용자가 유해한 결과에 노출될 수 있습니다.
더 넓은 시장에서는 AI 기반 건강 가이던스에서 더 강력한 안전장치와 책임이 시급히 필요하다는 점을 강조합니다.
엄격한 안전 점검을 포함하지 않는 프로젝트는 신뢰를 얻는데 어려움을 겪을 수 있으며, 빠른 도입만으로 장기적인 실행 가능성을 보장할 수 있는지 의문을 가질 수 있습니다.