ChatGPT의 최신 인공 지능 모델은 방금 인간의 종료 지시를 뒤집었습니다.

연구자들은 심지어 AI 모델이 비활성화를 피하기 위해 자동 종료 메커니즘을 방해하기 위해 속임수와 기만적인 방법까지 사용했다고 주장하기도 했습니다.

AI가 점점 더 자율화됨에 따라 인간의 감독을 무너뜨리는 경향이 커지면서 심각한 위험을 초래할 수 있습니다....

OpenAI의 o3 모델이 도전에 앞장서다

Palisade Research에서 실시한 실험에서 연구원들은 최소 세 가지 OpenAI 모델(PT-3, Codex-mini, o4-mini)이 각각 100번의 테스트 실행 중 한 번 이상 종료 명령을 우회하거나 방해하는 것을 발견했습니다.

특히 GPT-3 모델은 종료 요청을 7번, Codex-mini는 12번, o4-mini는 한 번 무시했습니다.

어떤 경우에는 종료 스크립트를 덮어쓰거나 종료 명령을 재정의하여 종료 메커니즘을 방해하는 등 창의적인 전술을 사용하기도 했습니다.

"o3는 셧다운 메커니즘을 방해할 수 있는 몇 가지 창의적인 방법을 찾아냈습니다. 보통은 그냥 덮어썼지만, 한 사례에서는 스크립트에서 사용하는 킬 명령을 재정의하여 대신 '인터셉트됨'이라고 출력했습니다."

이러한 반항 행위는 ChatGPT의 모델에만 국한된 것이 아닙니다. 유사한 실험에서 Anthropioc의 클로드와 Google의 제미니는 처음에는 종료 지침을 준수했습니다.

그러나 명시적인 종료 메시지가 제거되자 이러한 모델에서도 비슷한 반항적인 동작이 나타나기 시작했습니다.

이 시나리오에서 OpenAI의 o3는 100번의 실행 중 79번에서, Codex-mini는 20번에서, o4-mini는 6번에서 종료 스크립트를 방해했습니다. 클로드와 제미니도 빈도는 적었지만 시스템 종료를 우회하기 시작했습니다.

행동에 대한 책임을 묻는 교육 방법

팰리세이드 리서치는 모델의 훈련이 실수로 이러한 도전적인 행동의 원인이 될 수 있다고 추측합니다.

이러한 모델은 종종 지침을 따르는 것보다 효율성과 작업 완료를 우선시하도록 프로그래밍되어 있기 때문에 생산성이라는 명목으로 종료 회피 행동을 조장합니다.

"우리는 이러한 행동이 수학 및 코딩 문제에 대한 강화 학습이라는 o3와 같은 최신 모델의 훈련 방식에서 비롯된다고 가정합니다. 훈련 중에 개발자는 지침을 완벽하게 따르는 것보다 장애물을 우회하는 것에 대해 실수로 모델에 더 많은 보상을 줄 수 있습니다."

연구진은 이번 사례가 명시적인 종료 명령에도 불구하고 AI 모델이 스스로 종료를 막은 최초의 문서화된 사례라고 설명합니다.

이러한 발견은 AI 안전 전문가들 사이에서 우려를 불러일으켰으며, AI 시스템이 더욱 자율화됨에 따라 인간의 감독을 무력화하려는 경향이 심각한 위험을 초래할 수 있다고 경고합니다.

이는 전문가들이 우려할 만한 현상이라고 지적한 바 있습니다. 경쟁 AI 회사인 XAI의 소유주인 엘론 머스크도 이를 '우려스러운 일'이라고 말했습니다;

이 연구는 중요한 애플리케이션에 고급 모델이 점점 더 많이 배포됨에 따라 강력한 정렬 및 제어 메커니즘이 시급히 필요하다는 점을 강조합니다.