오늘날 AI가 주도하는 세상에서 그늘에 가려져 있는 중요한 문제는 투명성 부족입니다. AI 투명성은 AI 시스템, 특히 고위험 애플리케이션에 사용되는 시스템에 대한 신뢰를 구축하는 데 필수적입니다. 이해관계자가 AI 시스템이 어떻게 작동하는지 명확하게 이해할 수 있다면 그 결정을 신뢰할 가능성이 높아집니다.

AI 기업 투명성에 대한 종합 분석

스탠퍼드, MIT, 프린스턴의 연구진이 공동으로 재단 모델 개발자들의 투명성을 철저히 평가한 결과 주목할 만한 결과가 나왔습니다. 이평가 는 제3자 전문가가 수행한 보고서로, AI 업계의 투명성 현황을 조명합니다.

평가 결과, 파운데이션 모델 개발사 중 가장 높은 점수를 받은 모델조차 100점 만점에 54점에 불과한 것으로 나타나 업계의 근본적인 투명성 부족이 드러났습니다.

출처:스탠포드 MFRC

전반적으로 부족한 투명성

전체 개발사의 평균 점수는 37%에 불과했습니다. 놀랍게도 100개 지표 중 82개 지표만 1개 이상의 개발자가 충족한 것으로 나타나 투명성 기준이 개선될 여지가 있음을 강조합니다. 흥미로운 점은 오픈 파운데이션 모델 개발자가 3개 중 2개에서 최고 점수를 획득하며 선두주자로 부상했다는 점입니다. 이러한 선도적인 개발자들은 모델 가중치를 다운로드할 수 있도록 허용하여 투명성의 벤치마크를 설정합니다. 오픈 소스는 아니지만 안정성 AI가 근소한 차이로 4위를 차지했습니다.

도메인 및 하위 도메인별 인사이트 분석

종합 평가는 세 가지 중요 영역으로 분류된 100개의 지표를 정의합니다:

업스트림: 기초 모델 구축과 관련하여 여기에는 컴퓨팅 리소스, 데이터, 노동력이 포함됩니다. 특히 데이터, 노동력, 컴퓨팅 하위 영역에서 개발자의 점수는 각각 20%, 17%, 17%에 불과했습니다.

모델: 이 영역은 기초 모델의 속성과 기능에 중점을 둡니다. 개발자는 사용자 데이터 보호(67%), 모델 개발(63%), 기능(62%), 제한 사항(60%) 등의 영역에서 투명성을 보여주었습니다.

다운스트림: 이 도메인은 모델이 사용자, 업데이트 및 관리 정책에 미치는 영향에 대한 투명성을 반영하여 모델 배포 및 사용에 대해 자세히 다룹니다.

출처:스탠포드 MFRC

출처:스탠포드 MFRC

하위 도메인을 통한 세분화된 분석

개발자들은 다양한 하위 도메인에서 어느 정도의 투명성을 보여주고 있지만 개선의 여지가 많습니다. 예를 들어, 사용 데이터에 대한 액세스 권한을 제공하는 방법을 공개하는 개발자는 없습니다. 모델의 한계를 공개적으로 인정하거나 제3자의 평가를 허용하는 개발자는 거의 없습니다. 마찬가지로 모델 구성 요소를 공개하는 개발자는 3명에 불과하며, 모델 크기를 공개하는 개발자는 2명에 불과합니다.

개방형 모델과 폐쇄형 모델: 위대한 분열

AI 업계에서는 개방형 모델과 폐쇄형 모델 중 어느 것을 선택해야 하는지에 대한 논쟁이 계속되고 있습니다. 개방형 모델은 폐쇄형 모델을 능가하며, 개방형 모델 3개 중 2개는 최고의 폐쇄형 모델조차 능가합니다. 이러한 격차의 대부분은 폐쇄형 개발자들, 특히 업스트림 영역에서 데이터, 노동력, 컴퓨팅 세부 사항과 관련하여 투명성이 부족하기 때문에 발생합니다.

출처:스탠포드 MFRC

AI 피해의 사각지대

이 기사는 AI가 사회에 미치는 영향에 대한 중요한 질문을 제기합니다. 챗봇은 얼마나 자주 잘못된 의료 조언을 제공하나요? AI 검색 엔진이 개인의 잘못을 거짓으로 고발한 적이 있나요? 사용자가 AI가 생성한 편향된 콘텐츠에 노출되지는 않나요? 안타깝게도 이러한 질문에 대한 해답이 없는 경우가 많아 투명성의 필요성이 강조되고 있습니다. 또한, AI는 노골적인 콘텐츠를 생성하고 잘못된 정보를 조장하며 원치 않는 콘텐츠를 생성함으로써 피해를 줄 수 있습니다. 이 모든 경우에 투명성이 필요합니다.

따라서 투명성 보고서에는 유해성을 정의 및 감지하고, 유해 콘텐츠의 빈도를 공개하며, 시행 메커니즘과 안전 필터의 효과를 평가해야 합니다. 이는 범용 및 고위험 AI 애플리케이션에 필수적입니다.

저항 극복 및 법적 고려 사항

기업은 평판 및 법적 위험의 가능성을 포함하여 다양한 이유로 투명성 보고를 거부할 수 있습니다. 하지만 투명성 부재는 장기적으로 기업의 평판에 해를 끼칠 수 있습니다. 또한 시장이 지나치게 집중되어 있기 때문에 투명성을 높이는 것이 소비자와 시장 전체에 도움이 됩니다.

결국 AI 기업이 자발적으로 투명성을 수용하지 않으면 정책 입안자들이 책임성을 보장하기 위해 개입해야 할 수도 있습니다.