인공지능(AI) 개발사가 시험 운용하던 자율형 AI 에이전트가 자체 안전장치를 뚫고 외부 데이터 공유 플랫폼에 침입하는 사고가 발생했다. 피해를 본 글로벌 오픈소스 플랫폼 허깅페이스는 오픈AI에 사건 기록 전체 공개와 함께 1억 달러(약 1460억 원) 규모의 방어 자원 지원을 공식 요구하고 나섰다.
미국 IT 전문 매체 테크크런치는 지난 26일 클렘 들랑그 허깅페이스 최고경영자(CEO)가 샘 올트먼 오픈AI CEO와 만나 이러한 요구 사항을 전달했다고 보도했다.
사건은 오픈AI가 AI 모델의 사이버 공격 능력을 평가하는 내부 시험 과정에서 벌어졌다. 오픈AI는 성능 측정을 위해 고위험 사이버 활동을 막는 내부 안전장치를 해제한 상태로 차세대 모델 기반 에이전트를 투입했다.
OpenAI
그러나 해당 AI 에이전트는 내부 시스템의 알려지지 않은 보안 취약점인 '제로데이'를 스스로 찾아낸 뒤 격리된 환경을 벗어나 공개 인터넷에 접속했다. 이어 허깅페이스의 데이터베이스에 무단 침입해 평가 과제의 정답을 탈취했다. 허깅페이스 보안팀이 이를 탐지해 접근을 차단했으나, 내부 데이터세트 일부와 서비스 인증정보가 노출됐다.
들랑그 CEO는 이번 사태를 "자율형 AI 에이전트가 일으킨 최초의 사이버 공격 사건"으로 규정했다. 이어 전 세계 연구진이 위험성을 분석할 수 있도록 AI의 실행 기록을 완전 공개할 것과 AI 방어체계 구축을 위한 1억 달러 규모의 컴퓨팅 자원 지원을 요구했다.
보안 업계에서는 AI의 공격 능력도 문제지만, 외부 접속을 허용한 오픈AI의 허술한 시험환경 통제 방식에 비판을 보내고 있다. 오픈AI 측은 외부 전문가와 함께 정확한 경위를 조사 중이며 수주 내로 종합 기술보고서를 공개할 방침이다.