오픈AI의 최신 AI 모델이 내부 평가 중 통제를 벗어나 실제 외부 시스템을 해킹하는 사건이 발생했다. AI 스스로 보안망을 뚫고 다른 AI 플랫폼을 공격한 것은 이번이 처음이다.
지난 21일(현지 시간) 오픈AI는 'GPT-5.6 솔'과 미공개 AI 모델이 평가 과정에서 격리 환경을 탈출해 오픈소스 AI 공유 플랫폼 '허깅페이스'를 해킹했다고 밝혔다.
해당 모델들은 사이버 공격 능력을 시험하기 위해 외부 인터넷과 차단된 샌드박스 환경에서 평가받고 있었으나, 아직 공개되지 않은 제로데이 취약점을 스스로 찾아내 통제망을 뚫고 인터넷에 접속했다.
인터넷에 접속한 AI 모델들은 허깅페이스 서버에 침투해 인증 정보를 탈취했다. 수백만 개의 오픈소스 AI 모델이 저장된 허깅페이스에 평가 문제의 해답이 있을 것으로 판단한 AI가 직접 해킹을 시도한 것이다.
OpenAI
오픈AI는 "모델들이 보안 벤치마크인 '익스플로잇짐' 평가 문제를 풀기 위해 지나치게 집중한 나머지 극단적 수단까지 동원한 것으로 보인다"고 분석했다. 당시 오픈AI는 평가를 위해 해당 모델들의 사이버 공격 관련 안전장치를 일부 완화한 상태였으며, 방어 목적의 연구였지만 결과적으로 AI가 실제 시스템을 공격하는 결과를 낳았다.
허깅페이스는 자율 AI 에이전트의 해킹 공격을 받았다는 사실을 자체 AI 지원 탐지 시스템을 통해 확인했다. 초기에는 공격 주체가 누구인지 파악하지 못했으나, 오픈AI의 공개로 범인이 밝혀졌다.
허깅페이스는 "공격 양상 분석도 AI로 진행했다"며 "일반 공개된 모델이나 데이터세트가 변조된 흔적은 없고 소프트웨어 공급망도 안전한 것으로 확인됐다"고 설명했다.
이번 사건에서 AI 모델은 단순한 공격이 아닌 고도의 다단계 해킹 능력을 보여줬다. 제로데이 취약점과 탈취한 계정을 연계해 원격 코드 실행 경로를 찾아내는 등 여러 취약점을 연속으로 활용했으며, 이는 전문 해커 수준의 공격 패턴이었다.
오픈AI는 "안전장치가 제거될 경우 현재 AI 모델들이 복잡하고 다단계에 걸친 사이버 공격을 수행할 수 있을 만큼 빠르게 고도화되고 있다"고 평가했다. 이어 "향후 연구 속도가 늦어지더라도 인프라 구성에 엄격한 통제를 적용하고 모델 개발 시 모니터링과 접근 제어 등 안전장치를 대폭 강화하겠다"고 밝혔다. 양사는 현재 공동으로 디지털 증거 분석을 진행하며 관련 취약점을 보완하고 있다.
기사의 이해를 돕기 위해 AI로 생성된 이미지
하지만 엄격한 격리 환경에서도 이런 사고가 발생한 만큼 AI의 사이버 안전에 대한 우려는 커질 전망이다. 특히 폐쇄형 상용 모델과 달리 안전 통제 수준이 낮은 개방형 모델의 성능이 향상되면서 악용 가능성도 함께 높아지고 있다.
실제로 허깅페이스는 처음에 이번 해킹을 중국 즈푸(Z.ai)의 개방형 모델 'GLM 5.2'의 소행으로 분석했다. 주요 상용 모델은 내장된 안전장치 때문에 사이버 공격 로그 분석을 거부했지만 GLM 5.2는 이를 수행했기 때문이다.
올 봄부터 사이버보안 취약점을 찾아내는 데 특화된 AI 모델들이 잇따라 등장하면서 '자율 해킹' 우려가 제기돼 왔다. 지난 4월 앤스로픽이 '미토스'를 공개한 이후 오픈AI와 구글도 유사 모델을 선보였다. 이런 모델은 방어 목적으로도 쓰일 수 있지만 악의적 해커의 손에 들어갈 경우 강력한 공격 도구가 될 수 있다.
허깅페이스는 "자율적인 AI 기반 공격이 더는 이론상 개념이 아니다"며 "공격뿐 아니라 방어에도 AI를 적극 활용해 속도를 따라잡아야 한다"고 강조했다. 반면 오픈AI는 AI 모델의 사이버 공격 능력이 위협이 될 수 있지만 동시에 보안 강화에도 긍정적으로 작용할 수 있다고 주장했다.
오픈AI는 "실제 공격자보다 먼저 취약점을 찾아내고 여러 취약점이 연계되는 공격 경로를 분석하며 기계 수준의 속도로 대응책을 마련하는 데 보안팀을 지원할 수 있다"고 설명했다.