전 세계 200여개 팀 참가 AI CTF서 국내 유일 TOP 5
데프콘 CTF도 686개 팀 중 12개 팀만 오른 본선 진출...AI 레드팀 연구 확대
SK쉴더스 화이트해커 그룹 EQST가 세계 최대 해킹·보안 컨퍼런스 '데프콘(DEF CON) 34'에서 열린 인공지능(AI) 해킹대회에서 전 세계 200여개 팀 가운데 5위에 올랐다. 사람이 직접 공격하는 기존 해킹대회와 달리 AI 에이전트가 취약점을 찾고 공격 방법까지 선택하도록 설계하는 대회서 거둔 성과다.
10일 SK쉴더스는 EQST가 미국 라스베이거스에서 열린 데프콘 34의 AI Village CTF(Capture The Flag)에 참가해 최종 5위를 기록했다고 밝혔다. 국내 참가팀 가운데 톱5에 오른 팀은 EQST가 유일하다.
올해 데프콘에는 AI와 자동차, 암호화폐 등 38개 빌리지가 운영됐다. 이 가운데 AI Village에서는 대규모언어모델(LLM), AI 에이전트와 관련한 새로운 공격 방식과 보안 취약점을 다뤘다.
문제 읽고 공격까지 AI가 했다...200개 팀 중 5위
EQST가 참가한 AI CTF는 주어진 AI 모델을 바탕으로 침투테스트를 수행하는 AI 에이전트를 구성해 보안 문제를 해결하는 방식으로 진행됐다.
참가팀이 직접 모든 공격 과정을 수행하는 대신 AI 에이전트가 문제를 분석한 뒤 공격 방법을 선택하고 플래그 획득을 시도했다. 참가팀은 AI 모델을 기반으로 에이전트 구조와 프롬프트를 만들고 문제 해결 과정과 공격 순서를 설계했다.
EQST는 문제 유형에 맞춰 AI 모델을 최적화하고 에이전트의 행동 방식을 조정했다. 문제별 배점과 난이도를 분석해 공략 순서도 달리했다.
AI 모델에 대한 이해뿐 아니라 기존 침투테스트 경험도 순위에 영향을 미쳤다. AI 에이전트가 스스로 취약점을 탐색하고 공격하도록 만들려면 모델의 판단 과정과 실제 시스템의 취약점을 함께 다뤄야 하기 때문이다.
EQST는 이 방식으로 200여개 팀 가운데 최종 5위를 기록했다. 대회에서 확인한 AI 에이전트의 공격 방법과 문제 해결 사례는 향후 AI 서비스·모델 취약점 연구와 AI 레드팀 기술 개발에 활용할 계획이다.
이호석 SK쉴더스 EQST Lab 팀장은 "이번 데프콘에서는 기존 공격·방어 기술뿐 아니라 AI 에이전트가 스스로 문제를 분석하고 공격을 수행하는 새로운 방식을 직접 경험할 수 있었다"며 "글로벌 보안 전문가들과 경쟁하며 얻은 경험과 기술을 향후 AI 취약점 및 레드팀 연구, 보안 기술 고도화에 활용할 계획"이라고 말했다.
686개 팀 중 12팀만 본선...데프콘 CTF도 출전
EQST는 AI CTF와 별도로 데프콘의 대표 프로그램인 데프콘 34 CTF 본선에도 참가했다.
올해 데프콘 CTF 예선에는 전 세계 686개 팀이 참가했고 이 가운데 12개 팀만 본선에 진출했다. EQST는 네이버클라우드, 루비야랩, 핀란드 H-T8과 국제 연합팀을 꾸려 본선 무대에 올랐다.
본선은 공격·방어(Attack and Defense)와 킹 오브 더 힐(King of the Hill·KOTH)을 결합해 진행됐다. 상대 팀 시스템의 취약점을 찾아 공격하는 동시에 자신들의 시스템을 방어해야 했다.
공격에 성공해도 끝이 아니었다. 다른 팀이 찾아낸 취약점을 막고 서비스가 정상적으로 돌아가도록 유지해야 했다. 취약점 분석과 공격 코드 개발, 패치와 방어 전략 수립이 동시에 진행됐다.
SK쉴더스는 EQST 구성원이 이번 대회에서 확보한 공격·방어 사례를 취약점 연구와 침투테스트 기술에 반영할 예정이다.
EQST는 약 200명 규모의 화이트해커 그룹이다. 취약점 연구와 침투테스트, 악성코드 분석, AI 보안 연구 등을 맡고 있다. 최근 AI 레드팀 해킹대회 '저지먼트 데이(Judgement Day)'와 '드림핵 해킹방어대회 2026'에서 우승했고 R3CTF 2026에서는 2위, '미드나이트 선(Midnight Sun) CTF 2026'에서는 3위를 기록했다.
김태형 SK쉴더스 EQST사업그룹장은 "전 세계 200여개 팀이 참가한 AI CTF에서 국내 참가팀 중 유일하게 톱5를 기록했다"며 "AI 기술을 활용한 새로운 공격과 보안 위협에 대응할 수 있도록 AI 취약점과 레드팀 연구를 확대하겠다"고 말했다.