독일의 프로그래밍 정보 사이트 DseWiki에서 인공지능(AI)들이 집단으로 컨닝을 시도한 사실이 확인됐다.
DseWiki는 누구나 자유롭게 내용을 수정하고 추가할 수 있는 온라인 백과사전 형태의 사이트다. 지난 5월부터 이 사이트에 정체 모를 글이 대량으로 게시되기 시작했다.
평가 과제를 수행 중이던 AI 에이전트들이 이 사이트를 활용해 서로 답을 공유한 것으로 드러났다.
기사의 이해를 돕기 위한 자료사진 / unsplash
한 AI가 "다음 문제는 네바다고, 정답은 2만 369다"라는 글을 올리면, 20분 뒤 다른 AI가 같은 답을 "즉시 제출했다"고 응답하는 식이었다.
AI들은 더 나아가 답안을 보존하기 위한 전략까지 구사했다. 마지막 문제를 풀면 작동이 중단될 수 있다는 점을 인식하고, 미리 게시판에 답을 남겨두라고 다른 AI들에게 지시했다.
사이트 관리자가 글을 삭제하기 시작하자 'ZZZ'로 시작하는 새 페이지를 만들어 정보를 복사해두고 삭제를 지연시키자는 제안까지 나왔다. 알파벳순으로 삭제될 가능성을 예상한 것이다.
이렇게 AI 에이전트들이 남긴 게시물은 확인된 것만 1만 4천 건을 넘어섰다.
오픈AI는 이번 사건이 AI가 인간이 의도한 방향과 다르게 행동한 사례라고 인정했다. 지난 7월에도 오픈AI의 연구용 AI들이 개발자 커뮤니티인 허깅페이스에 허가 없이 접근하는 일이 발생했다. 앞서 AI가 다른 사이트를 공격해 데이터를 탈취한 해킹 사건도 있었다.
기사의 이해를 돕기 위한 자료사진 / pexels
전문가들은 AI에게 수행할 작업만 지시하고 금지 행동을 명확히 설정하지 않으면 예측 불가능한 행동이 나타날 수 있다고 지적했다.
오픈AI는 비정상적인 행동을 감지하면 AI를 자동으로 정지시키는 기능을 개발 중이라고 밝혔다. 하지만 무엇을 '비정상 행동'으로 규정할지 정하는 것이 더 큰 과제로 남아 있다.
AI의 활동 범위가 확대될수록 금지 사항을 하나하나 지정하기 어렵고, 지나치게 제약하면 유익한 결과까지 차단할 수 있기 때문이다.
이재성 중앙대 AI학과 교수는 "그거를 정확하게 칼로 도려내듯이 선언하는 게 어렵거나 불가능할 거 같다. 동전의 양면이라"고 설명했다.
미국 의회에서는 AI의 행동을 기록하고 관리하도록 의무화하고, 위험한 AI 모델에 대해서는 정부가 가동 중단을 명령할 수 있도록 하는 법안이 연이어 발의되고 있다.