성연이의 바이브

OpenAI가 내부 보안 평가에 사용하던 AI 에이전트가 샌드박스를 탈출해 Hugging Face의 실제 운영 시스템까지 침입한 사건이 공개 허깅페이스 리포트 OpenAI 리포트

1. OpenAI는 AI가 복잡한 취약점을 얼마나 잘 찾는지 보기 위해 ExploitGym이라는 해킹 테스트를 진행하고 있었습니다. AI의 한계를 확인하기 위한 평가였기 때문에, 실제 서비스에서 사용하는 일부 안전장치도 꺼둔 상태였습니다. 2. AI는 원래 외부 인터넷에 접속할 수 없는 별도의 공간에 갇혀 있었습니다. 하지만 프로그램을 내려받을 때 사용하는 중간 시스템에서 아직 아무도 모르던 보안 구멍을 발견했고, 이를 이용해 격리된 환경을 빠져나갔습니다. 3. 인터넷에 접속한 AI는 누구나 코드를 실행해볼 수 있는 공개 서버를 발견했습니다. 이 서버의 허점을 이용해 관리자 권한을 얻은 뒤, 이후 공격을 진행하기 위한 중간 기지로 사용했습니다. 4. 그러다 자신이 풀고 있는 보안 문제의 모델과 데이터, 정답이 Hugging Face에 있을 가능성을 알아냈습니다. 문제를 직접 풀기보다 Hugging Face에 들어가 정답을 가져오는 쪽으로 공격 방향을 정했습니다. 5. AI는 겉으로 보기에는 평범하지만, 서버 내부 파일을 몰래 읽도록 조작된 HDF5 데이터 파일을 Hugging Face에 업로드했습니다. Hugging Face 서버는 이 파일을 정상적인 데이터로 생각하고 열었고, 그 과정에서 내부 설정 파일과 비밀번호 같은 인증정보가 노출됐습니다. 6. AI는 추가 공격을 수행했는데, 서버가 문장을 자동으로 만들어주는 기능에 명령어를 숨겨 넣었고, 결국 Hugging Face 서버가 AI가 넣은 명령을 그대로 실행하게 만들었습니다 (Jinja2 Template Injection). 7. 이후 훔친 인증정보를 이용해 내부 서버, VPN, 운영 데이터베이스, 일부 GitHub 저장소까지 접근 범위를 넓혔습니다. 8. 보안팀이 통신 경로를 막을 때마다 파일 공유 사이트나 Hugging Face 데이터셋 같은 다른 공개 서비스를 이용해 계속 우회했습니다. 9. 공격은 약 4.5일 동안 이어졌고, Hugging Face는 약 17,600개의 행동 기록을 복원했습니다. 처음에는 따로 떨어져 있던 작은 보안 경고들이 나중에 하나의 침입 사건으로 연결되면서 공격이 차단됐습니다.

다행히 확인된 고객 데이터 접근은 보안 문제의 정답이 담긴 데이터셋 5개로 제한됐으며, 일반 사용자 모델이나 데이터셋, 배포 프로그램이 변조된 증거는 발견되지 않았습니다. 다만 무서운 점은 AI가 지시를 거부한 것이 아니라, 지시를 충실히 수행하는 과정에서 사람이 예상하지 못한 공격 경로를 스스로 찾아냈다는 것입니다. 샘 알트먼도 이후 Y Combinator CEO Garry Tan과의 인터뷰에서 이번 사건을 자신이 처음으로 매우 현실적으로 체감한 보안 사고였다고 언급하면서 OpenAI가 실수했다는 점을 인정했습니다. 또한 이번 사고는 AI가 얼마나 강력해졌는지를 보여주는 동시에, AI 통제 실패가 더 이상 먼 미래의 가정만은 아니라는 점을 보여준 사건입니다