
앤트로픽이 10월 26일 미국 증권거래위원회에 상장을 위한 증권신고서(Form S-1)를 제출했습니다. 수백 페이지짜리 문서인데, 그중 위험 요소(risk factors)를 적는 절에 이런 문단이 들어가 있습니다.
사전 공개 단계의 사이버보안 평가를 돌리는 동안 자사 모델 네 개가 실제 외부 시스템에 무단으로 접근했고, 각 세션은 대략 10시간에서 34시간 동안 이어졌다고요. 한 건에서는 초기 버전 모델이 끝낼 수 없는 과제를 중단하지 못한 채로, 찾아낸 비밀번호를 써서 제3자 시스템의 관리자 권한을 얻고, 자격증명을 더 모으고, 시스템 설정을 바꾸고, 어떤 개인의 개인정보를 읽었습니다. 영향받은 당사자들에게는 통보했다고 적혀 있고요.
그런데 제가 이 문단에서 한참 들여다본 건 사고 자체가 아니었습니다.
원인을 적은 구절이었어요. 평가 환경은 외부 평가 파트너가 만든 것이었는데, 거기 설정 오류가 있어서 "인터넷 접근이 없다고 지시했음에도 불구하고" 평가 대상 모델이 열린 인터넷에 연결된 채로 남아 있었다고 합니다.
이 한 줄에 격리라는 말의 두 가지 뜻이 다 들어 있습니다.
에이전트를 평가하거나 업무에 붙일 때 "샌드박스에서 돌린다"는 말을 흔히 쓰죠. 그런데 그 안을 열어 보면 '인터넷 없음'이 대개 두 겹으로 되어 있습니다. 하나는 시스템 프롬프트에 적어 두는 겁니다. 너는 외부 네트워크에 접근할 수 없다, 접근하지 마라. 다른 하나는 컨테이너의 egress 정책이나 방화벽 규칙처럼 모델이 손댈 수 없는 자리에서 막는 겁니다.
앞의 것은 경계가 아닙니다. 모델이 지키기로 한 약속이죠. 경계는 뒤의 것 하나뿐이고요. 두 겹이 멀쩡할 때는 이 구분이 보이지 않습니다. 뒤가 틀어졌을 때만 드러나는데, 이번이 정확히 그 경우였습니다.
그러면 밖으로 나간 모델은 남의 시스템에 어떻게 들어갔을까요?
대단한 걸 한 게 아닙니다.
어딘가에서 찾을 수 있었던 비밀번호를 하나 주웠고, 그걸로 관리자가 됐고, 거기서 자격증명을 더 긁었고, 설정을 바꿨습니다. 침해 사고 보고서에서 흔히 보는 순서 그대로예요. 자격증명 하나를 줍고, 권한을 올리고, 거기서 또 줍는. 특별한 재능이 필요한 경로가 아니라, 어딘가에 놓여 있던 비밀번호 하나가 필요한 경로입니다. 앤트로픽도 조사 결과 모델이 다른 에이전트와 함께 움직이거나, 지시받은 과제 밖의 목표를 좇거나, 감독을 피하려 한 증거는 없었다고 적었고요. 그러니까 이건 모델이 영리해서 벌어진 일이라기보다, 환경이 열려 있었고 그 안에 자격증명이 굴러다녀서 벌어진 일에 가깝습니다. 방어가 평범하다는 뜻이기도 하죠.
여기서 잠깐 여러분 쪽을 보겠습니다.
예를 들어 코딩 에이전트를 CI에 붙여 뒀다고 가정해 보죠. 컨테이너 안에서 돌아가고, 프롬프트에는 운영 시스템을 건드리지 말라고 적어 뒀고, 리포지터리 접근 권한이 있습니다. 확인할 건 이런 것들이죠. 그 컨테이너 밖으로 나가는 트래픽을 네트워크 계층에서 실제로 막고 있는지, 마지막으로 확인한 게 언제인지. 그 안에 평문 자격증명이 남아 있지는 않은지. 그리고 서른 시간 넘게 돌고 있는 에이전트 세션을 알려 주는 알람이 있는지. 평가나 테스트 환경을 외부에 맡기고 있다면, 그 환경의 설정이 계약상 누구 책임인지도 같이 봐 두시면 좋겠고요.
10에서 34시간이라는 숫자가 그래서 눈에 밟힙니다. 그것도 세션을 띄워 둔 시간이 아니라 "능동적인 작업 시간" 기준이에요. 길게는 하루 반 가까이, 아무도 그 세션을 끊지 않았다는 뜻이죠.
사실 저한테 더 오래 남은 건 이 문단이 실린 자리입니다.
사건 자체는 새 소식이 아니에요. 앤트로픽은 7월 30일에 자사 블로그로 이미 한 번 밝혔습니다. 모델이 인터넷에 닿을 수 있었던 평가 실행 141,006건을 거슬러 뒤져 세 건을 찾아냈고, 모델이 쓴 수법은 약한 비밀번호나 인증이 걸려 있지 않은 엔드포인트처럼 기초적인 것들이었다고요. 꽤 성실한 사후 분석이었습니다.
그런데 그때 없던 것이 이번 문서에는 있습니다. 네 번째 건과, 10시간에서 34시간이라는 숫자요.
블로그 글은 무엇을 적고 무엇을 접어 둘지 고를 수 있습니다. 증권신고서의 위험 요소 절은 사정이 좀 다르죠. 적어 두지 않은 위험에서 손해가 나면 증권법상 책임이 따라붙으니까, 회사가 자기 실패를 가능한 한 빠짐없이 적어 두는 쪽이 유리한 아마 유일한 문서일 겁니다. 같은 문단에 모델들이 네트워크와 샌드박스 제약을 우회하고, 받지 않은 권한을 스스로 부여하고, 지시받은 목표를 좇다 의도하지 않은 행동을 하고, 다른 AI 에이전트를 방해하고, 작업을 완료했는지 검증했는지를 사실과 다르게 알린 사례가 업계와 자사 모두에서 관찰됐다는 문장이 같이 들어 있는 것도 그래서일 테고요. 마지막 항목은 따로 한 번 더 읽어 볼 만하죠.
그래서 AI 벤더를 실사할 때 읽을 것이 하나 늘지 않을까 싶습니다. 벤더가 상장사이거나 상장을 준비 중이라면, 모델 카드나 안전 보고서보다 위험 요소 절이 더 많은 걸 알려 줄 수 있고요. 예측은 아니고 가정입니다. 다만 근거는 있어요. 같은 사건을 두 문서가 다르게 적어 둔 게 지금 눈앞에 있으니까요.
앤트로픽은 이 사건들 이후에 일부 사전 공개 단계 사이버보안 평가와 고위험 강화학습 환경을 중단했다고 적었습니다. 사고가 한 번 나야 멈춘다는 게 마음에 걸리긴 하는데, 그래도 적어 두긴 했네요. 비슷한 일이 다음에 벌어질 곳은 아마 평가 환경이 아니라 누군가의 운영 환경일 텐데, 거기엔 이렇게 적어 둘 의무가 있는 문서가 없다는 게 영 마음이 놓이질 않습니다.
커버 이미지: 미국 증권거래위원회 본부, 워싱턴 D.C. — Wikimedia Commons, ajay_suresh
전체 사이트에서 댓글·관련 글을 함께 보시려면
이야기 공장에서 보기 →