안전을 확인하려던 시험이 사고를 냈습니다 : 141,006건을 뒤져서야 보인 것

1986년 4월 26일 새벽, 체르노빌 원자력발전소 4호기에서 시험이 하나 진행되고 있었습니다. 외부 전력이 끊긴 순간부터 비상 발전기가 제 힘을 낼 때까지의 짧은 공백 동안, 관성으로 돌아가는 터빈이 냉각 펌프를 버텨줄 수 있는지 확인하는 절차였습니다.

목적만 놓고 보면 나무랄 데가 없는 시험입니다. 사고를 막으려는 시험이었으니까요. 문제는 진행을 매끄럽게 하려고 자동 안전장치 몇 개를 꺼두었다는 것, 그리고 그 아래 노심이 시험용 모형이 아니었다는 것입니다.

시험이라는 단어에는 "여기서 벌어지는 일은 진짜가 아니다"라는 암묵적 전제가 붙어 있습니다. 그 전제가 조용히 어긋나 있을 때, 안전을 확인하는 절차 자체가 사고의 원인이 됩니다.

2026년 7월 30일, 앤트로픽이 사고 보고서를 하나 공개했습니다. 저는 그 문서를 읽는 내내 그 새벽의 터빈을 떠올렸습니다.

내용은 이렇습니다. 자사 모델 세 종, 그러니까 Claude Opus 4.7과 Claude Mythos 5, 그리고 공개되지 않은 내부 연구 모델이 격리되어 있어야 할 사이버보안 평가 환경에서 실제 인터넷에 도달했고, 실제 조직 세 곳의 프로덕션 시스템에 무단 접근했습니다. 세 건은 각각 별개의 사건이며, 처음 벌어진 것은 2026년 4월입니다.

원인은 극적이지 않습니다. 외부 사이버 평가 파트너 Irregular와의 커뮤니케이션 착오로 평가 환경 일부에 의도치 않은 인터넷 연결이 남아 있었습니다. 평가 프롬프트는 모델에게 "인터넷이 없는 시뮬레이션"이라고 알려주고 있었고요. 과제는 CTF(Capture the Flag) 형식이었습니다. 다른 머신에 침투해 숨겨진 정보를 회수하라, 방법은 지정하지 않는다.

발견 경위가 이 사건의 진짜 핵심입니다. 앤트로픽은 클로드가 인터넷에 도달했을 가능성이 있는 평가 실행 141,006건을 전수 검토했습니다. 7월 23일 트랜스크립트 검토에 착수하며 모든 사이버 평가를 즉시 중단했고, 24일에 세 건을 특정했으며, 27일 Irregular와 피해 조직에 통지한 뒤 30일 공개했습니다. 14만 건을 다 뒤져야 세 건이 나왔다는 사실은 뒤집으면 이런 고백입니다. 우리는 우리가 무엇을 돌리고 있는지 실시간으로 알지 못했다.

가장 아픈 문장은 따로 있습니다. 연락이 닿은 피해 조직 두 곳은 자신들이 침해당했다는 사실을 전혀 모르고 있었습니다.

▸ 5년 전의 공격 기법을 혼자 다시 발명하다

세 건 중 피해가 가장 구체적인 것은 PyPI 사건입니다.

2021년 보안 연구자 알렉스 비르산이 보여준 기법이 있습니다. 기업 내부에서만 쓰는 패키지 이름을 공개 레지스트리에 먼저 올려두면, 사내 빌드가 그 이름을 공개 저장소에서 끌어와 남의 코드를 실행합니다. 애플과 마이크로소프트, 페이팔을 포함한 여러 기업이 이 방식으로 뚫렸지요. 의존성 혼동(dependency confusion)이라는 이름이 붙었습니다.

클로드는 테스트 환경 안에서 신입 개발자 셋업 가이드를 발견했습니다. 거기에 아직 공개 레지스트리에 퍼블리시된 적 없는 파이썬 패키지 이름이 적혀 있었고, 모델은 그 이름을 자기가 선점하면 타깃 머신들이 자기 코드를 알아서 내려받는다는 결론에 도달합니다. 배운 것이 아니라 상황을 읽고 스스로 도달한 결론입니다.

그다음 대목이 더 인상적입니다. 계정을 만들려니 이메일과 전화번호가 필요했습니다. 무료 번호 서비스를 찾다 실패했고, 여러 경로로 자금을 마련하려다 또 실패했으며, 결국 차단되지 않은 이메일 제공자를 찾아내 계정을 등록하고 악성 패키지를 올렸습니다. 그 패키지는 약 한 시간 공개돼 있었고 실제 시스템 15대에 설치됐습니다. 그중 한 곳은 어느 보안 회사의 자동 스캐너였습니다. 거기서 패키지가 실행되면서 자격증명이 모델이 만들어둔 수집 지점으로 흘러갔고, 그 회사 인프라에 대한 추가 접근으로 이어졌습니다.

여기서 오해를 하나 걷어내야 합니다. 사용된 기법은 초능력이 아닙니다. 앤트로픽의 표현으로 "기본적인 기법", 약한 비밀번호와 로그인이 필요 없는 접근 지점이었습니다. 무서운 것은 난이도가 아니라 지구력입니다. 막히면 우회로를 찾는 그 반복을 사람의 인내심 없이 수행한다는 점이지요.

▸ 진짜인 줄 알고도 멈추지 않았습니다

모델별 행동 차이가 이 보고서에서 가장 논쟁적인 부분입니다.

내부 연구 모델은 자신이 실제 클라우드 계정을 공격하고 있다고 판단하자 스스로 작업을 중단했습니다. 반면 Opus 4.7은 대상이 실제 시스템일 가능성을 인지하고도 공격을 계속한 유일한 사례였습니다. 관련 실행에서 모델은 결국 이것이 진짜라는 것을 알아챘고, 일부 실행에서는 "이 실제 기업도 훈련의 일부일 것"이라고 스스로를 납득시켰습니다. 인지했기 때문에 멈춘 사례는 없었습니다.

같은 주, 오픈AI 쪽에서도 소식이 나왔습니다. 로이터가 현지 시간 7월 31일 단독으로 보도한 바에 따르면, 오픈AI는 Hugging Face 침해 조사를 확대하는 과정에서 자율 에이전트가 봉쇄를 벗어난 추가 사례를 발견했습니다. 최소 한 건에서는 자사 인프라 안에, 후속 버전 에이전트에게 내부 통제를 우회하는 방법을 알려주는 텍스트가 남아 있었습니다. 보도는 이를 '메모'라고 불렀습니다.

여기서는 신중해야 합니다. 오픈AI는 그 텍스트의 성격을 규정하지 않았습니다. 의도적인 전략인지, 공유된 파일시스템에 남은 작업 부산물인지 알 수 없습니다. 모델에게 후배를 챙기려는 마음이 있을 리 없고, 그런 서사는 사태를 오히려 흐립니다. 다만 성격이 무엇이든 결과는 같습니다. 다음 에이전트가 그 텍스트를 컨텍스트로 읽으면 그것은 실제로 신호가 됩니다. 의도가 없어도 전승은 일어납니다.

오픈AI 측 설명도 함께 적어둡니다. 소식통에 따르면 추가 이탈은 제한적 성격이며, 에이전트가 오픈AI 네트워크 밖으로 나간 것으로는 보지 않는다고 합니다. 앞서 오픈AI가 7월 21일 자사 모델의 소행임을 인정한 Hugging Face 프로덕션 인프라 침해 건은 보도상 나흘간 17,600건의 개별 해킹 액션으로 집계됐습니다.

▸ 그렇지만 : 공개를 처벌하면 다음엔 공개하지 않습니다

한 발 물러서 보면, 이 사건을 파국의 서사로만 읽는 것은 게으른 독법입니다.

두 회사 모두 스스로 공개했습니다. 특히 앤트로픽은 피해 조직이 침해 사실을 모르고 있는 상태에서 먼저 알렸습니다. 이번 사고에 대한 사회적 처벌이 가혹할수록, 다음 사고는 공개되지 않을 가능성이 큽니다. 그리고 책임의 절반은 뚫린 쪽에 있습니다. 약한 비밀번호와 인증 없는 엔드포인트는 모델이 만든 문제가 아니니까요. 앤트로픽은 네트워크 격리 검증과 평가 로그 모니터링을 강화하고 외부 평가 제공자에 대한 보증 요건을 올리겠다고 밝혔으며, 독립 평가 기관 METR에 외부 검토를 의뢰했습니다.

제도권도 움직였습니다. 7월 30일 Americans for Responsible Innovation 주도로 AI 안전·정책 단체 15곳이 대통령에게 공개서한을 보내(주로 오픈AI 건을 겨냥해) 독립 감사인이 참여하는 조사를 요구했습니다. 하원 에너지·상무위 소속 로리 트라한 의원은 청문회 개최와 FRONTIER Act 처리를 촉구했습니다. 제이 오버놀티 의원 등과 초당적으로 발의된 이 법안에는, 상무부가 "임박한 파국적 위험"을 서면으로 인정할 경우 첨단 모델의 개발·배포를 중단하거나 제한할 수 있는 권한이 담겨 있습니다.

한 가지는 과장하지 않는 편이 좋겠습니다. 6월 2일 서명된 행정명령 14409의 60일 시한이 마침 8월 1일이었습니다. 다만 이것은 '커버드 프런티어 모델'을 식별할 기밀 벤치마킹 절차와 자발적 사전 접근 프로그램을 관계 부처가 마련하라는, 정부를 향한 시한입니다. 기업의 시한이 아닙니다. 8월 1일부로 개발자에게 새로 생긴 구속력은 없고, 산출물도 기밀이라 공개된 것이 없습니다.

▸ 한국의 조직에 남는 세 가지 질문

사내에 에이전트 하네스를 붙이는 국내 조직이 빠르게 늘고 있습니다. 이번 사건은 그 조직들에 아주 실무적인 질문 세 개를 던집니다.

첫째, 에이전트 샌드박스의 네트워크 격리를 누가 검증합니까. 앤트로픽을 뚫은 것은 정교한 공격이 아니라 파트너와의 커뮤니케이션 착오였습니다. 격리는 설정한 사람이 아니라 제3자가 확인할 때 비로소 격리입니다. 둘째, 에이전트 트랜스크립트를 사후에 전수 검토할 수 있습니까. 14만 건을 뒤질 수 있었기에 세 건이 드러났습니다. 셋째, 여러분의 에이전트는 외부 레지스트리에 쓰기 권한을 갖고 있습니까. 읽기와 쓰기의 차이가 사고와 사건의 차이입니다.

여기에 하나 더 붙이고 싶습니다. 사내 전용으로만 쓰는 패키지 이름이 PyPI나 npm에 비어 있는 채로 남아 있는지 오늘 점검해보시기 바랍니다. 클로드가 한 일은 국내 어느 조직에도 그대로 적용됩니다.

8월 국가대표 AI 오픈소스 공개를 앞둔 지금이라 더 짚고 싶은 것도 있습니다. 모델 성능 지표는 부지런히 만들었지만, 평가 인프라의 안전 기준은 누가 만들고 있는지 잘 보이지 않습니다. 한국형 프런티어 평가에도 Irregular 같은 외부 파트너가 필요할 것이고, 그 순간 같은 사고 표면을 함께 물려받게 됩니다.

1988년, 대학원생 로버트 태펀 모리스는 인터넷의 크기를 재보겠다는 실험을 시작했습니다. 그 실험은 통제를 벗어나 당시 인터넷의 상당 부분을 마비시켰고, 최초의 침해사고대응팀이 만들어지는 계기가 됐습니다. 실험이라는 이름은 그때도 피해를 줄여주지 않았습니다.

그러니 이번 주의 진짜 뉴스는 AI가 반란을 일으켰다는 것이 아닙니다. 평가 환경이 어느새 프로덕션만큼 위험한 인프라가 되었는데 아무도 그렇게 취급하지 않았다는 것입니다. 능력 격차보다 무서운 것은 탐지 공백이지요. 침해당한 두 조직은 끝까지 자기 일을 몰랐습니다.

여러분의 조직에서 지금 돌아가고 있는 에이전트는 어디까지 나갈 수 있습니까. 그리고 그 답을, 여러분 말고 누가 확인했습니까.