
앤트로픽은 9월 10일 "Detecting and countering misuse of AI: September 2026" 보고서를 공개했습니다. 이 보고서는 2025년 12월부터 2026년 8월까지 약 8개월 동안 자사 서비스에서 확인해 중단시킨 오용 사례를 다룹니다. 사이버 작전, 영향력 공작, 감시, 사기·금융사기, 생물학적 오용, 재래식 무기 개발, 무단 모델 증류의 7개 영역으로 구성되었어요. 앤트로픽은 각 사례에서 관련 활동을 중단시키고, 학습한 내용을 안전장치에 반영했으며, 필요한 경우 정부기관과 민간 파트너에게 위협 정보를 공유했다고 밝혔습니다.
여기서 '중단'은 모든 유해 요청이 처음부터 차단됐다는 뜻은 아닙니다. 특히 무기 개발 사례에서는 안전장치가 많은 요청을 막았지만 전부를 막지는 못했고, 조사 뒤 연계 계정을 차단하는 방식으로 활동을 중단시켰다고 설명하고 있어요.
▸ 요청 하나하나는 평범한 개발 업무처럼 보입니다
가장 많이 인용된 사례는 GTG-87001입니다. 보고서에 따르면 예멘 북부에 기반을 둔 한 유도무기 개발 셀이 Claude Code를 유도·항법·제어 소프트웨어 개발에 활용했습니다. 여러 보도는 이들이 후티 반군과 연계됐을 가능성을 제기했지만, 보고서 자체는 이들의 소속을 특정하지 않았습니다.
이들은 세 개의 무기 개발 프로그램을 운용하고 있었어요. 상용 휴대전화급 비행 컴퓨터와 호밍 유도를 활용한 유도 로켓, 목표 사거리가 2,000km를 넘는 다단 탄도미사일, 그리고 극초음속 활공체 변형 등입니다.
군사 전문가는 아니더라도 Claude가 맡은 일의 목록을 보면 대략적인 성격은 짐작할 수 있습니다. 개발자들은 오픈소스 오토파일럿을 휴대전화급 비행 컴퓨터에 이식하고, 제어·위치 추정 소프트웨어를 작성하고, 제어 파라미터를 조정하고, 펌웨어 빌드 파이프라인을 실행하고, 비행 시뮬레이션을 수행했어요. 여러 Claude 인스턴스를 동시에 띄워 코드 작성, 조사, 코드 리뷰 역할을 나누기도 했습니다.
이들은 유도 로켓의 시험 발사도 수행했습니다. 앤트로픽은 이 시험이 실패한 것으로 보이며, 몇 시간 뒤 개발자들이 Claude에게 실패 원인을 분석하도록 했다고 적었습니다. 다만 보고서는 이들이 운용 가능한 무기를 실제로 배치하는 데 성공했다는 증거는 없다고 밝혔어요.
이 과정은 우리가 일상적인 개발팀에서 보는 흐름과 닮아 있습니다. 명시적으로 "미사일을 만들어 달라"고 요구하면 차단될 가능성이 높습니다. 그러나 "이 제어 루프의 계수를 조정해 달라", "이 오토파일럿을 이 보드로 이식해 달라", "이 펌웨어 빌드가 왜 깨지는지 봐 달라"는 요청만 떼어 놓고 보면 그 자체로는 일반적인 공학·개발 업무처럼 보일 수 있습니다. 개별 기능 요청을 무기 개발 역량으로 묶어낸 것은 모델이 아니라 그 앞에 있던 개발자들의 노하우였겠죠.
▸ 적발의 경위를 한 문장으로 정리하기는 어렵습니다
여기서 질문을 뒤집어 볼 필요가 있습니다. 이들이 왜 적발됐을까요? 무기 개발이 위험해서만은 아닙니다. Claude Code를 클라우드 서비스로 사용하면서 계정, 사용 패턴, 요청 맥락이 앤트로픽의 탐지·조사 범위 안에 들어왔기 때문입니다. 다만 "요청마다 본사 서버로 신호를 보냈기 때문에 적발됐다"라고 단정할 수는 없습니다. 보고서는 정확한 최초 탐지 계기나 모든 탐지 방식은 공개하지 않고, 내부 조사를 통해 활동을 확인했다고만 설명합니다.
또한 일곱 영역의 모든 사례를 단순히 '트래픽 모니터링의 결과'라고 묶는 것도 정확하지 않습니다. 플랫폼 내 관측 가능성이 중요한 기반이었던 것은 맞지만, 외부 제보와 파트너 간 정보 공유가 조사에 기여한 사례도 있습니다. 더 정확한 표현은, 프런티어 모델 제공자가 서비스 운영 과정에서 확보하는 계정·행동·콘텐츠 신호와 외부 위협 인텔리전스를 결합해 오용을 추적할 수 있다는 뜻이죠.
▸ 온프레미스로 옮기면 책임도 함께 옮겨갑니다
이 점은 기업의 AI 도입 방식과도 이어집니다. 개인 구독을 각자 쓰게 하기보다 조직 계정, SSO, 권한 관리, 감사 로그, 데이터 보존 정책, 승인된 API 게이트웨이를 갖춘 환경을 선호하는 이유입니다. 핵심은 단순히 '더 비싼 API'가 아니라, 누가 어떤 데이터로 어떤 모델을 사용했는지 조직이 통제하고 설명할 수 있는 구조를 만드는 데 있습니다.
반대로 온프레미스 환경에서 오픈웨이트 모델을 운영하려는 기업 전략도 이 맥락에서 이해할 수 있습니다. 외부 모델 제공자가 프롬프트와 코드에 접근하는 경로를 줄이고, 민감한 데이터의 보관 위치와 접근 권한을 직접 통제하려는 선택입니다. 그렇다고 온프레미스가 자동으로 안전해지는 것은 아닙니다. 관측과 통제의 책임이 모델 제공자에서 기업 자신에게 넘어갈 뿐입니다.
▸ 차단해도 이미 만들어진 것은 남습니다
중요한 점은 앤트로픽도 모든 오용을 찾아내지 못한다는 사실입니다. 보고서는 특히 사이버 작전에서 "정교한 공격에 더 이상 정교한 공격자가 필요하지 않다"고 적었습니다. AI가 정찰, 도구 개발, 데이터 처리, 침투와 탈취의 노동·도구 격차를 크게 낮추고 있다는 뜻입니다. 모델의 안전장치와 서비스 차단은 필요하지만, 그것만으로 이미 생성·축적된 코드와 지식을 회수할 수는 없습니다. GTG-87001 사례에서도 계정이 차단되기 전에 Claude나 MATLAB에 의존하지 않는 오프라인 시뮬레이션 도구가 만들어졌을 가능성이 확인됐습니다.
이 보고서가 보여주는 것은 '프런티어 모델 API를 쓰지 말자'는 결론이라기보다, 강력한 모델을 도입할수록 데이터 경로, 접근 권한, 로그, 탐지와 대응 체계를 함께 설계해야 한다는 사실이긴 해요. 그럼에도, 우린 빅브라더의 위협과 AI의 오용 사이에서 갈등하게 됩니다.
커버 이미지: 앤트로픽 CEO 다리오 아모데이(TechCrunch Disrupt 2023) — Wikimedia Commons, TechCrunch
전체 사이트에서 댓글·관련 글을 함께 보시려면
이야기 공장에서 보기 →