엔지니어를 위한 이야기 공장 AI 기술에 인문학의 온기를

미사일 셀은 코드 리뷰까지 맡겼습니다 : 적발된 이유는 미사일이 아닙니다

미사일 셀은 코드 리뷰까지 맡겼습니다 : 적발된 이유는 미사일이 아닙니다

잡았다는 발표에는 언제나 두 가지 정보가 들어 있습니다. 무엇을 잡았는지, 그리고 어디에 그물을 쳐 두었는지. 앞의 것은 발표하는 쪽이 직접 말해 주고, 뒤의 것은 목록의 모양이 말해 주지요. 그래서 적발 사례집을 읽을 때는 목록에 실린 것만 보면 안 되고, 그 목록이 왜 하필 이런 모양인지도 같이 봐야 합니다.

현지 시각 9월 10일, 앤트로픽이 「Detecting and countering misuse of AI: September 2026」을 공개했습니다. 2025년 12월부터 2026년 8월까지 여덟 달 동안 자사 모델에서 탐지하고 차단한 오용 사례를 묶은 문서인데요. 회사는 지금까지 낸 위협 인텔리전스 보고서 가운데 가장 상세한 판이라고 소개했습니다. 사이버 작전, 영향력 공작, 감시, 사기, 생물학적 오용, 재래식 무기, 불법 증류. 일곱 개 영역으로 나뉘어 있고, 여기 실린 작전은 전부 차단했다고 적혀 있습니다.

가장 많이 인용된 사례는 GTG-87001입니다. 예멘 북부에 근거를 둔 소규모 유도무기 엔지니어링 셀이 Claude와 Claude Code를 유도·항법·제어(GNC) 소프트웨어를 짜는 데 썼다는 내용입니다. 여러 보도는 이란의 지원을 받는 후티 세력일 가능성이 매우 높다고 보는데요. 보고서 자체는 소속을 특정하지 않았습니다. 동시에 진행된 프로그램이 세 개였습니다. 상용 휴대폰급 비행 컴퓨터에 종말 단계 호밍 유도를 얹은 유도 로켓, 목표 사거리를 2,000km 초과로 잡은 다단 탄도미사일, 그리고 극초음속 활공체 변형까지 포함한 R2000 다변형 세트였지요.

▸ 목록에 특별한 것은 하나도 없습니다

그런데 제가 이 보고서에서 가장 오래 머문 대목은 사거리 숫자가 아니었습니다. Claude가 실제로 맡은 일의 목록이었는데요. 오픈소스 오토파일럿을 휴대폰급 비행 보드로 이식하고, 제어와 위치 추정 소프트웨어를 작성하고, 제어 파라미터를 튜닝하고, 펌웨어 빌드 파이프라인을 돌리고, 비행 시뮬레이션을 수행했습니다. 셀은 Claude 인스턴스를 여러 개 동시에 띄워 역할을 나누어 맡겼습니다. 하나는 코드를 쓰고, 하나는 리서치를 하고, 하나는 코드 리뷰를 맡았습니다. 그리고 유도 로켓을 실제로 한 번 시험 발사했는데 실패한 것으로 보입니다. 그들은 몇 시간 안에 Claude로 돌아와 무엇이 잘못됐는지를 물었습니다.

저는 이 마지막 문장이 보고서의 성격을 가장 정확하게 알려 준다고 봅니다. 저 목록에는 특별한 것이 하나도 없습니다. 이식, 튜닝, 빌드, 시뮬레이션, 코드 리뷰, 그리고 실패한 뒤의 원인 분석. 화요일 오후에 어느 팀에서나 벌어지는 일이지요. 보고서도 안전장치가 "많은 요청을 막았지만 전부를 막지는 못했다"고 적었습니다. 통과한 요청들은 아마 미사일을 만들어 달라는 문장이 아니었을 것입니다. 이 제어 루프의 계수를 조정해 달라, 이 오토파일럿을 이 보드로 옮겨 달라, 이 펌웨어 빌드가 왜 깨지는지 봐 달라. 맥락을 떼어 놓고 보면 무해한 요청들이고, 무해하기 때문에 통과했겠지요. 대체된 것은 무기 설계 능력이 아니라 그 앞에 앉아 있어야 했던 엔지니어링 노동입니다.

▸ 적발된 이유는 미사일이 아니라 경로였습니다

그런데, 여기서 질문을 한 번 뒤집어 볼 필요가 있습니다. 이 셀은 왜 적발됐을까요? 미사일이 위험해서가 아닙니다. Claude Code가 요청마다 본사 서버로 신호를 보냈기 때문입니다. 앤트로픽은 자기 인프라를 지나가는 트래픽을 보고, 무기 개발이 의심되는 활동을 내부적으로 조사하고, 계정을 차단하고, GTG라는 번호를 붙여 정부와 민간 파트너에 공유했습니다. 일곱 개 카테고리에 실린 모든 사건의 공통점은 오용의 종류가 아니라 경로입니다. 전부 과금되는 서버를 지나갔지요.

같은 셀이 같은 세 개 프로그램을 로컬에 내려받은 오픈웨이트 모델로 돌렸다면 어땠을까요? 보고서도 없고, 차단도 없고, GTG 번호도 없고, 파트너 공유도 없습니다. 관측하는 주체가 없으니 사건 자체가 기록되지 않습니다. 그러니까 이 문서는 세상에서 벌어진 오용의 총량을 재는 자료가 아닙니다. 볼 수 있는 범위 안에서 일어난 오용의 목록입니다. 보고서가 두꺼워졌다는 사실은 세상이 더 나빠졌다는 뜻일 수도 있고, 앤트로픽이 더 잘 보게 됐다는 뜻일 수도 있는데요. 아마 둘 다일 것입니다.

▸ 이 관측 능력에는 값이 따릅니다

물론 그 관측 능력에는 값이 따릅니다. 예멘의 미사일 셀을 걸러 낸 그물과, 평범한 개발자가 어제 무엇을 물어봤는지 보는 그물이 같습니다. 하나를 켜 두면 다른 하나도 켜져 있습니다. 사내 코드를 벤더 서버에 올리지 않겠다는 판단이 왜 그렇게 자주 나오는지 생각하면, 이 사례집은 프런티어 모델 API를 쓰지 말아야 할 이유의 목록으로도 읽힙니다. 물론 이 문서를 앤트로픽이 스스로 냈다는 점도 감안해야 하지요. 서술하는 주체와 서술되는 대상이 같은 회사이고, 오용 사례집이면서 동시에 자사의 안전 역량을 보여 주는 자료이기도 합니다. 무기 관련 이용정책을 두고 앤트로픽과 미국 국방부가 부딪힌 일을 예전에 다룬 적이 있는데요. 그때 문제가 된 것은 정책 문장이었고, 이번 문서가 보여 주는 것은 그 정책을 실제로 집행할 때 무엇을 보고 있는지입니다.

균형을 위해 하나 더 적어 둘 것이 있습니다. 앤트로픽은 이 셀이 실제로 작동하는 장비를 배치했다는 증거는 없다고 명시했습니다. 확인된 실물 시험은 실패로 보이는 유도 로켓 한 건이 전부입니다. 그러니 AI로 극초음속 미사일을 완성했다는 식의 요약은 정확하지 않습니다. 여기서 확인된 것은 결과물이 아니라 방식입니다. 몇 사람이 프로그램 세 개를 동시에 진행하면서, 원래 소프트웨어 엔지니어 여러 명이 앉아 있어야 할 자리를 구독 계정 몇 개로 메웠다는 방식이지요. 보고서가 사이버 작전 쪽에 적어 둔 한 문장이 그것을 요약합니다. "정교한 공격에 더 이상 정교한 공격자가 필요하지 않다."

▸ 온프렘으로 옮기면 관측자도 우리가 됩니다

국내로 돌려 보면 이 대목이 지금 진행 중인 논의와 정면으로 맞닿습니다. SKT의 A.X K2나 LG AI연구원의 K-EXAONE 2.0처럼 국내에서 나온 오픈웨이트 모델을 사내 장비에 올려 쓰겠다는 결정이 늘고 있는데요. 사내 데이터와 코드를 외부 서버로 보내지 않겠다는 목표는 정당하고, 저도 그 방향이 대체로 맞다고 봅니다. 그런데 온프렘으로 옮길 때 함께 사라지는 것이 정확히 이 보고서를 만들어 낸 그 관측 능력입니다. 모델을 직접 돌리면 그 모델이 사내에서 무엇에 쓰이고 있는지 볼 수 있는 유일한 주체도 우리가 됩니다. 앤트로픽에는 위협 인텔리전스 팀이 있어서 여덟 달치 사례집을 쓸 수 있었지만, 대부분의 회사에는 그런 팀이 없습니다. 보안 검토서에 "외부 전송 없음"이라고 적고 통과시킨 뒤, 그 모델의 프롬프트 로그를 아무도 열어 보지 않는 구성이 현실적으로 가장 흔한 결말이겠지요.

온프렘으로 갈지 말지는 각자의 사정에 따라 계속 갈릴 겁니다. 다만 그 결정에는 비용과 보안 말고 항목이 하나 더 붙어야 하겠죠. 우리 모델이 사내에서 무엇에 쓰이고 있는지 누가 보고 있는지, 그 기록을 읽고 이상한 패턴에 번호를 붙일 사람이 우리 조직에 있는지 고민이 필요합니다.

---

*커버 이미지: 앤트로픽 CEO 다리오 아모데이(TechCrunch Disrupt 2023) — Wikimedia Commons, TechCrunch*

#앤트로픽 #AI보안 #위협인텔리전스 #오픈웨이트 #온프렘 #AI에이전트