패치할 곳이 없는 보안 권고문 : 남은 지렛대는 응답 그 자체였습니다

보안 권고문을 몇 번 읽어 보신 분들은 그 문서가 대체로 지루하다는 것을 아실 겁니다. 무엇이 뚫렸는지 적고, 어떤 흔적이 남는지 적고, 마지막에 조치를 적습니다. 그 조치란 대개 패치를 적용하라, 버전을 올려라, 그 포트를 막아라 같은 것들이죠. 지루한 것이 이 문서의 미덕입니다. 고칠 곳이 분명하다는 뜻이니까요.

그런데 현지 시각 9월 8일에 나온 권고문의 조치 항목에는 이런 내용이 들어 있습니다. 악의적 증류라는 확신이 높은 요청에는 응답을 바꿔서 그 대가를 줄이라는 것입니다. 추론의 깊이를 줄이거나, 맞는 정보를 다른 추론 과정에 담아 내놓거나, 문체를 일관되지 않게 하는 방법이 예시로 적혀 있고, 성능을 낮춘 모델로 답하게 하는 방법도 함께 제시됩니다. 그리고 그렇게 바꿨다는 사실을 상대에게 알리지 말라는 문장이 뒤에 따라붙습니다.

미국 국가안보국(NSA)과 사이버보안·인프라보안국(CISA), 그리고 FBI가 함께 낸 합동 사이버보안 권고문 AA26-251A입니다. 중국에 기반을 둔 AI 기업 여섯 곳이 미국 프런티어 모델을 상대로 산업적 규모의 증류(distillation) 캠페인을 벌여 왔다는 내용인데요. 지목된 곳은 DeepSeek, Moonshot AI, 알리바바, MiniMax, StepFun, Z.AI입니다. 최소 2024년 말부터 수백만 건의 주고받은 요청에 걸쳐 수십억 토큰을 뽑아냈고, 이것이 보조 수단이 아니라 개발 전략의 핵심이라고 적혀 있습니다.

증류 자체는 흠잡을 데 없는 기법입니다. 크고 비싼 모델의 출력을 받아 작은 모델을 학습시키는 방법이고, 권고문도 정당하고 유용한 기법이라고 먼저 인정해 둡니다. 미국 연구소들이 자기 대형 모델을 증류해 소형 모델 계보를 만들어 온 것도 같은 기법이죠. 그래서 이 문서가 겨누는 것은 기법이 아니라 그 규모를 감추기 위해 동원된 것들입니다. 여러 계정과 플랫폼에 요청을 흩어 놓고, 출신 국가를 가리고, 프리미엄 구독을 대량으로 사서 팀 단위로 돌려 씁니다. 공식가의 일부만 받고 프런티어 모델 접근권을 되파는 회색시장 프록시가 따로 있는데, 트랜스퍼 스테이션(transfer stations)이라고 불립니다. 지역 제한과 이용약관과 안전장치를 한꺼번에 우회하는 통로죠. 한 경로가 막히면 자동으로 다른 경로로 넘어간다고 하고요. 서드파티 애그리게이터를 거치면서 조직을 식별할 메타데이터는 인프라 계층에서 자동으로 지워집니다. 모델이 답을 내기 전에 속으로 밟는 추론 과정을 끌어내려고, 이미 완성된 답의 내부 추론을 상상해서 단계별로 적어 보라고 지시하는 프롬프트도 쓰였습니다.

▸ 이 목록에는 침입이 없습니다

이 목록에서 빠진 것이 하나 있습니다. 서버가 뚫린 이야기가 없습니다. 가중치가 유출된 것도 아니고, 취약점이 악용된 것도 아닙니다. 나열된 행위는 대부분 제품을 정상적으로 사용한 것입니다. 구독을 사고, 프롬프트를 보내고, 돌아온 응답을 읽었습니다. 안전장치를 우회하거나 숨은 추론을 끌어내려 한 프롬프트가 섞여 있긴 합니다만, 그것도 정문으로 들어와 질문을 던진 일입니다. 그러니 이 문서에서 악의성의 근거는 시스템에 침입한 데 있지 않고, 이용약관을 어긴 것과 그 사실을 감추려 쌓아 올린 회피 장치에 있습니다. 침입 기법을 정리하던 형식의 문서가 계약 위반의 규모를 정리하는 데 쓰인 셈입니다.

그래서 이 권고문에는 적용할 패치가 없습니다. 악용된 유일한 취약점은 질문에 잘 답한다는 것이고, 그건 고칠 수 있는 종류의 결함이 아니니까요. 고치면 제품이 사라집니다.

패치할 곳이 없으면 무엇이 남을까요? 응답 그 자체가 남습니다. 조치 항목이 그렇게 적힌 이유가 여기 있습니다.

▸ 오탐의 결과는 에러 코드가 아니라 조금 나빠진 답입니다

문제는 이 조치의 비용을 누가 내는지입니다. 권고문도 이 조치를 확신이 높은 경우로 한정해 두었는데요, 그 확신을 만드는 재료가 무엇인지가 관건입니다. 권고문이 제안한 탐지 지표 가운데 눈에 걸리는 것이 세 가지입니다. 구독 규모에 비해 사용량이 과한 비율, 신규 계정이 서서히 늘지 않고 처음부터 최대치로 쓰는 패턴, 그리고 기업 규모의 처리량입니다.

이 세 가지를 동시에 만족하는 팀을 떠올려 보면 답이 금방 나옵니다. 새 API 키를 발급받아 그날부터 과거 데이터 백필을 돌리는 팀입니다. 사내 게이트웨이나 클라우드 애그리게이터를 거쳐서 조직 정보가 실리지 않고, 해외 리전으로 트래픽이 나가는 상황까지 겹치면 지표가 거의 그대로 포개집니다. (새 키로 대량 배치를 처음 돌려 보고 반나절 만에 제한에 걸려 본 분들은 이 감각을 아실 겁니다.) 목록에는 여러 IP와 유저에이전트에서 함께 쓰이는 계정, 사람다운 편차나 유휴 시간 없이 24시간 이어지는 사용도 올라 있습니다. 앞쪽은 사내 공용 키를 여러 서비스가 나눠 쓰는 구성이고, 뒤쪽은 야간 배치와 상시 파이프라인의 모양입니다. 증류하는 쪽과 정상적으로 쓰는 쪽을 트래픽 모양만으로 가르기는 원래 어렵습니다.

오탐이 났을 때 무슨 일이 벌어지는지가 이 조치의 성격을 말해 줍니다. 429나 403 같은 에러 코드가 돌아오면 그건 다행인 경우입니다. 로그에 남고, 재시도할 수 있고, 문의할 근거가 되니까요. 그런데 권고문이 제안한 것은 그게 아니라 조금 나빠진 답입니다. 상태 코드는 200이고 형식도 정상이고 통보도 없습니다. 자기 쪽 로그로는 탐지할 수 없는 종류의 결함이죠. 평가 점수가 슬쩍 내려앉았을 때 모델이 조용히 갱신된 것인지, 내가 프롬프트를 잘못 고친 것인지, 상대가 나를 의심하고 있는 것인지 구분할 방법이 없습니다. 물론 권고문은 AI 안전 연구자와 제3자 평가기관에는 모델 변경을 알려야 한다고 함께 적어 두었습니다. 그러나 그 알림을 받으려면 먼저 그쪽으로 분류돼 있어야 하고, 그 분류는 내가 조회할 수 있는 값이 아닙니다. 저는 이 대목이 권고문의 실질적인 결론이라고 봅니다.

▸ 560만 달러에 각주가 하나 더 붙었습니다

이 권고문에는 눈에 익은 숫자도 하나 나옵니다. DeepSeek의 560만 달러입니다.

*출처: Unsplash, Solen Feyissa*

권고문의 문장은 이렇습니다. 널리 인용되는 560만 달러의 학습 비용은 오해를 부르는데, 광범위한 악의적 증류로 취득한 데이터의 진짜 비용이 그 안에 들어 있지 않기 때문이다. 예전에 이 숫자를 다룬 적이 있는데요, 숫자가 틀린 것이 아니라 전부가 아니었다는 이야기였습니다. 원 논문도 그 금액이 최종 학습 실행에 든 비용이라고 적어 두었으니, 부분만 공개된 숫자라는 사실 자체는 새롭지 않습니다. 새로운 것은 그 각주를 미국 정부 기관 셋이 함께 달았다는 점입니다. 그러면서도 권고문은 빠진 금액이 얼마인지 적지 않았습니다. 결국 총액은 여전히 아무도 모릅니다.

▸ 명단이 국내에서 쓰이는 이름과 겹칩니다

한국 팀들에게 실질적인 대목은 다른 데 있습니다. 명단에 오른 여섯 곳 가운데 알리바바는 Qwen을, Moonshot AI는 Kimi를, Z.AI는 GLM을 내놓은 곳입니다. 지금 국내에서 값싸게 파인튜닝해 제품에 태우는 오픈웨이트 공급자 명단과 상당히 겹칩니다. 권고문에는 법적 효력이 없고 제재도 아닙니다. 그렇지만 보안 검토나 구매 심사 자리에서 인용할 수 있는 문서가 생긴 것은 분명하죠. 가중치 파일에는 그 안의 능력이 어디서 왔는지 적어 둔 증명서가 붙어 있지 않으니까요.

물론 이 이야기는 아직 사법 판단이 아닙니다. 지목된 여섯 곳은 논평 요청에 답하지 않았고, 중국 대사관은 중국의 AI 발전을 겨눈 의도적 공격이라고 일축했습니다. 권고 단계의 주장과 법정에서 확정된 사실은 다른 무게를 가집니다.

첫 문단으로 돌아가 보면, 지루한 권고문이 좋은 권고문인 이유는 고칠 곳을 알려 준다는 데 있습니다. 이번 문서에는 고칠 곳이 없습니다. 대신 답을 주는 쪽이 상대가 누구인지 살펴서 답의 품질을 정하라고 권합니다. 그 방향으로 몇 걸음 더 가면, API는 질문에 답하는 서비스에서 누가 묻고 있는지 판별하는 서비스 쪽으로 옮겨 가겠죠. 그렇다면 우리 쪽에 필요해지는 것은 더 좋은 프롬프트가 아니라, 내가 정상 사용자로 보이고 있는지 스스로 확인할 방법일 겁니다. 그 방법이 아직 없다는 점에 대해 고민이 필요합니다.

---

*커버 이미지: 위스키 증류소의 구리 증류기 — Unsplash, François Hoppet*