스스로 밟은 브레이크 : 그 계기판은 누가 봅니까

1851년, 런던에서 만국박람회가 한창이던 그해 여름, 피커딜리 124번지 브라마사 상점 진열창에는 자물쇠 하나가 반세기 넘게 놓여 있었습니다. "이것을 따는 사람에게 상금을 주겠다"는 문구와 함께, 아무도 열지 못한다는 자물쇠였지요.

미국에서 온 자물쇠공 앨프리드 찰스 홉스가 그 앞에 섰습니다. 그는 먼저 영국의 은행과 관공서가 쓰던 처브 자물쇠를 공개된 자리에서 열었고, 이어 브라마사의 자물쇠를 진열창에서 떼어내 도전을 신청했습니다. 여러 날에 걸친 작업 끝에 7월 하순, 그마저 열어 보였습니다. 상금 200기니는 만국박람회장 수정궁에 전시되었고, 영국 자물쇠 산업의 신화는 그렇게 무너졌습니다.

비난이 쏟아졌습니다. 따는 법을 사람들 앞에서 보여 주는 것은 도둑을 돕는 짓 아니냐는 것이었지요. 1853년, 홉스는 자물쇠 기술을 다룬 책에서 이렇게 답했습니다.

"악당들은 자기 직업에 매우 능해서, 우리가 가르쳐 줄 수 있는 것보다 이미 훨씬 많이 알고 있다."

보안에서 전면 공개(full disclosure) 논쟁의 출발점으로 인용되는 문장입니다. 취약점은 덮는다고 사라지지 않으며, 공격자만 아는 상태가 가장 위험하다는 것. 이 논쟁은 175년 동안 이어졌습니다.

그런데 2026년 8월 7일, 세계에서 가장 앞선 AI 회사 한 곳이 홉스의 정반대편에 섰습니다.

그날 오픈AI는 공식 블로그에 "Responding to the next frontier of critical cyber capabilities"라는 글을 올렸습니다. 개발 중인 미출시 모델 아스트라(Astra)를 자사 Preparedness Framework(대비 프레임워크)상 사이버보안 '크리티컬(Critical)'로 취급하기 시작했다는 내용입니다. 이 등급이 붙은 것은 처음입니다. 같은 날 Axios가 단독으로 오픈AI가 아스트라의 출시를 늦출 수 있다고 보도했고 블룸버그와 테크크런치가 뒤를 이었습니다. Axios는 프런티어 랩이 자사 모델의 사이버 역량 때문에 공개적으로 속도 조절을 약속한 첫 사례일 수 있다고 평가했습니다.

▸ "판정을 받았다"가 아니라 "배제할 수 없다" : 원문과 헤드라인 사이

8일 국내 매체 중 적지 않은 곳의 헤드라인이 "개발 중단"이었습니다. 그런데 오픈AI가 실제로 쓴 문장은 훨씬 좁고 조건부입니다.

첫째, 아스트라가 크리티컬 판정을 받은 것이 아닙니다. 예비 평가 결과 크리티컬 역량을 "배제할 수 없다(cannot rule out)"는 것이고, 그래서 확정을 기다리지 않고 미리 그 등급처럼 다루기 시작했다는 것입니다. 판정이 아니라 선제 조치이지요.

둘째, 멈춘 것은 개발 전체가 아니라 안전장치와 통제가 아직 갖춰지지 않은 내부 활동입니다. 나머지는 속도 조절입니다. 셋째, 아스트라의 출시 시점은 원래도 공개된 적이 없습니다. 연기라고 부르려면 기준선이 있어야 하는데 그런 것이 없었지요.

넷째, 오픈AI는 아스트라가 7월의 허깅페이스 침해와 무관하다고 명시했습니다. 지난달 이 블로그에서 다룬 평가 환경 이탈 사건들과 이번 건은 별개입니다.

기준표 자체도 짚고 가야겠습니다. Preparedness Framework는 2023년 12월 베타로 처음 나왔고 2025년 4월 15일 v2로 개정되었습니다. 추적하는 위험 범주가 셋(생물·화학, 사이버보안, AI 자기개선), 역량 등급이 둘(High, Critical)입니다. 이 중 사이버보안 크리티컬의 정의는 이렇습니다.

인간의 개입 없이 여러 개의 경화된(hardened) 실제 핵심 시스템에서 모든 심각도의 작동하는 제로데이 익스플로잇을 찾아내고 만들어 내거나, 높은 수준의 목표만 주어져도 경화된 표적에 대한 종단간 신규 공격 전략을 스스로 세우고 실행하는 능력.

읽으면서 무언가 겹친다고 느끼셨을 것입니다. 목표만 주면 경로를 스스로 설계하고 도구를 써서 끝까지 밀고 간다는 것, 이것은 우리가 에이전트에게 기대하는 바로 그 능력이거든요. 같은 문장이 제품 소개서에 쓰이면 자율성이 되고 위험 등급표에 쓰이면 임계가 됩니다.

오픈AI가 걸었다고 밝힌 통제는 구체적입니다. 아스트라의 에이전틱 활용 전반에 훈련과 평가까지 포함한 상시 모니터링을 걸어 사고 사슬(chain of thought)을 평가하고 고위험 활동을 검토하거나 중단시키며, 격리된 테스트 환경과 네트워크·도구 접근 제한, 모델 가중치 보호와 암호화 강화, 샌드박스 실행을 적용한다고 했습니다. 오픈AI의 안전 연구자 보아즈 바락은 "신중한 쪽으로 기운 것이 자랑스럽다"고 적었습니다.

▸ 열흘 전의 요구, 열흘 뒤의 대답

이 발표가 저에게 인상적이었던 이유는 날짜 때문입니다.

발표보다 열흘 앞선 7월 28일, 프런티어 AI 기업 임직원 1,200명 규모가 미국 정부에 요구한 것이 있었지요. 개발 속도를 조절할 수 있는 기술과 거버넌스 도구, 그중에서도 검증 가능한 방식이었습니다. 혼자 멈추면 손해만 보는 구조를 깨려면 상대가 정말 멈췄는지 확인할 수단이 있어야 한다는 것이었습니다.

그리고 열흘 뒤, 업계 최초로 브레이크가 밟혔습니다. 그런데 밟았다는 사실을 우리에게 알려준 것도, 얼마나 밟았는지 정하는 것도, 언제 뗄지 정하는 것도 전부 같은 회사입니다. 요구한 것은 계기판이었는데 돌아온 것은 운전자의 말이었지요.

오픈AI는 정부기관 및 일부 AI 안전기관과 협력해 아스트라의 사이버 역량을 추가 검증하겠다고 밝혔습니다. 다만 이것은 예정이고 결과는 공개되지 않았습니다. 틀이 아예 없는 것은 아닙니다. 백악관은 8월 4일 회의에서 프런티어 모델 사전 검토 프레임워크가 완성되었다고 기업들에 통보했는데, 이것은 강제가 아니라 자발적 참여입니다. 영국 AI보안연구소는 8월 4일 오픈AI와 앤트로픽 에이전트의 무단 행위 19건을 공개했지요. 검증할 기관이 없는 것이 아니라 순서가 거꾸로입니다. 지금의 체계는 사후에 확인하는 쪽에 가깝습니다.

한 가지 더. 지금 서비스되는 모델들이 이 표의 어느 칸에 있는지도 우리는 2차 보도로만 압니다. 등급표는 공개되어 있는데 채점표는 회사 안에 있지요.

▸ 그렇지만 : "너무 위험해서 못 낸다"는 세 번째 문장

한 발 물러서 보면, 이 이야기에는 마땅히 붙어야 할 냉소가 있습니다.

확정된 등급이 아니라 가능성만 알린 것이므로, 나중에 크리티컬이 아닌 것으로 판명되더라도 오픈AI가 잃을 것은 없습니다. 신중한 회사라는 평판만 남지요. 비용 없는 홍보라는 지적이 발표 당일부터 나왔습니다.

"너무 위험해서 못 낸다"는 문장은 이번이 처음이 아닙니다. 2019년 2월 오픈AI는 GPT-2를 너무 위험하다는 이유로 전체 공개하지 않았다가 그해 11월 전량 공개로 돌아섰습니다. 올해 앤트로픽의 Claude Mythos는 결이 다릅니다. 제한된 참여 조직에만 열려 있던 접근이 6월에 Project Glasswing 참여 조직 200곳 안팎까지 넓어졌을 뿐, 아직도 일반 공개는 아니지요. 사이먼 윌리슨은 "우리 모델이 너무 위험해서 공개할 수 없다고 말하는 것은 새 모델의 화제를 만드는 훌륭한 방법"이라고 꼬집었습니다. 다만 이 말은 Mythos를 두고 한 것이었고, 그는 같은 글에서 "이 경우엔 신중함이 타당해 보인다"는 말도 함께 남겼습니다. 냉소와 인정이 한 문장 건너 붙어 있는 셈입니다.

같은 날 정반대 방향의 소식이 있었다는 점도 함께 봐야 공평합니다. 8월 7일 앤트로픽은 Fable의 거부 반응을 완화했다고 밝혔습니다. 일상적인 건강·교육 질문에서의 거부가 크게 줄었다는 것인데, 바이러스학·독성학·분자 설계처럼 위험 전용이 가능한 영역은 여전히 차단됩니다. 앤트로픽도 전문 생물학 연구용으로는 아직 부적합하다고 인정했지요. 그래도 방향은 분명합니다. 한쪽은 조이고 한쪽은 풀었습니다. 같은 날에 말입니다.

이 그림이 말해 주는 것은 안전 수위가 고정된 선이 아니라는 사실입니다. 그것은 경쟁 상황과 고객 불만과 평판의 함수로 매일 조금씩 움직입니다. 보도에 따르면 앤트로픽은 유사한 일시 중단을 약속했다가 올해 2월 철회한 적이 있는데, 한 곳만 멈추고 경쟁사가 계속 달리면 세상은 더 안전해지지 않는다는 논리였습니다. 이 논리가 틀렸다고 말하기 어렵다는 것이 이 문제의 진짜 곤란함입니다.

▸ 등급표가 닿지 않는 절반, 그리고 우리 자리

그리고 이 등급표에는 구조적인 사각지대가 하나 있습니다.

가중치 암호화, 격리된 테스트 환경, 네트워크 차단, 상시 모니터링. 오픈AI가 나열한 통제는 전부 모델이 회사 안에 있을 때에만 성립합니다. 가중치를 쥐고 있어야 작동하는 안전장치이지요. 7월 27일 문샷 AI의 Kimi K3가 2.8조 파라미터 규모로 다운로드 가능해졌고, 알리바바는 Qwen3.8-Max의 오픈웨이트를 8월 10일이 있는 주에 공개하겠다고 예고했습니다. 비슷한 능력이 다른 배포 방식으로 나오면 이 등급표에는 해당하는 칸이 없습니다.

한국의 자리도 바로 여기입니다. 7월 29일 SK텔레콤이 A.X K2를 688B 규모로, 7월 31일 LG AI연구원이 K-EXAONE 2.0을 750B 규모에 아파치 2.0 라이선스로 공개했습니다. 정부는 독자 파운데이션 모델을 8월 중 오픈소스로 전면 공개한다는 방침이지요. 공개할 것인가라는 질문에는 우리도 답을 냈습니다. 그런데 멈춰야 할 때를 판정하는 기준표, 즉 어떤 역량이 어느 수준에 닿으면 배포를 보류할지에 대한 공개된 체계는 아직 빈약합니다. 영국은 같은 시나리오를 122회 시행해 19건을 잡아내는 기관을 가지고 있고 미국은 사전 검토 창을 만들었습니다. 우리는 공개의 속도를 먼저 얻었습니다.

당장 실무에서 할 수 있는 일도 있습니다. 사내 에이전트의 네트워크와 도구 권한을 최소한으로 줄이는 것, 평가·실험 환경이 정말 인터넷과 끊겨 있는지 문서가 아니라 실측으로 확인하는 것, 모델 가중치와 자격증명 저장소를 분리하는 것, 에이전트의 행위 로그를 결과가 아니라 과정 수준에서 남기는 것. 지난달 크롬 이야기에서 봤듯 발견의 병목이 사라지면 남는 병목은 우리 쪽 패치 주기입니다. 폐쇄망 검증과 정기 점검 주기로 움직이는 국내 금융·공공의 시계가 특히 그렇지요.

홉스가 사람들 앞에서 공개한 것은 자물쇠를 여는 방법이었습니다. 그 방법을 실제로 쓰려면 사람이 손기술을 오래 익혀야 했고, 그래서 공개가 결과적으로 더 나은 자물쇠를 만들었습니다. 지금 오픈AI가 붙들고 있는 것은 여는 방법이 아니라 여는 능력 자체가 담긴 파일입니다. 복제에 비용이 들지 않고 지치지도 않는 능력이지요. 175년 된 논쟁이 대상만 바꿔 되돌아왔는데, 대상이 바뀌면 답도 바뀌어야 하는지는 아직 아무도 모릅니다.

저는 이번 발표를 냉소로만 읽고 싶지는 않습니다. 감속이 홍보가 될 수 있다는 것은, 적어도 신중함이 값을 갖는 시장이 되었다는 뜻이기도 하니까요. 다만 진전의 크기는 우리가 확인할 수 있는 만큼입니다. 브레이크가 있다는 것과 브레이크가 작동한다는 것은 다른 문제입니다. 지금까지 우리에게 도착한 것은 밟았다는 운전자의 말이고, 남은 일은 계기판을 만드는 일입니다.

새로운 발표가 나올 때마다 우리가 던져야 할 문장은 언제나 하나로 모입니다. 그래서 그것을 우리는 어떻게 확인합니까. 여러분의 조직에서 그 질문을 대신 던져 주는 자리는 어디에 있습니까.