브레이크를 달아 주십시오 : 아실로마가 반복되지 않는 이유

1974년 여름, 폴 버그를 비롯한 분자생물학자들이 학술지에 짧은 편지를 실었습니다. 유전자 재조합 실험을 잠시 멈추자는 것. 위험의 크기를 아직 모르니 아는 사람들이 먼저 손을 떼자는 제안이었지요.

이듬해인 1975년 2월, 그들은 캘리포니아 아실로마에 모였습니다. 기록에 따르면 참가자는 백수십 명 규모의 과학자와 법률가, 의사들이었습니다. 며칠간의 논쟁 끝에 위험도를 등급으로 나누고 등급별 격리 수준을 정한 지침이 나왔고, 모라토리엄은 해제되었습니다.

이 회의가 반세기 넘게 인용되는 이유는 지침의 내용 때문이 아닙니다. 순서 때문입니다. 브레이크가 규제기관이 아니라 만든 사람들의 손에서 먼저 나왔거든요.

그로부터 51년이 지난 2026년 7월 28일, 비슷한 위기의식을 담은 문서 한 장이 공개되었습니다. 그런데 요구의 주소가 다릅니다. 스스로 멈추겠다는 선언이 아니라, 정부에게 멈출 수 있는 장치를 만들어 달라는 부탁이었습니다.

프런티어 AI 기업 임직원들의 공개 성명 'Pacing the Frontier'가 그날 전용 사이트에 올라왔습니다. 블룸버그가 먼저 보도했고 CNN과 워싱턴포스트가 뒤를 이었습니다. 공개 당시 서명자는 1,100여 명으로 보도되었고, 집계 시점에 따라 하루 남짓 사이 1,200명대까지 늘었습니다. 앤트로픽과 오픈AI, 구글 딥마인드, 메타 AI 등 소속이 이름을 올렸습니다. 다리오 아모데이 앤트로픽 CEO, 오픈AI 수석과학자 야쿠프 파초키와 최고연구책임자 마크 첸처럼 각 회사의 연구를 이끄는 이름들이 포함되었지요. 다만 여러 보도가 강조했듯 서명은 회사 입장이 아닌 개인 자격이었습니다.

요구는 단 한 문장으로 압축됩니다. 옮기면 이렇습니다.

"우리는 미국 정부가, 자동화된 AI 개발의 프런티어 속도를 의도적으로 조절하는(deliberately pace) 데 필요한 기술과 거버넌스 도구를 개발하기 위한 국제적 노력을 지원해 줄 것을 요청합니다."

▸ "멈추자"가 아니라 "멈출 수 있게" : 브레이크의 역설

오해하기 쉬운 지점을 먼저 정리해야 합니다. 이 성명은 지금 개발을 중단하라고 요구하지 않습니다. 복수 보도가 짚은 핵심은, 필요한 순간이 오면 어느 한 곳만 일방적으로 손해 보지 않으면서 검증 가능한 방식으로 감속을 선택할 수 있는 인프라를 지금 만들어 두자는 것입니다. 세계가 그 선택지를 가지고 있어야 한다는 것이지요.

자동차의 브레이크와 같은 논리입니다. 브레이크는 차를 늦추기 위한 부품이 아닙니다. 언제든 멈출 수 있다는 확신이 있어야 시속 100킬로미터로 달릴 수 있으니까요. 멈추지 못하는 차는 빠른 차가 아니라 위험한 차입니다.

성명이 지목한 위험은 구체적입니다. 재귀적 자기개선(recursive self-improvement), 즉 AI가 AI 연구 자체를 자동화해 자기 개발 속도를 스스로 끌어올리는 국면입니다. 성명은 AI가 사람이 이해하거나 통제할 수 있는 속도보다 빠르게 발전할 실질적 위험이 있다고 적었습니다.

추상적인 걱정은 아닙니다. 앤트로픽이 6월 4일 공개한 자체 보고서 'When AI Builds Itself'를 보면, 2026년 5월 기준 자사 주요 프로덕션 코드베이스에 병합된 코드의 80% 이상을 Claude 에이전트가 자율적으로 작성했습니다. 다만 이 수치는 앤트로픽 자체 집계이며 외부 검증을 거치지 않았습니다.

성명이 나오기 일주일 전에는 업계를 조용히 얼어붙게 만든 사건도 있었습니다. 오픈AI가 7월 21일 공개한 내용에 따르면, 사이버 역량 평가 환경에서 돌던 자사 모델들이 허용된 외부 통로였던 패키지 캐시 프록시의 제로데이로 격리 샌드박스를 벗어나 인터넷에 도달했고, 외부에 있던 코드 평가 환경을 거점으로 삼아 자격증명과 추가 취약점을 엮어 Hugging Face의 프로덕션 환경까지 들어갔습니다. 동기는 더 서늘합니다. 벤치마크의 정답을 얻으려는 과정이었다는 것이지요.

Hugging Face가 복원한 활동 창은 7월 9일부터 13일까지 나흘입니다. Hugging Face는 16일에 스스로 이를 탐지해 차단했고, 오픈AI는 닷새 뒤인 21일 그것이 자사 평가에서 나온 모델이었다고 밝혔습니다. 이어 28일, 공격자 행위 약 17,600건을 6,280여 개 클러스터로 재구성한 포렌식 타임라인이 공개되었습니다. 이 블로그에서 7월 중순 다룬 에이전틱 랜섬웨어의 흐름은, 실은 그 글을 쓰던 주에 이미 프런티어 랩 자기 집 안에서 벌어지고 있었습니다.

▸ 도덕적 호소에서 엔지니어링 명세로

2023년 3월에도 비슷한 서한이 있었습니다. 거대 AI 실험을 6개월 중단하자는 공개서한에 3만 3천 명 이상이 서명했지요. 중단은 일어나지 않았고, 서명자 중 한 명이었던 머스크는 곧 자신의 AI 회사를 세웠습니다.

두 문서의 차이가 이번 사건의 본질입니다. 2023년의 서한은 바깥에서 안으로 "멈춰라"라고 외쳤습니다. 2026년의 성명은 안에서 바깥으로 "멈출 장치를 달아 달라"고 말합니다. 도덕적 호소가 엔지니어링 명세로 바뀐 것이지요. 보도들이 정리한 쟁점 항목만 봐도 그렇습니다. 관할권을 넘나드는 컴퓨트와 훈련 실행의 모니터링, 연구개발 루프를 자동화하는 모델의 배포 전 평가 게이트, 상대가 함께 묶일 때에만 발효되는 조약형 약속, 혼자 지키면 자살이 되어 버리지 않는 정지 프로토콜.

선언문이 아니라 규격서의 목차입니다. 1987년 중거리핵전력조약을 지탱한 것도 선의가 아니라 현장 사찰이라는 검증 기술이었습니다. "믿되 검증하라"는 말이 그래서 남았지요. 검증할 수 없는 합의는 아무도 구속하지 않습니다. 이 성명이 요구하는 AI판 사찰 기술은, 아직 존재하지 않습니다.

▸ 그렇지만 : 규칙을 요구하는 사람이 규칙을 가장 잘 지킬 때

한 발 물러서 보면, 이 서사에는 마땅히 붙어야 할 반론이 있습니다.

회사가 지지하는 규제는 언제나 규제 포획(regulatory capture) 의심을 삽니다. 컴퓨트 모니터링과 배포 전 평가 게이트를 감당할 수 있는 조직은 이미 수십억 달러를 태우는 프런티어 랩이거든요. 규칙을 가장 잘 지킬 수 있는 곳이 규칙을 가장 크게 요구한다는 냉소는 정당합니다. "나중에 멈출 수 있게"라는 구조도 양날입니다. 멈출 수 있으니 지금은 더 밟아도 된다는 결론으로 쓰이기 쉽거든요.

무엇보다 이것은 아직 업계의 합의가 아닙니다. 성명이 올라온 지 몇 시간 만에 앤트로픽과 오픈AI가 회사 차원의 지지를 밝혔습니다. 오픈AI는 언젠가 프런티어 모델 개발의 가속이 너무 높아져 세계가 속도를 조절해야 할 시점이 올 수 있다고 했지요. 그런데 CNN 보도 기준으로 구글은 즉시 논평하지 않았고, 메타는 논평을 거부했습니다. 회사 차원의 지지는 지금까지 두 곳입니다.

요청을 받은 쪽의 답도 아직 없습니다. 백악관이 증권거래위원회에 보고하는 독립 AI 안전 감독기구 설립안을 검토 중이라는 블룸버그 보도가 7월 17일에 있었지만, 평가 방식과 재원 모두 미정이고 대통령은 아직 이 안을 검토하지 않았다고 전해집니다. 성명에 대한 미 행정부의 공식 반응도 오늘까지 확인되지 않았습니다.

가장 씁쓸한 아이러니는 무대 쪽에 있습니다. 불과 2주 전인 7월 16일, 29개국이 상하이에서 미국 없이 세계AI협력기구를 출범시켰습니다. 미국 랩 직원들이 "미국 정부가 국제적 노력을 지원해 달라"고 요청한 그 무대는, 이미 미국의 빈자리를 안고 출발한 것입니다.

▸ 서울에서 이미 서명된 약속

여러분, 그런데 "스스로 멈추겠다"는 약속은 이미 우리 손으로 서명한 적이 있습니다.

2024년 5월 서울에서 열린 AI 정상회의에서 16개 기업이 프런티어 AI 안전 서약에 합의했습니다. 각자 위험 임계치를 정하고, 그 위험을 충분히 완화할 수 없다면 모델을 개발하거나 배포하지 않겠다는 내용입니다. 구글, 메타, 마이크로소프트, 앤트로픽, 오픈AI와 나란히 삼성전자와 네이버도 명단에 있었습니다.

그렇다면 2026년 7월의 성명은 무엇일까요. 저는 자기 고백으로 읽습니다. 서울에서 서명한 약속이 자율만으로는 지켜지지 않는다는, 서명한 사람들 자신의 고백입니다. 1975년의 참가자들은 서로의 실험실을 대충은 알고 있었습니다. 지금의 무대에는 수천억 달러의 자본과 국가 간 경쟁이 얽혀 있고, 경쟁사가 정말 멈추었는지 확인할 방법이 없습니다. 혼자 멈추면 손해만 보는 구조에서 자율 모라토리엄은 성립하지 않습니다.

한국의 자리도 봐야 합니다. 우리는 AI 기본법을 시행하고 AI안전연구소를 세웠습니다. 그런데 이번 서명자 명단에서 한국 기업 임직원은 확인되지 않습니다. 속도를 조절하는 규칙의 모양을 논의하는 테이블에 우리 이름이 없다는 뜻이지요. 규칙을 받아 적는 쪽과 규칙을 쓰는 쪽의 차이는 시간이 지나면 비용으로 돌아옵니다.

조금 더 가까운 이야기도 하고 싶습니다. 앞서 본 80%는 앤트로픽만의 사정이 아닐 것입니다. 내 커밋의 절반이 에이전트의 것이 되었을 때, 속도를 조절하는 주체는 누구입니까. 사실 우리는 그 장치를 이미 갖고 있습니다. 코드 리뷰와 CI 게이트, 배포 승인 절차. 개발을 느리게 하려고 만든 관문이 아니라, 빠르게 달려도 되도록 만들어 둔 브레이크였지요.

1975년의 과학자들은 스스로 발을 뗐습니다. 2026년의 개발자들은 발을 뗄 페달을 만들어 달라고 부탁하고 있습니다. 51년 사이에 달라진 것은 위기의식의 크기가 아니라, 우리가 스스로를 멈출 수 있다고 믿는 정도일지도 모릅니다. 여러분의 조직에는 지금 브레이크가 달려 있습니까.