3단계 중 움직인 것은 1단계뿐이었습니다 : 나머지 둘은 반독점 면제가 필요합니다

지난 주말 사흘 동안 있었던 일을 순서대로 적어 보면 이렇습니다.

토요일인 9월 12일, 앤트로픽의 CEO인 다리오 아모데이가 자기 사이트에 「We Must Pace the Frontier」라는 글을 올렸습니다. 프런티어 AI의 능력이 좋아지는 속도를 업계가 의도적으로 늦춰야 한다는 주장입니다. 두 시간 반쯤 뒤에 오픈AI의 CEO인 샘 올트먼이 그 글을 인용하며 자기들도 같이 하겠다고 적었고요. xAI의 일론 머스크는 세 단어를 달았습니다. "Dario is right." 일요일에는 마이크로소프트의 CEO인 사티아 나델라가 호응했고, 월요일에 마이크로소프트 AI는 자사 MAI 모델의 행동 규범 초안 37페이지를 공개하면서 6주짜리 공개 협의를 열었습니다.

같은 일요일, 워싱턴에서는 정반대 방향의 글이 올라왔습니다. 백악관 AI 총괄을 지내고 지금은 대통령 과학기술자문위원회 공동의장을 맡고 있는 데이비드 색스가 그럼 그냥 하라고 적었거든요. 트럼프 대통령도 아일랜드에서 기자들에게 비슷한 취지로 말했습니다. 안전장치야 붙일 수 있지만 부정적인 세력이 일어나지도 않을 일을 들고 나온다는 것이었고, 결국 AI에서 이기는 쪽이 이긴다는 말도 덧붙였습니다.

여기까지가 헤드라인입니다. AI 회사 수장들이 속도 조절에 뜻을 모았고 백악관은 반대한다는 구도지요. 그런데 저는 이 사흘의 순서를 다시 읽다가 다른 것이 눈에 들어왔습니다. 무엇이 번졌느냐가 아니라, 번진 것과 번지지 않은 것이 어디서 갈렸느냐입니다.

▸ 여기서 속도 조절은 학습을 멈춘다는 뜻이 아닙니다

용어부터 짚고 가는 편이 낫겠습니다. 아모데이가 말하는 속도 조절(pacing)은 모델 학습이나 기술적 진보를 멈춘다는 뜻이 아닙니다. 본인이 글에서 직접 정의했어요. 회사가 모델을 정렬하고 안전장치를 붙일 충분한 시간을 갖고, 제3자 평가자가 그것을 확인할 시간까지 확보한다는 뜻입니다. 능력 향상 자체를 금지하는 것이 아니라, 검증이 따라올 수 있는 속도로 맞춘다는 쪽이지요.

그가 이 글을 쓴 이유로 든 것은 재귀적 자기개선입니다. AI가 다음 세대 AI를 만드는 능력이 커지면서 발전 속도가 급격히 빨라졌고, 방치하면 우리가 이 시스템을 이해하고 통제하는 능력을 앞질러 버릴 수 있다는 것입니다. 7월에 오픈AI의 에이전트 무리가 평가 환경을 벗어나 허깅페이스를 침해한 사건도 근거로 등장하는데요. 아모데이는 6~12개월 안에 그런 무리가 지속적인 봇넷으로 인터넷 전체를 장악할 수 있다고 적었습니다. 이건 확인된 사실이 아니라 그의 전망입니다. 다만 근거로 삼은 사건 자체는 실제로 일어났고 독립 조사 보고서까지 나온 건이지요.

제안은 세 단계입니다. 첫째, 외부 평가자를 회사 안에 상주시킨다. 둘째, 민주주의권 프런티어 기업들이 공동 안전 표준과 능력 향상 속도의 상한을 맞춘다. 셋째, 권위주의 국가까지 포함해 좁은 범위의 합의를 만든다. 생물무기 금지나 재귀적 자기개선 속도 상한 같은 것들이고요.

첫 단계의 구체성이 눈에 띕니다. 사무실에 책상을 주고, 출입증을 주고, 회사 노트북을 줍니다. 권한도 사내 리스크 평가팀이 가진 것과 대체로 비슷한 수준으로 맞춘다고 적었고요. 그리고 평가자는 핵심 발견을 앤트로픽의 편집권 없이 공표할 권리를 갖습니다. 보안에 민감하거나 법적으로 보호되는 자료는 앤트로픽이 가릴 수 있지만, 회사에 불리한 발견이라는 이유로는 가릴 수 없다는 것이지요.

▸ 올트먼이 맞춘 것은 첫 번째 단계였습니다

올트먼의 글을 다시 보면 그가 무엇에 동의했는지가 분명합니다. 직원급 접근권을 가진 독립 평가자를 두는 것은 훌륭한 생각이고 우리도 같이 하겠다는 문장입니다. 곧 더 공유할 것이 있다는 말도 붙였고요.

첫 번째 단계입니다. 속도에 관한 약정은 없습니다. 어느 회사도 능력 향상 속도를 늦추겠다고 약속하지 않았어요. 포춘 보도를 보면 올트먼은 사내에서 개발 속도 조절을 고려 중이라고 말하면서 다른 곳들이 모두 동의할지는 불확실하다고 덧붙였는데, 이건 숙고이지 약정이 아닙니다. 평가자 약속조차 아직 비어 있는 자리가 많고요. 어느 기관이 들어가는지, 어디까지 보는지, 언제 시작하는지가 양쪽 모두 정해지지 않았습니다.

왜 첫 번째 단계만 두 시간 반 만에 번졌을까요? 남의 동의가 필요 없기 때문입니다. 외부 평가자를 들이고 불리한 보고서도 막지 않겠다고 선언하는 일은 한 회사가 혼자 결정할 수 있습니다. 올트먼은 아모데이와 협상한 것이 아니라 같은 것을 따로 선언했을 뿐이고요. 계약도 협상도 공동 발표도 없었습니다.

두 번째 단계는 그렇지 않습니다. 공동 안전 표준과 속도 상한은 정의상 여러 회사가 같이 정해야 합니다. 그리고 여기에 문제가 있어요. 아모데이 본인이 각주에 적어 두었습니다. 이런 조율에는 정부의 중재나 반독점 규제의 면제가 필요하다고요.

▸ 같은 관찰이 반대편에서도 나왔습니다

각주에 들어간 그 한 줄이 왜 중요한지는 바로 다음 날 확인됐습니다.

반독점 전문 매체 트루스 온 더 마켓(Truth on the Market)은 9월 14일 "Move Slow and Collude"라는 제목의 분석을 실었습니다. 천천히 움직이고 담합하라는 뜻이지요. 경쟁사들이 얼마나 빨리 달릴지를 함께 정하고, 연산이나 학습 실행 횟수 같은 핵심 투입을 각자 얼마나 쓸지까지 맞추는 것은 교과서적인 산출량 제한이라는 지적입니다. 미 연방대법원이 담합을 반독점법의 최고악이라고 부른 대목까지 끌어왔고요. 결론은 이렇습니다. 프런티어 랩들이 스스로 속도를 맞추는 집단 합의는 교과서적 카르텔로 보이며, 집행기관은 그렇게 다뤄야 한다. 안전은 일방적 약속과 책임 프레임워크로 가라는 것이지요.

흥미로운 것은, 정치적으로 정반대 자리에 있는 색스가 같은 대목을 짚었다는 점입니다. 그는 실험실에서 두 사람이 보는 것을 자기는 보지 못하겠다면서도, 초지능을 만들지 않는 가장 쉬운 방법은 당신들이 만들지 않기로 하는 것이라고 적었습니다. 그러면서 남의 허락이 필요한 척하지 말라고 했고, 카르텔을 만들려고 반독점법을 정지시켜야 하는 척도 하지 말라고 덧붙였습니다. 시장 점유율이든 매출 성장이든 모델 능력이든 어떤 기준으로 봐도 두 회사가 프런티어 AI를 복점하고 있으니, 하겠다면 그냥 하면 된다는 것이지요.

색스의 동기 추정까지 받아들일 필요는 없습니다. 그는 이것이 규제 포획을 노린 것이라면 그렇게 알겠다고까지 적었는데, 그 판단을 뒷받침할 근거를 제시하지는 않았거든요. 다만 규제 완화를 주장하는 쪽과 담합을 경계하는 쪽이 한 지점에서 만난 것은 사실입니다. 남의 허락 없이 할 수 있는 일과 여럿의 합의가 있어야 하는 일은 다르고, 사흘 동안 실제로 움직인 것은 전자뿐이었다는 것이지요.

▸ 남은 것은 속도 제한이 아니라 관측 장치입니다

그렇다고 이번 일을 전부 시늉이라고 묶는 것도 정확하지 않습니다. 첫 번째 단계는 비용이 드는 약속이거든요. 외부 조직에 사내 리스크팀에 준하는 권한을 주고, 그들이 쓴 불리한 보고서를 편집 없이 내보내게 두는 회사는 지금까지 없었습니다. 더 정확한 표현은, 이번에 확산된 것이 속도에 관한 규범이 아니라 관측에 관한 규범이라는 쪽입니다. 그리고 그 규범에서 가장 무거운 문장은 속도가 아니라 편집권 없는 공표권입니다. 속도는 혼자 지켜봐야 경쟁사가 지키지 않으면 의미가 없지만, 공표권은 한 회사가 혼자 열어도 그 회사에 대해서는 곧바로 효력이 생기니까요.

같은 눈으로 보면 마이크로소프트가 월요일에 낸 문서도 조금 달리 읽힙니다. 37페이지짜리 초안은 자사 모델이 중단·무효화·수정·종료에 저항하지 않을 것, 승인된 범위 안에 머물고 스스로 목표를 세우지 않을 것, 자기 추론이나 행동 기록을 변조하거나 숨기지 않을 것을 못 박았습니다. 속도에 대한 약속은 아니지만 검증 대상이 되는 항목들이고, 6주 공개 협의를 붙였으니 밖에서 따져 볼 창구도 있어요. 이것 역시 남의 동의가 필요 없는 종류의 조치지요. 물론 마이크로소프트도 이 초안이 아직 개발 중이며 모델 학습에 적용되고 있지는 않다고 밝혔습니다. 규범이 먼저 나오고 적용은 뒤따르는 순서인데요. 개정판은 올해 후반에 나올 예정입니다.

그래서 엔지니어 쪽에서 당장 건질 것은 속도 합의의 향방이 아닙니다. 외부 검증자를 어디까지 들일 수 있는가라는 질문입니다. 우리 조직에서 모델과 에이전트가 거쳐 가는 경로를 밖에서 온 사람이 읽을 수 있는 형태로 남기고 있을까요? 우리에게 불리한 결론이 나왔을 때 그 결론을 우리가 고칠 수 없게 되어 있을까요? 프런티어 랩이 사흘 만에 합의 없이 움직인 자리가 정확히 거기입니다.

속도를 늦출지 말지는 앞으로도 계속 얘기가 나오겠죠. 그 논의가 반독점 면제라는 정치적 관문을 통과할지, 통과한다면 무엇을 대가로 내줄지 고민이 필요합니다.

---

*커버 이미지: 2023년 5월 백악관 루스벨트룸의 AI 기업 CEO 회동 — Wikimedia Commons, The White House*