감독자 자리가 비어 있습니다 : 세 회사가 짓는 프런티어 AI 표준기구

지난 23일 뉴욕에서 열린 UN 안전보장이사회 회의에서 앤트로픽의 CEO 다리오 아모데이는 국제사회에 세 가지를 제안했습니다. 그 가운데 마지막 하나가 이것입니다. 모델의 통제 상실 위험과 오용 위험을 시험하는 공통의 국제 표준, 그리고 세계 안보에 중대한 AI 인시던트가 일어났을 때 서로에게 알리는 신고 체계. 그는 AI를 두고 "오늘날 세계가 직면한 가장 중요한 안보 문제"라고 했어요. 같은 자리에서 OpenAI의 CEO 샘 올트먼도 "AI가 민주적인 것이 되려면, 가장 중요한 결정들이 샌프란시스코의 연구소들만으로 내려져서는 안 된다"고 말했습니다.

이 회의는 UN 총회 주간에 프랑스가 소집했고 15개 이사국이 참석했습니다. Hugging Face의 CEO 클레망 들랑그, AI에 관한 독립 국제 과학 패널의 공동의장인 요슈아 벤지오, 프랑스와 영국의 외무장관도 발언했고요.

그런데 같은 테이블에 미국 대표로 앉은 백악관 과학기술정책실장 마이클 크라치오스는 정반대를 말했습니다. "미국은 국제기구가 AI에 대한 중앙집중적 통제와 글로벌 거버넌스를 주장하려는 모든 시도를 전면 거부합니다." 그는 번영하는 미래는 글로벌 규제기관이 만들어 주는 것이 아니라고도 했습니다.

▸ 같은 두 가지를 서로 다른 곳에 요청했습니다

이 회의가 열린 즈음에 나온 다른 보도를 겹쳐 놓으면 장면이 조금 달라집니다. The Information은 구글과 OpenAI, 앤트로픽 세 회사가 프런티어 AI 표준기구(Standards Authority for Frontier AI), 줄여서 SAFA라는 민간 기구를 준비하고 있다고 전했습니다. 잠정 명칭이고, 출범 목표는 올해 말에서 내년 초입니다.

SAFA가 하겠다는 일의 목록이 눈에 걸립니다. 제3자 기관이 모델을 배포 전에 시험할 수 있도록 지원하는 것, AI 안전·보안 인시던트를 신고하는 가이드라인을 만드는 것, 그리고 각 사가 내놓은 자발적 안전 서약이 실무에서 어떻게 작동해야 하는지를 정의하는 것입니다.

앞의 두 가지는 아모데이가 안보리에서 요청한 것과 정확히 같은 자리를 겨냥합니다. 배포 전 제3자 시험, 그리고 인시던트 신고 체계. 하나는 세계의 국가들에게 요청됐고, 다른 하나는 세 회사가 짓고 있습니다.

다만 이것을 말과 행동이 다르다고 묶는 것은 정확하지 않습니다. 아모데이가 안보리에서 내놓은 나머지 두 제안은 국가만 할 수 있는 일이었어요. 생물무기 제조에 AI를 쓰지 못하게 하는 좁은 국제 합의, 그리고 국가들이 서로의 약속을 검증하는 체계입니다. 민간 기구가 대신 해 줄 수 있는 일이 아니죠.

더 정확한 표현은, 두 경로 가운데 공공 쪽이 먼저 막혔다는 것입니다. 보도에 따르면 세 회사가 처음 그린 그림은 연방정부의 감독을 받는 민관 파트너십이었습니다. 그런데 그 구상이 행정부 안에서 멈췄어요. 백악관은 정부가 관여하기 전에 업계가 먼저 합의를 보라고 했고, 업계 안에서도 합의가 모이지 않았습니다. 그래서 남은 경로가 독립 운영이었던 것이죠. OpenAI에서 글로벌 정책을 총괄하는 크리스 르헤인은 9월 15일 워싱턴 브리핑에서 이 기구가 "정부의 지원이 있든 없든" 추진되어야 한다고 말했습니다.

▸ FINRA 모델을 성립시키는 것은 SEC의 존재입니다

이 기구가 본떴다고 알려진 모델은 FINRA입니다. 미국 금융산업규제기구, 증권 브로커와 딜러들이 돈을 내서 운영하는 민간 자율규제기구죠. 그런데 여기서 한 가지를 짚고 가는 편이 좋겠습니다. FINRA는 혼자 서 있는 기구가 아닙니다. 증권거래위원회(SEC)의 감독 아래에서 규칙을 만들고 집행해요. SEC는 FINRA가 만든 규칙을 승인하거나 거부할 권한을 가지고 있고, 제재를 받은 회원사는 SEC에 항소할 수 있으며 그다음은 연방법원입니다. 그리고 규제 대상이 되는 회사에 FINRA 가입은 선택이 아니라 의무입니다.

업계가 스스로 규칙을 쓴다는 것이 이 모델의 요점이 아닙니다. 업계가 쓴 규칙을 거부할 수 있는 기관이 그 위에 있다는 것이 요점입니다.

출처: Wikimedia Commons, AgnosticPreachersKid

이 대목이 중요한 이유는, 애초의 원안에는 그 감독 기관이 들어 있었기 때문입니다. 구글 딥마인드의 CEO 데미스 하사비스는 7월 14일 「A Framework for Frontier AI and the Dawning of a New Age」라는 글에서 FINRA를 본뜬 미국 주도 표준기구를 제안했는데요. 그 원안은 FINRA처럼 연방정부의 감독을 받는 민관 파트너십이었습니다. 이사회에는 독립 기술 전문가와 오픈소스 진영 대표가 들어가고 비용은 업계가 대되, 그 기구 위에 감독하는 정부가 있다는 전제가 붙어 있었어요. 절차도 구체적이었습니다. 처음에는 출시 30일 전까지 모델을 자발적으로 제출하게 하고, 체제가 작동한다는 것이 입증되면 미국 시장에 모델을 내놓기 위한 전제 조건으로 의무화한다는 것이었습니다.

9월에 전해진 구상에서 그 자리는 비어 있습니다. 정확히는 비어 있다기보다 아직 정해지지 않았습니다. 정관도, 회원 자격도, 집행 권한도 발표된 것이 없어요. 세 회사가 기구의 설립을 공식으로 발표한 것도 아직 없고요. OpenAI가 조율 사실을 인정했을 뿐, 앤트로픽과 구글은 관여 여부를 확인해 주지 않고 있습니다. 초대 CEO 후보로는 스리람 크리슈난과 아라티 프라바카르가 거론되는데, 어느 쪽도 수락했다는 확인은 없습니다.

다만 크리슈난이라는 이름이 거론된다는 사실 자체는 눈여겨볼 만합니다. 크리슈난은 2025년 1월부터 지난 6월까지 백악관의 AI 담당 선임정책보좌관이었습니다. 그리고 자리를 떠나면서 "AI를 위한 FDA는 없을 것"이라고 말한 사람이에요. 모델 하나를 내놓는 데 변호사 팀이 필요해지는 중앙집중 기관은 AI 발전의 톱니바퀴에 모래를 뿌리는 일이라는 것이 그의 주장이었습니다.

감독자 자리가 비어 있으면 같은 구조가 다르게 읽힙니다. Cohere의 CEO 에이단 고메즈는 보도가 나오기 열흘쯤 전에 이미, 업계가 직접 운영하는 표준기구 구상을 두고 "이름만 다른 카르텔"이라고 썼습니다. 후발 주자와 오픈소스 개발자의 진입 문턱을 높인다는 것이죠. 백악관의 AI·암호화폐 차르를 지내고 지금은 대통령 과학기술자문위원회(PCAST) 공동의장인 데이비드 색스도 비슷한 무렵에 "반독점법을 중단시켜야 카르텔을 만들 수 있다는 시늉을 그만두라"고 했습니다. 속도를 늦추고 싶으면 그냥 늦추면 되지 누구의 허락도 필요 없다는 것이었고, 그렇게 하지 않는다면 이것은 규제 포획을 노린 시도이거나 선거철 심리전으로 볼 수밖에 없다고 덧붙였습니다.

규제를 더 하자는 쪽과 덜 하자는 쪽이 이 구상에 대해서만은 같은 단어를 골랐다는 점이 눈에 띕니다. 법률·안보 전문 매체 Lawfare에 실린 분석에서 마크 토머스는 자율규제기구의 주된 위험으로 업계 포획과 규제 정체를 들었는데요. 감독자가 압박하지 않으면 그런 기구는 규칙 한 세트를 써 놓고 그대로 멈춘다는 것입니다.

▸ 정의는 결국 릴리스 체크리스트로 내려옵니다

여기까지는 워싱턴과 뉴욕의 이야기입니다. 그런데 이 기구가 실제로 출범하든 하지 않든, 저 목록에 적힌 정의들은 언젠가 실무로 내려옵니다. 배포 전 제3자 평가를 무엇으로 통과라고 볼 것인지, 어떤 사건을 신고 대상 인시던트로 볼 것인지, 자발적 서약을 무엇으로 검증했다고 할 것인지. 이런 정의는 한번 쓰이고 나면 벤더 계약서의 조항이 되고, 조달 심사의 질문지가 되고, 사내 릴리스 게이트의 체크박스가 됩니다. 그것을 누가 썼는지와 상관없이요.

모델을 직접 만들지 않는 회사에도 해당되는 이야기입니다. 프런티어 모델을 가져다 쓰는 쪽이라면 그 정의를 그대로 물려받게 되니까요. 지금 확인해 둘 만한 것은 그리 거창하지 않습니다. 우리가 쓰는 모델의 제공자가 어떤 배포 전 평가를 받았다고 말하는지, 그 평가를 누가 수행했는지, 사고가 났을 때 우리에게 통지할 의무가 계약서 어디에 적혀 있는지 정도예요.

이 보도가 보여주는 것은 민간이 만드는 표준은 믿을 수 없다는 결론이라기보다, 표준을 쓰는 자리에 누가 앉을지가 표준의 내용보다 먼저 정해진다는 사실에 가깝습니다. 그럼에도, 우린 아무도 쓰지 않은 표준과 당사자들이 쓴 표준 사이에서 갈등하게 됩니다.

---

커버 이미지: UN 안전보장이사회 회의장 — Wikimedia Commons, Wikiweeki