여섯 회사가 서명한 것은 감사 조직도입니다 : 결과를 공개할 의무는 없습니다

미국 법에는 AI의 정의가 이미 적혀 있습니다. 2020년 국가 인공지능 이니셔티브법(National AI Initiative Act)이 연방법전 15편 9401조 3항에 넣어 둔 문장인데요. "인공지능이란, 주어진 일련의 인간이 정의한 목표에 대해 실제 또는 가상 환경에 영향을 미치는 예측이나 권고, 결정을 내릴 수 있는 기계 기반 시스템을 말한다." 그 아래에 조건이 셋 더 붙는데, 환경을 인지하고 그 인지를 자동화된 분석으로 모델로 추상화한 뒤 모델 추론으로 정보나 행동의 선택지를 만든다는 내용입니다.

이 정의를 몇 번 다시 읽어도 능력의 수준을 묻는 조건은 한 줄도 나오지 않습니다. 얼마나 똑똑한지, 사람을 넘어섰는지, 스스로 목표를 세우는지 — 아무것도 없어요. 여기서 AI는 능력의 등급이 아니라 시스템의 종류입니다.

그리고 현지시각 9월 29일, 백악관은 그 단어를 바꾸라는 행정명령에 서명했습니다. 제목은 「Inaugurating The Era of Super Intelligence」입니다. 내용은 생각보다 단순해요. 행정부 각 부처는 공식 서신과 대외 커뮤니케이션, 웹사이트, 정책 문서에서 "Artificial Intelligence"와 "AI"를 쓰지 말고 "Super Intelligence"와 "SI"를 쓰라는 것입니다. 이미 나간 규정과 대통령 행위, 계약과 보조금, 역사 문서는 고치지 않아도 됩니다. 백악관 팩트시트가 밝힌 근거는 초지능이라는 말이 "오늘 개발되고 있는 기술의 진짜 능력을 전달한다"는 것이고요.

눈여겨볼 대목은 그 뒤에 있습니다. 마이클 크라치오스 대통령 과학기술보좌관은 서명일로부터 60일, 그러니까 11월 28일까지 "초지능"의 연방 법률상 정의를 담은 입법안 문구를 제출해야 합니다. 그 과정에서 앞에 인용한 9401조 3항의 AI 정의를 수정할지, 확장할지, 아니면 대체할지를 평가하라고 되어 있어요. 순서를 정리하면 이렇게 됩니다. 이름은 9월 29일에 바뀌었고, 그 이름의 법적 정의는 11월 28일에 제출될 예정입니다.

출처: Wikimedia Commons, Architect of the Capitol

▸ 이름이 바뀐 날, 문서 하나가 더 서명됐습니다

같은 날 같은 자리에서 문서 하나가 더 서명됐고, 백악관은 이튿날 전문을 공개했습니다. 「백악관 초지능 합의: 프런티어 SI 책임에 관한 공동 서약(The White House Accord on Super Intelligence: A Joint Commitment on Frontier SI Responsibilities)」입니다. 서명자는 여섯 회사의 수장과 대통령이에요. 구글의 순다르 피차이 CEO, 앤트로픽의 다리오 아모데이 CEO, 메타의 마크 저커버그 CEO, OpenAI의 그레그 브록먼 사장, xAI의 일론 머스크, 엔비디아의 젠슨 황 CEO입니다. 트럼프 대통령은 이 합의가 "도덕적으로 구속력이 있다"고 했고, "거의 헌법 같은 것"이라는 표현도 썼습니다.

한 장짜리 문서가 요구하는 것은 네 개의 층입니다. 첫째, 학습과 배포 중에 모델의 능력과 정렬(alignment)을 감시하는 내부 통제. 사이버보안과 생물보안, 화학 위협이 명시되어 있고 모델이 기술 시스템을 의도치 않은 방식으로 해킹하거나 접근하지 않도록 한다는 문구도 들어 있습니다. 둘째, 그 통제와 모니터링, 탐지가 의도대로 작동하는지와 발견된 문제가 시정되는지를 확인하는 내부 전담팀. 셋째, 그 통제가 실제로 작동하는지 평가하는 독립 외부 감사인 또는 평가자. 넷째, 통제를 운영하는 팀과 내부·외부 감사인에게 보고를 받고 감독하는 이사회 내 독립 위원회.

▸ 서명된 것은 새로운 기준이 아니라 이미 있는 감사 조직도입니다

이 네 층을 처음 읽었을 때 낯설지 않았습니다. 사실 AI 거버넌스를 위해 새로 발명된 배치가 아니에요. 현업 부서가 1차 통제를 맡고, 그것을 점검하는 별도의 내부 기능이 있고, 그 위에 외부 감사인이 있고, 맨 위에서 이사회 감사위원회가 보고를 받는 구조는 상장회사의 내부통제와 재무감사가 수십 년째 쓰고 있는 층 구성입니다. 합의문이 그 이름을 쓴 것은 아니지만, 층의 배치는 같습니다.

문제는 그 조직도에서 빠진 칸들이에요. 증권법에서 이 구조가 효력을 갖는 이유는 층이 네 개여서가 아닙니다. 감사인이 누구인지 공개되고, 감사 범위가 공시 서류에 기술되고, 중대한 발견이 공적 기록으로 남기 때문이죠. 이번 합의문에는 그 공개가 없습니다. 감사인의 신원도 감사 결과도 공개할 의무가 없어서 감사가 처음부터 끝까지 비공개로 끝날 수 있고요. 누가 독립 평가자에 해당하는지, 그 평가자를 어떤 절차로 고르는지, 그 평가자가 모델 가중치와 배포된 시스템, 회사가 정리해 준 요약 보고서 가운데 무엇에 접근하는지도 정해 두지 않았습니다. 합의문이 적어 둔 것은 독립 외부 감사인 또는 평가자와 협력하라는 문구까지입니다. 조문도 의무형이 아니라 권고형으로 쓰여 있고, 위반에 따르는 제재도 이행 기한도 없어요. 내부 점검에서 중대한 문제가 나왔는데 회사가 아무것도 하지 않을 때 무슨 일이 생기는지도 적혀 있지 않습니다. 그리고 감사를 가능하게 하는 조건 자체가 빠져 있습니다. 학습 데이터의 계보와 평가 이력, 모델 버전 기록을 개발 중에 남겨 두라는 요구가 보이지 않아요. 남기지 않은 기록은 나중에 감사할 수 없습니다.

▸ 구속력이 없다는 것이 효력이 없다는 뜻은 아닙니다

그런데, 그래서 아무 효력이 없다고 묶는 것도 정확하지 않습니다. 공개적으로 한 서약을 실질적으로 이행하지 않으면 FTC법상 기만적 영업행위로 다뤄질 수 있다는 지적이 나왔어요. 전직 FTC 수석기술책임자가 내놓은 견해인데요, 백악관의 서명식이 FTC의 권한을 만들어 주지도 없애 주지도 않는다는 점에서 타당해 보입니다. 합의문 스스로도 여지를 남겨 뒀습니다. 시간이 지나면 이 조치들을 법과 규정으로 성문화하는 것이 타당할 수 있다는 문장이 들어 있고요. 서로 경쟁하는 여섯 회사가 독립 외부 평가자라는 말을 한 문서에 함께 올린 것 자체도 전례가 드문 일입니다. 서명에 참여한 OpenAI에서도 최고글로벌정책책임자인 크리스 르헤인이 업계 주도 표준에 대해 "의무적인 연방 안전장치와 민주적 감독을 보완하는 것이지 대체하는 것이 아니다"라고 말한 바 있습니다.

더 정확한 표현은, 이 합의문이 정한 것이 안전의 수준이 아니라 안전을 점검하는 조직의 자리라는 것입니다. 어떤 능력에 도달하면 배포를 멈춰야 하는지에 대한 문턱은 합의문에도 없고 정부가 정해 주지도 않았습니다. 예전에 아모데이가 프런티어의 속도를 늦추자고 내놓은 제안을 다룬 적이 있는데요, 그 제안의 핵심은 외부 평가자에게 편집권 없는 공표권을 주는 것이었습니다. 보안 자료는 가릴 수 있어도 불리한 발견이라는 이유로는 가릴 수 없게 하자는 뜻이었죠. 이번 합의문의 외부 감사에는 공표라는 단어가 아예 없습니다. 두 문서의 성격이 다르니 합의문이 그 제안을 약화시켰다고 할 수는 없습니다만, 혼자 지킬 수 있는 약속과 남의 동의가 필요한 약속이 다시 갈렸다는 사실은 남습니다.

▸ 이름은 9월에 바뀌었고 정의는 11월에 제출됩니다

여기서 처음의 정의로 돌아갑니다. 여섯 회사가 서명한 문서의 제목에 들어 있는 단어는 연방 법률상 정의가 아직 없고, 그 정의안이 제출되는 날은 서명일로부터 두 달 뒤입니다. 그리고 지금 법에 있는 정의는 앞에서 읽은 대로 능력의 수준을 묻지 않습니다. 이름만 교체되면 연방 기관이 쓰는 문서 분류기나 이상거래 탐지 스크립트도 연방 문서에서는 초지능이 됩니다. 그러면 초지능이라는 말은 무엇이 위험한지를 가리키는 단어가 아니라 기계가 결정에 끼어든 모든 자리를 가리키는 단어가 되죠. 정의가 먼저 있고 이름이 따라오는 순서가 뒤집힌 것입니다. (실은 이 대목 때문에 글을 쓰기 시작했습니다.)

그래서 실무로 가져올 것은 두 갈래입니다. 하나는 용어예요. 연방 발주와 보조금 신청, 규제 제출 문서의 양식이 SI로 바뀔 것이고, 11월 말에 나올 정의안이 수출통제와 세제 혜택, 계약 요건의 적용 범위까지 움직일 수 있습니다. 미국을 상대로 문서를 쓰는 쪽이라면 두 단어를 같이 검색어에 넣어 두는 편이 낫겠죠. 다른 하나는 네 개의 층입니다. 사내 AI 거버넌스 체크리스트로 쓸 만하지만, 합의문이 비워 둔 칸을 알고 쓰면 좋겠어요. 외부 평가자에게 무엇까지 보여줄지, 그 결과를 누가 어디까지 보는지, 모델 버전과 평가 이력과 학습 데이터 계보를 어디에 얼마나 보존할지 — 네 층을 그린 다음에 이 넷을 각각 한 줄로 적을 수 있는지가 그 체크리스트의 작동 여부를 가릅니다.

합의문이 스스로 적어 둔 대로 이 조치들이 언젠가 법과 규정으로 성문화되는 날이 올지도 모르겠죠. 그때 옮겨 적힐 것이 네 개의 층까지일지, 그 층들이 무엇을 어디까지 공개해야 하는지까지일지는 아직 정해지지 않았습니다. 11월 28일에 제출될 정의안을 먼저 읽어 보고, 우리 쪽 감사 구조에는 공개가 어디까지 적혀 있는지 고민이 필요합니다.

커버 이미지: 백악관 북쪽 정면 — Wikimedia Commons, Cezary Piwowarczyk