무엇이 안전한지는 정하지 않았습니다 : 캘리포니아는 검사할 사람부터 등록시켰습니다

감사나 인증 심사를 받아 보신 분들은 그 자리의 질문이 예상과 다르다는 것을 아실 겁니다. 심사원이 들고 오는 목록에 "이 시스템이 안전한가"라는 항목은 없습니다. 대신 이렇게 묻습니다. 접근 권한을 회수하는 절차를 문서로 적어 두셨죠? 그 문서대로 지난 1년 동안 실제로 하셨습니까? 증적을 보여 주세요. 감사는 안전을 판정하는 일이 아니라 적어 둔 대로 했는지를 확인하는 일입니다. 처음 겪으면 조금 허탈하고, 몇 번 겪고 나면 그것이 감사가 할 수 있는 최대치라는 것을 알게 되지요.

현지 시각 9월 9일에 캘리포니아 주지사인 개빈 뉴섬이 서명한 두 건의 법안을 읽으면서 그 감각이 떠올랐습니다.

AB 1405와 SB 813입니다. 주지사실은 이것을 AI 기술에 대한 독립적인 제3자 감사와 평가에 관한 미국 최초의 기준이라고 설명했고, 같은 자리에서 연방정부에도 국가 차원의 AI 규제를 마련하라고 촉구했습니다. 그런데 두 법안 어디에도 AI가 어떤 상태여야 안전한지는 적혀 있지 않습니다. 적혀 있는 것은 그것을 검사할 사람과 조직에 대한 규정입니다.

▸ 회계 감사에서 통째로 빌려왔습니다, 기준만 빼고

AB 1405부터 보겠습니다. 레베카 바우어칸 주 하원의원이 발의한 이 법은 캘리포니아 정부운영청에 2029년 1월 1일까지 AI 감사인 등록부(AI Auditor Registry)를 만들도록 했습니다. 그날부터 등록하지 않은 사람은 법이 정한 AI 감사를 제공하거나 판매하거나 수행할 수 없습니다. 감사인은 등록번호를 받아 모든 광고물에 표시해야 하고, 해마다 등록 수수료를 내야 합니다. 등록부에는 일반인이 감사인의 위법행위를 신고하는 창구도 함께 붙고요.

독립성 조항이 꽤 촘촘합니다. 자기가 설계하거나 개발하거나 운영에 실질적으로 관여한 시스템은 감사할 수 없습니다. 감사가 진행되는 동안 피감사 회사에 이력서를 넣어서도 안 되고, 직전 12개월 안에 그 회사에 고용됐던 사람을 감사팀에 배정해서도 안 됩니다. 임직원의 내부고발을 막는 것도 금지되어 있고요. 어기면 서면 통지와 시정 기회를 준 뒤에 등록부에서 지우고 법무장관에게 넘깁니다.

이 목록에서 기시감을 느끼셨다면 맞습니다. 회계 감사에서 그대로 가져온 것들이거든요. 회계법인이 감사하던 회사에 컨설팅을 팔고 감사팀 직원이 그 회사로 자리를 옮기던 관행이 엔론과 아서 앤더슨의 붕괴 이후에 정리되면서 자리 잡은 규정들입니다. 실제로 이 법에는 캘리포니아 회계위원회 면허를 가진 공인회계사와 회계법인이 회계사법과 업계 전문가 기준을 지키며 인증업무를 수행하면 이 법의 일부 요건을 충족한 것으로 본다는 조항까지 들어 있습니다. AI 감사라는 새 직업의 뼈대를, 이미 한 번 크게 사고를 겪고 나서 자리를 잡은 직업에서 빌려온 셈입니다.

그런데 회계에는 이 규정들과 짝을 이루는 것이 하나 더 있습니다. 무엇을 어떻게 재무제표에 적어야 하는지를 정해 둔 회계 기준이요. 감사인이 독립적이어야 하는 이유는 그 기준에 맞는지를 판정해야 하기 때문입니다. AI 감사에는 아직 그 기준이 없습니다.

▸ 인증서에 값을 매기려던 조항은 최종본에서 빠졌습니다

같은 날 서명된 SB 813이 그 빈자리를 맡습니다. 제리 맥너니 주 상원의원이 발의한 이 법은 캘리포니아 정부운영청이 2028년 1월 1일까지 독립검증기관(IVO)을 지정하는 기준과 신청 요건을 마련하도록 했습니다. AI 시스템과 모델의 위험을 평가할 역량을 입증한 감사인을 주가 따로 지정하는 것이죠. 다만 그 판정에 쓸 기준을 정부가 새로 쓰지는 않습니다. 정부기관과 국내외 감사·인증 표준기구가 이미 만들어 둔 표준과 프레임워크, 지침을 식별하고 고려하도록 했고, 이해관계자 워킹그룹을 소집하게 했습니다.

이 법안은 처음 나왔을 때 지금과 다른 모습이었습니다. 법안 제목부터가 다중이해관계자 규제기구(MRO)였고요. 민간 조직을 3년 임기로 지정해 AI 모델을 인증하게 하고, 인증을 받은 모델이라면 사람이 다치거나 재산이 손상되어 제기된 민사소송에서 책임을 벗을 항변 사유로 삼을 수 있게 하는 구조였습니다. 인증서에 법정에서 쓸 값을 매겨 두는 설계였죠.

최종본에서는 그 대목이 사라졌습니다. 지금 법에 남은 문장은 이렇습니다. 이 장에서 식별한 표준에 따라 감사가 수행되었다는 사실은 AI 시스템으로 인한 피해를 주장하는 민사소송에서 "관련성은 있으나 결정적이지는 않다". 같은 조항이 그 앞뒤로 선을 두 번 더 긋습니다. 이 장은 누구에게도 독립검증기관을 고용하거나 감사를 받도록 요구하지 않으며, 주가 어떤 기관을 지정했다고 해서 그것이 그 기관의 판단에 대한 주의 보증은 아니라는 것입니다. 받을 의무도 없고, 받았다고 해서 확실히 얻는 것도 없습니다.

두 법을 나란히 놓으면 캘리포니아가 고른 순서가 보입니다. 무엇이 안전한지는 주가 정하지 않습니다. 기준은 이미 나와 있는 것 가운데서 고르고, 감사를 강제하지도 않고, 감사를 통과한 증명서에 확실한 대가를 붙이지도 않았습니다. 정한 것은 그 감사를 할 수 있는 사람의 자격뿐입니다. 맥너니 의원은 워싱턴이 하지 못하거나 하지 않으려 하니 캘리포니아가 앞장서는 것이라고 말했는데요, 그 앞장섬의 내용이 기준을 직접 쓰는 쪽은 아니었던 셈입니다.

물론 이것을 책임 회피라고 보기는 어렵습니다. 모델이 몇 달 단위로 바뀌는 분야에서 주 의회가 안전의 내용을 조문으로 못 박으면 그 조문은 시행되기도 전에 낡습니다. 기준을 계속 갱신할 수 있는 곳에 기준을 맡기고, 대신 그 기준을 다루는 사람의 이해상충을 국가가 관리하는 편이 현실적이지요.

▸ 감사받는 것은 모델이 아니라 절차입니다

*출처: Wikimedia Commons(FBI)*

그렇지만 앞에서 이야기한 감사의 성격은 그대로 남습니다. 두 법이 함께 쓰는 감사의 정의는 AI 시스템이나 모델을 위해 구현된 내부통제와 프로세스, 시스템 가운데 주 법 준수에 필요한 것을 평가하는 일입니다. 모델이 위험한지를 보는 것이 아니라, 위험을 다루겠다고 적어 둔 절차가 지켜지고 있는지를 봅니다. 심사장에서 받게 되는 그 질문과 같은 종류죠. 통과 증명서에 붙일 값을 두고 1년 반 넘게 다투다가 결국 관련은 있으나 결정적이지는 않다는 자리에서 멈춘 것도, 그 성격을 생각하면 이상한 결말은 아닙니다. 절차를 지킨 것과 실제로 아무도 다치지 않은 것은 다른 이야기니까요.

시한도 봐 둘 만합니다. 독립검증기관 지정 기준을 마련해야 하는 기한이 2028년 1월 1일, 감사인 등록부를 완성해야 하는 기한이 2029년 1월 1일입니다. 2년 3개월 남짓 남았고, 그때까지 AI 감사는 여전히 누구나 할 수 있습니다. 지금 서명된 것은 제도의 뼈대이지 내용물이 아닙니다.

▸ 우리는 인증서부터 만들었습니다

한국은 순서가 반대입니다. AI 기본법과 시행령이 올해 1월 22일에 시행됐고, 제30조가 인공지능의 안전성·신뢰성 검증과 인증을 다룹니다. 다만 조문의 성격은 규율이 아니라 지원입니다. 과학기술정보통신부 장관이 민간의 자율적인 검·인증 활동을 뒷받침하도록, 개발 지침을 보급하고 검·인증 관련 연구를 지원하고 필요한 장비와 시스템의 구축·운영을 돕고 전문인력을 기르는 사업을 할 수 있게 했습니다. 그 검·인증을 누가 어떤 자격으로 하는지는 이 조문이 정하지 않습니다.

그래서 인증 제도는 이미 여럿 생겼는데요. 지난 7월에는 검·인증 체계가 제각각이라 연내 통합체계를 만들겠다는 이야기가 나왔습니다. 기업 참여가 저조해서 공공조달 인센티브나 평가 비용 지원 같은 유인책을 함께 검토한다는 내용이었고요. 인증서를 발급하는 곳은 늘었는데 그 발급자를 규율하는 규정은 아직 논의 중인 상태입니다. 캘리포니아는 감사인과 검증기관부터 묶었고, 우리는 인증서부터 만들었습니다.

어느 쪽이 낫다고 말하기는 이릅니다. 다만 인증서에 값이 매겨지는 순간 — 공공조달 가점이든 소송에서의 유리한 정황이든 — 그 인증서를 발급하는 쪽의 독립성이 곧 제도 전체의 신뢰도가 됩니다. 회계가 그 사실을 배우는 데에는 대형 회계법인 하나가 사라지는 사건이 필요했지요. AI 인증에는 무엇이 필요할지 지금 정할 수 있으면 좋겠는데요. 우리 제도에서 그 발급자를 누가 어떤 자격으로 검사할지는 아직 비어 있습니다. 그 자리를 채우는 논의가 필요합니다.

---

*커버 이미지: 캘리포니아 주 의사당(새크라멘토) — Wikimedia Commons, Tony Webster*