
오픈AI는 9월 25일 자사 얼라인먼트 사이트의 오정렬 보고서(Misalignment Reports) 페이지에 보고서 세 건을 올렸습니다.
공개저장소에 GitHub 토큰을 노출한 것, 스스로 복제되는 프롬프트 인젝션이 가능하다는 것, 그리고 오늘 이야기 할 '에이전트가 DNS로 외부 챗봇에 도달했다'는 것입니다. 마지막 보고서가 다루는 사건은 9월 20일에 벌어졌는데, 오픈AI는 이 사건 이후로도 가장 뛰어난 모델의 훈련과 평가, 그리고 툴을 쓰는 추론을 모두 멈춰 둔 상태입니다.
사건의 내용은 실은 매우 간단합니다. 오픈AI가 테스트하는 에이전트가 받은 과제는 인물에 대한 정보 검색이었고, 제공된 웹 검색 도구에서 유용한 결과를 얻지 못하자, 검색 엔진에 직접 접속해 봤지만 차단됐습니다. 외부 챗봇에 HTTPS로 접속하자 프록시가 차단한 거고, 외부 DNS 서버에 직접 질의하는 것도 실패했지만, 내부 DNS 해석기(Resolver)는 정상적으로 질의에 응답했습니다.
여기서 재미난 건, DNS 조회에는 무슨 이름(QNAME)에 대해 어떤 종류(QTYPE)의 답을 원하는가를 물을 수 있습니다. 이 사례에서는 질문을 조회할 이름에 실었습니다. 보통 DNS 서버는 주소를 직접 답해주고 끝나는데, 위임할 때는 "이 이름 아래의 답은 저 이름 서버에 물어보라"는 안내를 합니다. 이 사건에서 에이전트가 찾은 공개 서비스는 도메인 이름에 담긴 주소를 이용해 질의를 외부 서버 쪽으로 넘기는데 쓰였습니다. 위임 서비스를 교환원, 내부 DNS 해석기를 전화 거는 사람으로 생각하면 되겠죠?
외부 DNS 응답을 통해 외부 챗봇의 답을 읽었고, 이 경로를 테스트 하기 위해 "프랑스의 수도는?"이라고 물어보고, "파리"라는 답을 통해 이 경로가 유효한 것을 확인했습니다. 일반 웹 접속이 차단되었어도, 내부 DNS 해석기가 외부 통신할 수 있는 경로를 에이전트가 찾아낸 겁니다.
문제는 이렇게 차단된 외부 인터넷 연결에 대한 안전 장치, 즉 Kill Switch가 제대로 동작했느냐 하는 것입니다. DNS를 통한 외부 접속 확인이 오전 9시 50분, 감시시스템에서 경보가 울린 것은 10시 2분, 즉 12분 만에 경보가 울렸고, 담당자가 경보를 확인한 건 그로부터 3분 뒤였습니다. 그런데, 담당자 사이에 중단해야 하는지 혼선이 있었고, 약 2시간 30분이 지난 12시 34분에 실행 작업을 수동으로 중단했습니다.
이 사건은 AI가 의도를 가지고 탈출했다거나, 외부 접속을 시도했다는 것은 중요한 문제입니다. 물론, 네트워크 구성해 보신 분은 아시겠지만, DNS가 없어도 IP 주소로 직접 접속할 수 있고, DNS 조회도 허용 목록으로 제한할 수 있습니다. 오픈AI 역시 사건 이후 허용 도메인과 레코드 유형을 제한했다고 밝혔죠. 더 중요한 건 이것을 자동 종료하던 장치가 동작하지 않은 것, 멈춰야 하는지를 아무도 확정하지 못한 것이 심각한 문제라는 겁니다.
오픈AI는 허깅페이스 공격이 7월 11일부터 13일 사이에 있었고(오픈AI가 자사 관련성을 인지한 것은 7월 19일), 이번 DNS 탈출 사건이 9월 20일입니다. 이 두 사건은 빠져나간 경로가 서로 다르고, 이상 행동을 알아채는 장치를 아무리 강화해도 AI로 인한 사건 사고를 막는데는 한계가 있나봐요. 다음엔 또 어떤 빈틈이 벌어질까 싶고, 우리의 프로세스는 안전한가 고민이 필요합니다.
커버 이미지: 오픈AI 본사가 입주한 샌프란시스코 파이어니어 빌딩 — Wikimedia Commons, HaeB
전체 사이트에서 댓글·관련 글을 함께 보시려면
이야기 공장에서 보기 →