이 엔지니어를 위한 이야기 공장 AI 기술에 인문학의 온기를

사람이 보지 않는 브라우저는 무엇을 덜어냈나

사람이 보지 않는 브라우저는 무엇을 덜어냈나

새 제품을 공개하면서 "우리 게 크롬보다 느립니다"라고 적힌 표를 함께 올리는 회사는 흔치 않죠.

클라우드플레어가 11월 12일 에이전트용 브라우저 엔진 Kitesurf를 Apache 2.0 라이선스로 공개했습니다. 8월에 처음 선보였던 그 엔진인데요. 이번에 열린 것은 엔진이고, 관리형 서비스는 아직 베타로 따로 돌아갑니다. 엔진을 Rust로 짜서 WebAssembly로 컴파일했고, 컨테이너에 브라우저를 띄우는 게 아니라 Workers 위에서 그대로 돕니다. HTML 파싱과 레이아웃은 Blitz, CSS는 Stylo, JS는 Workers에서 못 돌릴 때만 WebAssembly 안의 Boa가 받는 구조고요. 크롬 개발자 도구 프로토콜(CDP) 엔드포인트를 제공해서 쓰던 Puppeteer 스크립트를 접속 주소만 바꿔 붙일 수 있습니다. 다만 저장소 설명이 못을 박아 뒀는데, 크롬을 전부 구현한 게 아니라 CDP의 일부라 안 먹는 명령이 있습니다.

그리고 공개하면서 벤치마크 페이지를 함께 걸어 뒀습니다. 38개 페이지를 크롬과 나란히 돌린 결과인데요. 11월 14일 실행분 기준으로, 스크린샷을 찍는 데 Kitesurf가 1.79초, 매 페이지마다 새로 띄운 크롬이 1.01초였습니다. 졌습니다. 그것도 자사 블로그를 여는 데 4.12초가 걸려서 크롬의 983밀리초에 네 배 넘게 뒤졌어요. (크롬 쪽 1.01초에는 크롬을 띄우는 시간이 빠져 있다는 단서가 달려 있긴 합니다.)

그런데 같은 표의 다른 줄을 보면 이야기가 달라집니다.

CPU 시간은 Kitesurf가 387밀리초, 크롬이 767밀리초였습니다. 절반이죠. 메모리는 50MiB 대 329MiB로, 여섯 배가 넘게 차이 납니다.

느린데 적게 씁니다. 어떻게 그럴 수 있을까요?

벽시계 시간과 CPU 시간이 같은 걸 재는 숫자가 아니기 때문입니다. 벽시계는 시작부터 끝까지 흐른 시간이라 기다린 시간이 전부 들어갑니다. 서버 응답을 기다리고, 이미지를 받아오는 동안에도 초침은 가죠. 반면 CPU 시간은 프로세서가 실제로 일한 시간만 셉니다. 둘이 벌어진다는 건 그 사이에 놀고 있었다는 뜻이고, 놀고 있는 동안에는 청구서가 올라가지 않습니다.

여기서 더 흥미로운 건 왜 크롬이 CPU를 두 배 쓰느냐입니다. 물론 이 숫자에는 매 페이지마다 크롬을 새로 띄우는 비용도 섞여 있습니다. 그걸 감안하고도 남는 차이는, 크롬이 사람이 화면을 보고 있다는 전제로 만들어진 물건이라는 데서 옵니다. 첫 픽셀이 1초라도 빨리 뜨게 하려고 미리 파싱해 두고, 자주 도는 자바스크립트는 기계어로 번역해 두고, 탭마다 프로세스를 따로 띄워 하나가 죽어도 나머지가 살아남게 하죠. 다시 볼지 모르니 캐시도 붙들고 있고요. 노트북에서 탭 열다가 팬이 도는 경험, 다들 있으시죠? 그 CPU와 메모리가 사람의 눈을 위해 쓰이는 비용입니다.

에이전트는 화면을 보지 않습니다. DOM에 담긴 글자를 읽고, 가끔 스크린샷 한 장을 찍을 뿐이죠. 대신 사람은 하지 않는 짓을 합니다. 동시에 수백 페이지를 엽니다.

예를 들어 메모리 16GB짜리 서버 한 대로 상품 페이지를 훑는 에이전트를 돌린다고 가정해 보죠. 페이지당 329MiB면 동시에 띄울 수 있는 건 마흔 몇 개입니다. 50MiB면 300개를 넘기고요. 이때 페이지 하나가 1초에 열리느냐 1.8초에 열리느냐는 거의 의미가 없습니다. 전체를 끝내는 시간은 한 페이지의 속도가 아니라 몇 개를 동시에 돌릴 수 있느냐가 정하니까요.

그러니까 Kitesurf가 진 항목은 사람이 쓰는 브라우저를 고를 때 보는 숫자고, 이긴 항목은 에이전트를 돌릴 때 청구서에 찍히는 숫자입니다.

그럼 크롬을 버리면 되는 걸까요? 꼭 그렇지만도 않습니다. 웹 플랫폼 테스트 결과가 재미있는데요. 잘게 쪼갠 개별 검증은 154만 건 중 98.3%를 통과했는데, 그 검증들을 담고 있는 테스트 파일 단위로는 77.3%만 통과했습니다. 파일 단위 집계가 훨씬 박한 겁니다. 스크립트가 중간에 깨지거나 시간이 초과되면 그 안에 든 검증이 몇 개든 파일 하나가 통째로 넘어가니까요. 실무로 옮기면 이런 뜻이 됩니다. 대부분의 기능은 되는데, 어떤 페이지는 통째로 안 됩니다. 실제로 벤치마크 표에도 Kitesurf가 렌더에 실패한 페이지가 한 건 있고, 스페인 일간지 엘 문도를 여는 데는 14초가 걸렸어요. 크롬은 2.74초였습니다.

그래서 지금 재야 할 숫자가 바뀝니다. 에이전트가 웹을 긁는 걸 운영하고 계신다면, 페이지 로드 시간 말고 페이지당 CPU 시간과 최대 메모리 사용량을 재 보시기 바랍니다. 동시 실행 한도는 그 두 숫자가 정합니다. CDP 엔드포인트를 주니 쓰던 스크립트의 접속 주소만 바꿔 자기 대상 페이지로 돌려 보면 되고요. 로그인이나 결제처럼 사이트 자바스크립트가 전부 살아나야 하는 경로는 따로 확인해야 합니다. 직접 배포할 생각이라면 챙길 게 둘 더 있습니다. Workers 유료 플랜이 있어야 하고, 엔진에 내장 인증이 없어서 앞에 접근 통제를 직접 세워야 해요.

조금 다른 이야기를 덧붙이자면, 저는 이게 봇 탐지 쪽을 먼저 흔들지 않을까 생각하고 있습니다. 예측은 아니고 가정입니다. 지금 봇을 걸러내는 장치들은 대체로 "이 클라이언트가 진짜 브라우저가 맞느냐"를 묻고, 그 판정은 크로미움이 남기는 흔적에 기대고 있거든요. 그런데 에이전트가 쓰는 게 진짜로 크로미움이 아니게 되면, 그 흔적이 없다는 사실은 숨긴 봇이 아니라 그냥 다른 브라우저를 가리킵니다. Kitesurf는 확장 프로그램을 아예 빼 버렸고 GPU로 화면을 합성하지도 않으니, 사람 브라우저인 척할 재료 자체가 없죠. 그러면 질문이 "무슨 브라우저냐"에서 "누구냐"로 옮겨갈 수밖에 없습니다. 지난달에 에이전트가 자기 신원을 서명해서 밝히는 표준을 다룬 적이 있는데, 그게 왜 갑자기 급해지는지가 여기서 설명되는 것 같아요.

재미있는 건 이 두 가지를 한 회사가 동시에 하고 있다는 점입니다. 봇을 막는 관문도 클라우드플레어가 쥐고 있고, 그 관문을 지나갈 에이전트의 브라우저도 클라우드플레어가 만들고 있죠.

벤치마크에 자기가 지는 표를 같이 올린 건 좋았습니다. 다만 그 표가 보여 준 게 "아직 덜 됐다"인지 "재는 잣대가 바뀌었다"인지는 쓰는 쪽이 판단할 몫으로 남았네요. 당분간은 두 브라우저를 다 두고 쓰게 되지 않을까 싶습니다.


커버 이미지: 클라우드플레어 사무실의 라바 램프 벽 — Wikimedia Commons, HaeB

#AI에이전트 #브라우저 #클라우드플레어 #오픈소스 #성능 #웹스크래핑