3.5배 빨라졌습니다 : 네트워크를 끊으면 타이머와 알람이 남습니다

비행기 모드를 켜 둔 채로 스마트폰의 AI 비서를 불러 보신 적이 있으신가요? 대개는 짧은 사과문이 돌아옵니다. 지금은 연결할 수 없다는 안내죠. 지하철이 터널로 들어가는 몇 분 동안도 마찬가지입니다. 손에 들린 기기는 그사이에도 사진을 찍고 문서를 열고 음악을 재생하는데, 유독 인공지능이라고 부르는 기능만 조용해집니다.

그런데 지난 몇 년간 스마트폰 제조사들이 가장 크게 광고해 온 말이 바로 온디바이스 AI였습니다. 기기 위에서 직접 돌아가니 빠르고, 안전하고, 네트워크가 없어도 된다는 것이죠. 어제 뉴욕에서 열린 구글의 신제품 발표 행사도 그 연장선에 있었습니다.

Made by Google 2026에서 공개된 픽셀 11의 가격은 899달러부터 시작합니다. 기본 저장용량이 256GB로 올라갔고 RAM은 12GB죠. 프로가 1,099달러, 프로 XL이 1,299달러, 폴드가 1,899달러입니다. 그리고 이 제품군의 핵심으로 소개된 것이 새 칩인 Tensor G6였습니다.

구글이 가장 크게 말한 숫자는 두 개입니다. TPU의 연산량이 이전 세대보다 50% 늘고 메모리 대역폭도 함께 올라갔다는 것, 그래서 온디바이스 AI 작업이 최대 3.5배 빨라지고 전력은 최대 3.5배 덜 쓴다는 것이었습니다. 이 숫자들은 틀리지 않았습니다. 그런데 전부는 아닙니다.

▸ 숫자는 맞습니다 : 그 TPU가 실제로 맡은 일

구글이 TPU에 맡겼다고 밝힌 일의 목록을 하나씩 읽어 보면 성격이 드러나는데요. 음성 인식과 전사, 문자 입력 제안, 말할 때 섞여 들어가는 군더더기를 걸러 주는 Gboard의 Rambler, 카메라로 수어를 문자로 옮기는 번역, 최대 500프레임 가운데 가장 나은 컷을 골라 주는 Magic Capture, 그리고 영상과 팟캐스트까지 확장된 Live Translate입니다. 공통점이 보이시죠. 대부분 입력을 다듬는 전처리에 가깝습니다. 지연시간에 민감하고, 자주 일어나고, 개인적인 내용이 묻어 있어 밖으로 내보내기 곤란한 일들이죠. 기기에서 처리하기에 딱 알맞은 작업이고, 3.5배 빨라지면 실제로 체감이 좋아지는 작업이기도 합니다.

그런데 이번 행사에서 가장 크게 소개된 기능은 그 목록에 없습니다. Gemini가 사용자를 대신해 동네 매장에 직접 전화를 걸어 재고와 가격을 확인하고 결과를 요약해 보내 주는 기능이었죠. 주문과 예약을 여러 앱에 걸쳐 대신 처리해 주는 자동화도 함께 나왔습니다. 이 기능들은 전부 네트워크 너머에서 돕니다. 사용자의 구글 문서를 끌어와 처리하는 Gemini Intelligence도, 이미지 생성도, 저조도 영상을 보정하는 Video Boost도 마찬가지고요. 게다가 프리미엄 AI 기능을 제대로 쓰려면 Google AI Pro 구독이 필요하고, 구독하지 않으면 사용량 제한에 걸립니다. 픽셀 11 프로에 6개월 이용권이 함께 제공되는 이유가 여기에 있습니다.

▸ 네트워크를 끊으면 손목에 남는 것

가장 정직한 대목은 함께 공개된 픽셀 워치 5에 있었습니다. 399달러부터 시작하는 이 시계에는 오프라인 Gemini라는 기능이 들어갔는데요. 폰도 인터넷도 없을 때 별도의 온디바이스 모델을 써서 명령을 처리합니다. 그래서 무엇을 할 수 있느냐, 타이머와 알람 설정, 화면 밝기와 모드 조절, 음악 제어, 앱 실행, 운동 시작입니다.

네트워크가 끊겼을 때 손목에 남는 지능이 정확히 이것입니다. 나쁘다는 뜻이 아닙니다. 오히려 구글이 과장 없이 범위를 밝힌 드문 대목이죠. 다만 온디바이스 AI라는 말에서 우리가 떠올리는 그림과는 거리가 꽤 있습니다.

▸ 빨라지는 것과 똑똑해지는 것은 다른 문제입니다

왜 이렇게 되는지는 산술을 따라가 보면 금방 드러납니다. 픽셀에 들어가는 온디바이스 모델인 Gemini Nano 4는 두 종류인데요. 가벼운 쪽은 파라미터가 약 20억 개에 용량이 4.2GB, 큰 쪽은 약 40억 개에 5.9GB입니다. 원활하게 돌리려면 12GB 이상의 RAM이 권장되는데, 픽셀 11 기본형의 RAM이 정확히 12GB죠. 모델 하나를 올려 두는 것만으로도 여유가 넉넉하지 않다는 뜻입니다.

속도도 마찬가지입니다. 이전 세대인 Tensor G5를 얹은 픽셀 10 프로 XL에서 측정한 결과를 보면 큰 쪽은 초당 5.3토큰, 가벼운 쪽은 초당 19.14토큰을 생성했습니다. 새 칩에서 구글 말대로 3.5배가 붙는다고 해도 문제의 성격은 그대로인데요. 같은 측정에서 이 모델은 "strawberry"에 r이 몇 개 들어 있는지 같은 단순한 문제에서 여전히 틀리곤 했습니다. (로컬에서 작은 모델을 직접 돌려 보신 분들은 이 감각을 아실 겁니다.) TPU를 3.5배 빠르게 만들어도 그 위에서 도는 모델이 40억 파라미터라면 할 수 있는 일의 종류 자체는 달라지지 않습니다. 빨라지는 것과 똑똑해지는 것은 다른 문제입니다.

여기에 하나 덧붙일 것이 있는데요. Tensor G6가 TSMC의 2나노 공정으로 만들어진 최초의 스마트폰 칩이라는 보도가 여러 곳에서 나왔습니다. 그런데 정작 구글의 공식 발표문에는 공정 노드가 적혀 있지 않습니다. 실기에서 확인되는 것은 7코어 구성 정도인데요. C1 Ultra 한 개가 최대 4.1GHz, C1 Pro 성능 코어 네 개가 3.4GHz, 효율 코어 두 개가 2.65GHz입니다.

*출처: Android Authority*

▸ 몇 TOPS냐가 아니라, 무엇이 남느냐

이 구조가 낯설지 않은 이유는 우리도 해마다 같은 발표를 듣고 있기 때문입니다. 갤럭시의 온디바이스 AI도, 새 NPU가 몇 TOPS라는 숫자도 매년 커지는데요. 정작 기기 안에서 끝나는 일은 통역과 요약, 사진 지우개 정도이고 무거운 작업은 조용히 서버로 올라갑니다. 스펙 시트의 숫자가 커지는 것과 내 기기가 혼자 해낼 수 있는 일이 늘어나는 것은 별개의 이야기죠. 예전에 메타가 집에서 돌아가는 모델을 공개했을 때도 비슷한 간극을 다룬 적이 있는데요. 그때는 메모리가 발목을 잡았고, 이번에는 모델의 크기가 잡습니다.

그래서 온디바이스 AI라는 말을 들었을 때 던져야 할 질문은 몇 TOPS냐가 아닌 듯합니다. 네트워크를 끊으면 무엇이 남느냐죠. 새 기기를 손에 넣으시면 비행기 모드를 켜고 평소 쓰던 기능을 하나씩 불러 보시면 됩니다. 그 기기의 온디바이스 AI가 실제로 어디까지인지, 발표 자료보다 훨씬 빠르게 알 수 있습니다.