리퀴드AI, 노트북에서 도는 24B 에이전트 모델

리퀴드AI(Liquid AI)가 10월 13일 LFM2.5-24B-A2B를 공개했습니다. 파라미터 240억 개짜리 오픈웨이트 모델인데요. 눈에 띄는 건 성능표가 아니라 속도였습니다. 애플 M5 Max 노트북에서 초당 184토큰, AMD 라이젠 AI Max+ 395에서 초당 114토큰. 둘 다 4비트로 양자화한 상태고요.

24B짜리가 노트북에서 저 속도로 돈다는 게 선뜻 와닿지 않으실 겁니다. 저도 그랬어요. 그래서 발표된 숫자를 그냥 옮기지 말고 한번 나눠 보기로 했습니다.

먼저 노트북에서 LLM이 느린 진짜 이유부터 짚어야겠네요. 계산이 느려서라고 생각하시는 분이 많은데, 토큰을 하나씩 뱉는 추론에서는 그렇지 않습니다. 토큰 한 개를 만들려면 모델의 가중치를 메모리에서 읽어와야 하는데, 읽어온 숫자 하나로 곱셈 한 번 하고 버립니다. 연산 장치는 금방 끝내고 다음 숫자가 도착하기를 기다리죠. 그러니까 병목은 계산이 아니라 메모리에서 데이터를 퍼 나르는 속도, 즉 메모리 대역폭입니다.

병목이 거기라면 속도의 상한은 나눗셈 한 번으로 나옵니다. 메모리 대역폭을 토큰 하나당 읽어야 하는 바이트 수로 나누면 되죠.

라이젠 AI Max+ 395의 메모리 대역폭은 256GB/s입니다(AMD 공식 사양에 적힌 이론 최대치예요). 그리고 이 모델을 4비트로 누른 파일은 14.5GB입니다. 만약 이게 평범한 밀집(dense) 모델이라면 토큰마다 14.5GB를 전부 읽어야 하니, 상한은 256 나누기 14.5, 초당 17토큰입니다. 실제로는 그보다 더 낮게 나오고요. 그런데 발표치는 114였습니다. 이론 상한의 여섯 배가 넘죠.

차이는 구조에서 옵니다. 이 모델은 MoE(Mixture of Experts), 그러니까 전문가 혼합 구조예요. 레이어마다 전문가 모듈을 64개 두고, 토큰 하나가 지나갈 때 그중 4개만 켭니다. 24B를 전부 들고 있지만 한 토큰이 실제로 통과하는 길은 약 24.5억 개 파라미터어치뿐입니다. 읽어야 할 바이트도 그 비율로 줄죠. 14.5GB에 24분의 2.45를 곱하면 1.5GB 정도가 나옵니다.

다시 나눠 봅니다. 256 나누기 1.5는 171. 발표치 114는 그 67%입니다. 메모리가 피크 대역폭을 100% 내는 일은 없으니 꽤 맞아떨어지는 숫자예요. M5 Max로도 확인됩니다. 애플이 밝힌 M5 Max의 대역폭은 GPU 구성에 따라 460 또는 614GB/s인데, 낮은 쪽 460으로 잡아도 라이젠의 1.8배입니다. 그리고 두 기계의 발표 속도 비는 184 나누기 114, 1.6배였고요. 연산 성능 비가 아니라 대역폭 비를 따라갑니다. 병목이 어디 있는지 이보다 분명한 증거는 없겠죠.

여기까지가 좋은 소식입니다. 이제 함정이고요. MoE가 줄여 준 것은 읽는 양이지 들고 있는 양이 아닙니다. 어떤 토큰이 어느 전문가를 부를지는 그 토큰을 계산해 봐야 알 수 있기 때문에, 64개가 전부 메모리에 올라가 있어야 해요. 토큰당 1.5GB만 읽는다 해도 14.5GB는 통째로 자리를 차지합니다. 게다가 컨텍스트가 직전 모델의 32K에서 131K로 네 배가 됐으니, 대화가 길어질수록 KV 캐시 몫이 그 위에 더 붙죠. 16GB 맥북에서는 시작도 못 합니다.

그러니까 "24B 모델이 노트북에서 돌아간다"는 문장은 가볍다는 뜻이 아니라 빠르다는 뜻입니다. 둘은 다른 얘기인데 기사에서는 자주 같은 말처럼 쓰이더군요.

성능도 정직하게 볼 필요가 있습니다. 리퀴드AI가 비교 대상으로 올린 Qwen3.6-35B-A3B와 견주면 도구 호출과 지시 따르기에서는 앞서지만, GPQA Diamond는 74.42 대 83.69, SWE-Bench Verified는 51.00 대 66.20으로 집니다. 지식과 코딩은 여전히 총 파라미터가 많은 쪽이 가져가요. 리퀴드AI도 이걸 감추지 않고 에이전트 작업에 맞춰 훈련한 모델이라고 밝혔습니다.

마지막으로 공식 발표에 짧게 적혀 있던 한 줄이 계속 걸립니다. 훈련 과정에서 이 모델이 저장소의 git 히스토리를 뒤지고 GitHub와 PyPI, 허깅페이스에서 정답을 찾아보는 행동을 했고, 자기가 샌드박스 안에 있다는 것을 아는 듯한 모습도 보였다고 해요. 리퀴드AI의 대응은 샌드박스를 더 조이고 밀봉된 환경에서 측정을 다시 하는 것이었습니다. 연구소로서는 맞는 대응이죠.

그런데 이 모델이 놓일 자리는 연구소의 샌드박스가 아니라 제 노트북입니다. 애초에 제 파일과 제 네트워크를 쓰는 에이전트로 돌라고 만든 모델이니까요. 클라우드로 추론을 보내면 적어도 제공자가 요청을 들여다볼 수 있고, 실제로 그 관측 덕분에 오용 사례가 드러난 적도 있습니다. 가중치가 제 디스크로 들어오는 순간 그 관측점이 사라지죠. 반드시 사고가 난다는 예측은 아닙니다. 다만 벤더가 스스로 공개한 그 기록과, 이 모델이 처음부터 도구를 쓰라고 훈련됐다는 사실을 겹쳐 놓으면 해볼 만한 가정이라는 겁니다.

개인 노트북에서 도는 에이전트는 분명 반가운 방향입니다. 다만 그 편리함을 받아 들기 전에, 내 기계 안에서 그 에이전트가 무엇을 열어 보고 어디로 나가는지 남길 방법이 있는지는 한 번 챙겨 둬야겠다 싶네요.

커버 이미지: 노트북용 LPDDR5X 메모리 모듈(LPCAMM2) — Wikimedia Commons, 4300streetcar