이 엔지니어를 위한 이야기 공장 AI 기술에 인문학의 온기를

AWS, 자사 칩을 파이토치 정식 디바이스로 등록

AWS, 자사 칩을 파이토치 정식 디바이스로 등록

AWS가 10월 20일 TorchNeuron을 공개 베타로 내놨습니다. 파이토치(PyTorch) 코드를 자사 AI 칩 Trainium에서 실행하는 백엔드인데, 아파치 2.0 라이선스로 소스까지 열었습니다.

고치는 건 한 줄입니다. model.to('cuda') 자리에 model.to('neuron')이라고 쓰면 됩니다. 파이토치 공식 블로그도 그 줄 옆에 "the only change"라고 적어 뒀어요.

그런데 조금 이상하지 않나요? AWS는 Trainium을 몇 해 전부터 팔아 왔습니다. 칩은 진작 있었는데, 그 위에서 파이토치 코드가 "그냥 돌아가는" 일은 왜 이제야 일어났을까요.

엔비디아의 해자가 CUDA라는 말은 다들 하시죠. 그런데 그 CUDA가 정확히 어디에 박혀 있는지는 잘 따져 보지 않습니다. 저도 그랬고요.

파이토치에서 torch.matmul(a, b)를 부르면 그 자리에서 곱셈이 일어나지 않습니다. 가운데에 디스패처(dispatcher)가 하나 앉아 있어요. 디스패처는 어떤 연산인지와 어떤 디바이스인지 두 가지를 보고, 그 조합에 등록돼 있는 구현을 찾아 넘깁니다. 같은 matmul이라도 디바이스가 cpu면 CPU 구현으로, cuda면 CUDA 구현으로 가는 거죠.

그러니까 엔비디아의 해자는 칩이 아니라, `cuda`라는 이름표 아래에 수천 개의 연산 구현이 빠짐없이 등록돼 있다는 사실입니다.

다른 회사 칩에는 그 이름표 자체가 없었습니다. 그래서 쓰던 우회로가 그래프 컴파일러였어요. 모델을 한 덩어리로 통째로 붙잡아다 자기 칩이 알아듣는 형태로 번역해 주는 방식입니다. 돌아가기는 합니다. 대신 한 줄씩 즉시 실행되는 eager 모드를 포기해야 하죠. 중간에 값을 찍어 보거나 브레이크포인트를 걸거나, 파이썬 if 문으로 갈라지게 하는 일이 어려워집니다. 모델을 만지는 사람한테는 꽤 큰 손해예요.

파이토치 커뮤니티는 이 사정을 알고 디바이스 이름표를 하나 비워 뒀습니다. PrivateUse1이라는 자리인데, 외부 하드웨어가 들어와 정식 디바이스로 등록하라고 만들어 둔 확장점입니다. TorchNeuron이 이번에 그 자리에 들어왔습니다. cpu와 cuda 옆에 neuron이 생겼고, 그래서 torch.nn도 torch.autocast도 torch.distributed도 코드를 고치지 않고 그대로 동작합니다.

여기까지만 보면 깔끔한데, 함정이 하나 있습니다.

이름표를 얻는 것과 구현을 얻는 것은 다릅니다. 연산 하나하나마다 그 디바이스용 구현이 따로 있어야 하는데, 없을 때 벌어지는 일이 모드마다 반대예요. eager 모드에서는 경고 한 줄을 남기고 그 연산만 CPU로 내려갑니다. 모델은 멈추지 않고 끝까지 돌아가죠. 경고는 로그에 묻히기 쉽고요. 반대로 torch.compile로 묶어 두면 같은 상황에서 기본값이 컴파일 실패입니다. 돌다가 느려지거나, 아예 안 올라가거나 둘 중 하나인 거죠.

흥미로운 건 이 한계를 AWS가 직접 공개했다는 점입니다. 허깅페이스에 올라온 모델 10만 개를 상시 돌려 보는 시험을 하는데, 기록 항목에 "어떤 연산이 디바이스에서 실행됐고 어떤 것이 CPU로 떨어졌는가"가 들어 있어요. 파이토치 본체의 테스트 모음을 돌린 결과도 같이 냈습니다. 약 15만 건을 돌려 그중 일부러 건너뛴 3만 9천 건 가운데, 가장 큰 덩어리인 2만 2천 건이 "아직 Neuron용 구현이 없는 연산" 때문에 건너뛴 것이었습니다. 입력 크기가 바뀔 때마다 다시 컴파일하지 않고 넘어가게 해 주는 동적 shape 지원도 첫 릴리스에서는 빠졌고요.

그래서 무엇을 하면 되느냐. 엔비디아가 아닌 가속기를 검토할 때 던지던 질문이 바뀝니다. 예전 질문은 "우리 모델을 포팅할 수 있나"였습니다. 포팅 비용이 한 줄로 내려갔으니, 이제 볼 것은 "우리가 실제로 쓰는 연산 중 몇 개가 CPU로 떨어지나"죠. 확인 방법도 벤더 자료가 아니라 내 코드 안에 있습니다. torch.profiler를 켤 때 ProfilerActivity.PrivateUse1을 함께 넣고(공식 예제는 NeuronConfig도 같이 넘깁니다), key_averages() 표를 디바이스 시간 기준으로 정렬해 보면 됩니다. 거기서 디바이스 시간이 0으로 찍히는 연산이 CPU에 남아 있는 것들이에요. 벤더에게 요구할 자료도 TFLOPS 수치가 아니라 연산 커버리지 표가 되겠고요.

한 가지 더 눈에 띈 게 있는데요. 허깅페이스가 kernels라는 라이브러리로 Trainium용 구현을 배포하고, Transformers v5는 어텐션 같은 핵심 연산을 모델 전반에 걸쳐 표준화했습니다. 이 방향이 계속되면 연산 구현은 벤더가 납품하는 물건이 아니라 그냥 설치되는 패키지가 되겠죠. 그러면 해자도 "누가 구현을 다 가졌나"에서 "누구 구현이 더 많이 깔려 있나"로 옮겨 갑니다. 예측은 아닙니다. 방향이 그쪽으로 나 있다는 가정이고, 근거는 저 두 가지고요.

그리고 이번 주에는 오라클이 2027년부터 구글 TPU를 자사 클라우드에서 팔겠다고 발표했습니다. 구글 바깥의 대형 클라우드로는 처음인데, 어느 칩을 얼마나 깔지도 가격도 아직 안 나왔습니다. 칩이 클라우드 사이를 건너다니기 시작한 건 분명하죠. 그런데 칩이 어디에 놓이느냐보다 중요한 건 내 코드가 그 칩을 부를 수 있느냐입니다. 그건 실리콘이 아니라 디스패처에 등록된 이름표와 구현의 문제고요.

한 줄 고쳐서 칩을 바꿀 수 있다는 말은 반갑습니다. 다만 그 한 줄 뒤에서 CPU로 떨어지는 연산을 누가 세어 줄지는 아직 모르겠네요. 당분간은 각자 프로파일러를 켜 보는 수밖에 없지 싶습니다.


커버 이미지: 데이터센터 서버 랙 — Wikimedia Commons, Carl Lender

#파이토치 #Trainium #AWS #AI반도체 #오픈소스 #인프라