광모듈을 떼어낸 102.4T 스위치

셀레스티카(Celestica)가 10월 12일 OCP 글로벌 서밋에서 DS6005라는 스위치를 내놨습니다. 102.4Tbps 논블로킹에 1.6TbE 광포트 64개를 1.5OU 높이에 담았고요. 브로드컴의 Tomahawk 6-Davisson 칩을 씁니다. 그런데 용량보다 눈에 띄는 쪽은 전면 패널입니다. 데이터가 지나는 자리에는 꽂았다 뺐다 하던 광모듈이 하나도 없어요. 공랭 옵션도 없습니다. 수랭만 됩니다.

광모듈을 없애면 전력 효율이 좋아진다는 설명이 따라붙는데, 저는 이 대목이 한참 걸렸습니다. 광통신이면 신호는 빛으로 가는 것 아닌가요? 손가락만 한 모듈이 무슨 전기를 그렇게 먹길래 없애는 게 이득이 될까요.

여기서 잠깐, 스위치 안에서 신호가 실제로 지나는 길을 따라가 봐야 합니다. 스위치 칩이 만든 전기 신호는 곧장 빛이 되지 않습니다. 칩 패키지를 빠져나와 기판 위 구리 배선을 타고, 커넥터를 건너, 전면 패널의 케이지에 꽂힌 모듈까지 가야 해요. 그 구리 구간이 보통 수십 센티미터입니다. 빛으로 바뀌는 건 그 끝에서고요.

그 수십 센티미터가 문제입니다. 요즘 1.6T 포트는 레인 하나에 200G를 싣는데, 초당 1천억 번 넘게 파형을 바꾸는 속도예요. 주파수가 높아질수록 구리는 신호를 더 많이 잡아먹습니다. 업계에서 도는 어림으로 25센티미터쯤 되는 전기 구간은 커넥터와 비아까지 합쳐 30dB 안팎을 잃습니다. 구간이 1센티미터 수준으로 짧아지면 같은 기준으로 4dB 안팎까지 내려가고요. 30dB면 전력이 천 분의 일로 줄어든다는 뜻입니다. 모듈에 도착할 때쯤이면 네모반듯하던 파형이 뭉개져서 0인지 1인지 알아보기 어려운 상태가 됩니다.

그래서 플러거블 광모듈 안에는 DSP라는 칩이 하나 들어 있습니다. 뭉개진 파형을 다시 세우고 타이밍을 새로 잡아 주는 역할이에요. 광모듈이 쓰는 전기의 상당 부분이 여기로 갑니다. 800G 모듈 하나가 15W쯤 쓰는데 그중 DSP 몫이 6~7W, 1.6T로 가면 12~14W라는 수치가 돌아요. 그러니까 광통신 장비가 쓰는 전력의 꽤 많은 부분은 빛을 만드는 데가 아니라, 빛이 되기 전에 망가진 구리 신호를 복구하는 데 쓰이고 있었던 겁니다.

전면 패널에 꽂아 쓰는 플러거블 광 트랜시버입니다. 오른쪽 끝의 금색 단자가 스위치 쪽 전기 신호를 받는 자리고, 왼쪽에 광섬유가 꽂힙니다. 사진은 10G 시절 규격이지만 꽂아 쓰는 구조 자체는 800G·1.6T에서도 그대로입니다. 출처: Wikimedia Commons

CPO(Co-Packaged Optics), 그러니까 광엔진을 스위치 칩과 같은 패키지에 올리는 방식은 이 전제를 바꿔 버립니다. DS6005에 들어간 칩은 스위치 다이 옆에 6.4Tbps짜리 광엔진 16개를 같이 얹었어요. 구리 구간이 수십 센티미터에서 밀리미터 단위로 줄어듭니다. 신호가 멀쩡하게 도착하니 복구해 줄 칩이 필요 없어지고요. 브로드컴이 내놓은 수치로는 광 인터커넥트가 쓰는 전력이 플러거블 대비 70%쯤 줄어듭니다. 이전 세대 CPO 기준으로는 800G 포트 하나에 15W 쓰던 것이 5.5W 선이었고요. 아낀 전기의 정체는 빛이 아니라 거리였던 셈이죠.

그런데 전부를 패키지 안으로 들이지는 않았습니다. 빛을 만드는 레이저는 여전히 전면 패널에 따로 꽂혀 있어요. 현장에서 교체할 수 있는 외장 레이저 모듈 16개를 그대로 뒀습니다. 이유가 둘인데요. 레이저는 온도가 오르면 발진 파장이 길어집니다. 수백 와트를 뿜는 스위치 칩 옆은 파장이 가만있지 못하는 자리죠. 그리고 레이저는 이 조립체에서 가장 잘 고장 나는 부품이기도 합니다. 패키지에 몰린 열을 빼낼 여유도 그만큼 줄었고요. 공랭 옵션이 아예 사라진 것도 그래서일 겁니다.

다만 셀레스티카는 DS6005의 실제 소비 전력도, 지연 수치도 내놓지 않았습니다. 회사 쪽 설명도 효율과 지연의 이득이 구현 방식과 비교 기준에 달려 있다는 선에 머물고요. 위에 적은 절감 폭은 칩 공급사가 밝힌 숫자지 이 제품을 재서 나온 값이 아닙니다.

그래서 저는 이 방식의 승부가 와트에서 갈리지 않을 것 같다는 생각을 합니다. 예측이라기보다 가정에 가까운데요. 플러거블 세계에서 광모듈 하나가 죽으면 30초짜리 핫스왑입니다. 뽑고 새것 꽂으면 끝이죠. CPO에서는 광엔진 16개가 패키지에 붙어 있습니다. 하나가 죽으면 교체 단위가 모듈이 아니라 102.4T 스위치 한 대예요. 운영자 입장에서 포트 하나의 고장과 랙에서 장비 한 대가 빠지는 일은 전혀 다른 사건입니다. 가장 잘 고장 나는 레이저만 굳이 바깥으로 빼서 교체 가능하게 만들어 둔 것도, 만드는 쪽이 위험을 어디에 두고 있는지 보여주는 대목이라고 봅니다. 근거라면 브로드컴이 신뢰성 사례로 내세운 메타의 무플랩 기록이 고온 실험실에서 돌린 이전 세대 400G 포트 수치라는 점 정도고요.

전력 단가가 이 업계의 모든 설계를 다시 쓰고 있는 걸 생각하면 이 방향 자체는 되돌아가지 않을 것 같습니다. 다만 다음에 확인하고 싶은 건 절감 폭이 아니라 고장률이네요. 실제로 깔아 본 곳에서 1년치 데이터가 나오기 전까지는 판단을 미뤄 두려고 합니다.

커버 이미지: 광섬유가 연결된 데이터센터 스위치 섀시 — Wikimedia Commons, Scottkipp