
깃허브가 10월 6일과 21일에 걸쳐 자사 깃 인프라를 다시 짜고 있다는 엔지니어링 글을 두 편 올렸습니다. 오픈AI는 11월 2일 모노레포용 깃 백엔드 판도(Pando)를 소개하는 글을 올렸고, 이틀 뒤인 11월 4일에는 깃 기반 저장 서비스를 만드는 피에르 컴퓨터(Pierre Computer)를 인수하겠다고 발표했어요. 한 달 사이에 벌어진 일인데, 전부 같은 층을 건드립니다.
우연이라고 하기엔 숫자가 닮았습니다.
깃허브의 월간 푸시는 1년 만에 4.9배로, 6억 9천만 건에서 33억 5천만 건이 됐습니다. 9월 한 달 에이전트가 초안을 시작한 PR이 1억 1천만 건, 전체의 40%를 넘었고요. 3월에는 17%였습니다.
그런데 여기서 좀 뜻밖인 게 있어요.
에이전트를 팀에 들일 때 우리가 먼저 걱정하는 건 보통 토큰 비용이나 GPU, 길어지는 CI 큐죠. 그런데 깃허브도 오픈AI도 가장 먼저 손을 댄 곳은 git push였습니다. 파일 몇 개 올리는 그 명령이 왜 제일 먼저 막혔을까요?
푸시를 두 토막으로 갈라 보면 보입니다.
첫째는 객체 전송입니다. 바뀐 파일들의 내용을 묶어서 보내는 일이에요. 양으로 치면 이쪽이 압도적인데, 서로 다른 사람이 보내는 객체는 겹치지 않으니 동시에 받아도 아무 문제가 없습니다. 둘째는 레퍼런스 업데이트입니다. main이라는 이름이 가리키는 커밋 해시를 새 값으로 바꾸는, 글자 그대로 한 줄짜리 작업이죠. 합의가 필요한 건 이쪽입니다. 순서를 정해 두지 않으면 두 사람이 같은 브랜치에 동시에 밀었을 때 한쪽이 다른 쪽을 덮어쓰게 되니까요. 깃허브는 저장소 하나를 기본 다섯 대의 파일서버에 둡니다. 과반만 모여도 커밋은 되는데, 넘어가기 전에 살아 있는 복제본 전부의 응답을 기다립니다. 그중 가장 느린 한 대가 전체 속도를 정하고요.

위키미디어 재단 데이터센터입니다. 같은 저장소의 복제본도 이렇게 똑같이 생긴 장비 여러 대에 나뉘어 있고, 쓰기 하나는 그중 가장 느린 한 대의 응답을 기다립니다. 출처: Wikimedia Commons, Victor Grigas
그런데 진짜 문제는 느린 복제본이 아니었습니다. 잠금의 범위였어요.
깃허브 글의 문장을 그대로 옮기면 이렇습니다. "저장소 전체 잠금을 레퍼런스 업데이트가 끝날 때까지, 네트워크 왕복까지 포함해서 쥐고 있으면, 쿼럼은 한 번에 쓰기 하나만 진행되는 정렬되지 않은 단일 요청 큐가 된다." 지금 대부분의 저장소는 복제본 다섯 중 두 대를 Azure 지역에 두고 있는데, 자사 데이터센터에서 1,600킬로미터쯤 떨어져 있어 왕복 한 번에 25밀리초가 걸립니다. 쓰기 하나에 왕복은 여러 번 필요하고요.
도서관에 열쇠가 하나뿐인 셈입니다. 2층에서 책 한 권을 바꿔 꽂는 동안 3층 사람도 기다립니다. 손대는 책이 전혀 다른데도요.
고친 방법은 열쇠를 늘리는 게 아니라 열쇠가 잠그는 범위를 좁히는 것이었습니다. 깃의 일관성 규칙은 원래 레퍼런스 단위입니다. main에 밀려는 두 쓰기끼리는 순서를 정해야 하지만, main과 feature-a는 서로 알 바가 아니에요. 그래서 깃허브는 쿼럼의 범위를 저장소 전체에서 개별 레퍼런스로 내렸습니다. 서로 다른 레퍼런스에 쓰는 경우 내부 시험에서 처리량이 3~4배 올랐다고 합니다.
오픈AI의 판도도 같은 자리에 도착했습니다. 푸시 하나하나를 변경 불가능한 팩파일로 블롭 스토리지에 쌓고, 브랜치 갱신은 메타데이터 저장소에 ref 버전 한 줄로 기록합니다. 그래서 같은 레퍼런스를 겨냥한 푸시끼리만 충돌해요. 저장소 전체의 엄격한 순서를 포기하고 인과적 일관성으로 바꾼 겁니다. 중앙값 푸시 지연이 약 80% 줄었고 하루에 1페타바이트에 가까운 깃 데이터를 처리한다는데, 대가도 분명합니다. 여러 브랜치를 한꺼번에 읽으면 각각 다른 시점의 모습일 수 있어요.
두 회사가 한 달 사이에 같은 결론에 닿은 게 저는 우연 같지 않습니다. 예측은 아니고 가정인데요. 에이전트가 늘면 커밋만 느는 게 아니라 브랜치가 같이 늡니다. PR 하나에 브랜치 하나니까, 9월의 에이전트 시작 PR 1억 1천만 건은 그만큼의 브랜치를 뜻하죠. 사람 한 명이 하루에 브랜치 하나를 만들던 자리에 에이전트 다섯이 다섯 개를 만들면, 저장소 단위로 잠그는 설계에서는 그 다섯이 줄을 섭니다. 건드리는 파일이 하나도 안 겹쳐도요. 에이전트가 만드는 부하의 모양은 '같은 일을 더 많이'가 아니라 '겹치지 않는 일을 동시에'에 가깝고, 공유 자원을 통째로 잡아 두는 설계가 그래서 제일 먼저 걸립니다. 깃허브도 수천 개의 에이전트가 아키텍처의 한 지점으로 수렴하는 지속적인 쓰기 부하를 만든다고 적었습니다.
그럼 우리 팀에서는 무엇을 보면 될까요. 세 군데입니다. 먼저 머지 큐. 레퍼런스를 쪼개도 이건 안 풀립니다. 깃허브도 머지는 하나의 레퍼런스에서 경합한다고 적었어요. 메인 브랜치는 원래 하나니까요. 다음은 푸시당 CI 트리거. 깃허브 Actions 작업이 연 454억 건, 초당 1,440건입니다. 푸시마다 전체 파이프라인이 도는 설정이면 푸시가 다섯 배 가까이 늘 때 청구서도 같이 다섯 배가 됩니다. 마지막으로 자체 호스팅 깃 서버를 쓴다면 복제 설정과 쓰기 경로에서 잠금을 어디까지 잡는지.
숫자를 받을 때 조심할 것도 있습니다. 깃허브의 3~4배도, 다른 글에 나오는 35배도 전부 내부 시험 수치고 프로덕션 결과는 공개되지 않았습니다. 시험 조건과 하드웨어도 밝히지 않았고요. 오픈AI의 80%는 자기네 모노레포 한 곳에서 자기들이 잰 값인데, 판도는 내부 전용이라 바깥에서 돌려 볼 방법이 없습니다.
재미있는 건 이 모든 변화가 에이전트가 쓰는 코드의 품질과는 아무 상관이 없다는 점이에요. 모델이 좋아지든 나빠지든 푸시는 들어오니까요. 그런데 정작 우리 팀 파이프라인에서 '한 번에 하나씩'인 자리가 어디인지는 세어 본 적이 없네요. 거기부터 봐야겠다 싶습니다.
커버 이미지: CERN 전산센터의 서버 랙 — Wikimedia Commons, Florian Hirzinger
전체 사이트에서 댓글·관련 글을 함께 보시려면
이야기 공장에서 보기 →