사람 하루에 에이전트 3.1일이 돌았습니다 : 그 숫자를 낸 회사가 먼저 선을 그었습니다

3.1이라는 숫자가 지난 주말 개발자들 사이를 돌았습니다. 사람 연구자가 여덟 시간을 일하는 동안, 그 곁에서 코딩 에이전트가 3.1일치를 일했다는 뜻입니다.

숫자를 내놓은 곳은 OpenAI입니다. 현지 시각 9월 6일, 「Research acceleration: The view inside OpenAI」라는 제목으로 사내 연구 조직이 코딩 에이전트를 어떻게 쓰고 있는지 공개했는데요. 프런티어 연구소가 자기 연구자들의 하루를 이 정도 해상도로 바깥에 내놓는 일은 흔치 않습니다. 에이전트 가동량이 사람의 노동량을 넘어선 것도 올해 6월 이후의 일이라고 하니, 1년도 안 되는 사이에 벌어진 변화입니다.

그런데 같은 글 안에 이런 취지의 문장이 함께 실려 있었습니다. 이 수치는 연구자 한 사람이 3.1배 생산적이 되었다는 뜻이 아니다. 에이전트가 돌아간 시간은 병렬로 겹친 것일 수도, 중복된 것일 수도, 실패로 끝난 것일 수도, 사람이 계속 붙들고 조종한 것일 수도 있다. 그러니 연구의 진전이 이 활동량을 따라 늘어난다고 볼 수는 없다.

자랑할 이유가 가장 많은 쪽이 자기가 낸 숫자에 먼저 각주를 달아 둔 셈입니다. 그래서 이 발표에서 정작 눈여겨볼 대목은 3.1이 아니라, 그 각주가 가리키는 다른 숫자들입니다.

먼저 3.1이 어떤 종류의 숫자인지부터 짚고 가겠습니다. 이것은 결과가 아니라 투입입니다. 공장의 성과를 그 공장이 쓴 전력량으로 재는 것과 같은 자리에 있는 숫자죠. 전기를 많이 썼다는 사실은 기계가 오래 돌았다는 뜻이지, 제품이 더 나왔다는 뜻이 아닙니다. 잘못 잡은 방향을 붙들고 스물네 시간을 성실하게 달린 에이전트도 3.1을 올리는 데는 똑같이 기여합니다.

돈으로 환산된 숫자도 성격이 같습니다. 연초만 해도 중위 연구자는 코딩 에이전트를 조금씩만 썼는데, 8월 중순이 되자 매일 에이전트를 업무에 붙이고 API 정가로 환산해 하루 600달러가 넘는 추론을 쓰고 있었습니다. 상위 10%에 해당하는 연구자는 하루에 7,000달러어치가 넘는 토큰을 쓰고 있었고요. 다만 이 수치는 OpenAI가 실제로 지출한 돈이 아닙니다. 자기 모델을 자기 인프라에서 돌리는 회사가, 외부 고객에게 받는 정가를 기준으로 자기 사용량을 환산한 값이니까요. 그러니 600달러는 실제로 나간 비용이라기보다, 얼마나 많이 썼는지를 달러로 바꿔 적은 값에 가깝습니다.

*출처: Wikimedia Commons, CSIRO*

▸ 성공한 작업의 절반 이상에 사람 손이 닿았습니다

저는 이 발표에서 다른 숫자 하나에 오래 머물렀습니다. 사람이 하면 네 시간에서 여덟 시간쯤 걸릴 규모의 작업을 에이전트에 맡겼을 때, 성공률은 1월부터 여름까지 꾸준히 올랐습니다. 그런데 성공한 작업 가운데 절반이 넘는 건이 사람의 개입을 최소 한 번은 받았습니다. 실패한 것들이 아니라 성공한 것들 이야기입니다.

이 문장을 뒤집으면 이렇게 됩니다. 반나절짜리 일을 에이전트에 넘겼을 때, 사람이 한 번도 들여다보지 않고 끝나는 경우는 아직 절반이 되지 않습니다. 그리고 작업이 길어질수록 이 비율은 더 나빠집니다.

이 숫자가 왜 중요하냐면, 3.1과 달리 이쪽은 산출에 훨씬 가까운 지표이기 때문입니다. 얼마나 오래 돌았는가가 아니라 얼마나 안 봐도 됐는가를 재니까요. 자동화의 값어치는 기계가 일한 시간이 아니라 사람이 되찾은 시간에서 나옵니다. 다섯 시간짜리 작업을 에이전트가 끝내 해냈더라도 그사이 사람이 세 번 붙들려 있었다면, 그 다섯 시간은 아직 온전히 돌려받은 시간이 아니죠.

▸ 목표의 정의 안에 이미 사람이 들어 있었습니다

OpenAI가 이번에 달성했다고 밝힌 목표의 이름은 자동화된 연구 인턴(automated research intern)입니다. 지난해 가을에 세워 둔 목표였고 기한이 올해 9월이었으니, 기한을 지킨 셈인데요. 그런데 이 목표의 정의를 그대로 옮기면 이렇습니다. 사람의 지시 아래 잘 정의된 연구 과제를 수행할 수 있는 시스템. 숙련된 연구자가 며칠 걸릴 만한 일까지 포함해서요.

정의의 첫 조건이 사람의 지시 아래입니다. 그리고 인턴이라는 단어를 고른 것도 우연은 아닐 겁니다. 인턴은 시키는 일을 잘 해내는 사람이지, 무엇을 할지 정하는 사람이 아니니까요.

실제로 OpenAI는 에이전트가 아직 하지 못하는 일을 꽤 구체적으로 적어 두었습니다. 연구 의제를 세우는 일, 어떤 질문에 자원을 쓸지 고르는 일, 나온 결과가 중요한지 판단하는 일. 무엇을 밀고 무엇을 접을지, 확대할지 멈출지 배포할지를 정하는 자리에는 여전히 사람이 앉아 있습니다.

다음 목표는 2028년 3월의 자동화된 AI 연구자(automated AI researcher)입니다. 더 길고 서로 얽힌 연구 루프까지 맡긴다는 구상인데요. 그 목표의 설계 안에도 사람의 감독은 그대로 남아 있습니다. 같은 글에서 회사는, AI가 스스로를 개선해 나가는 재귀적 자기개선(recursive self-improvement)까지 사람의 의도에 정렬된 채로 안전하게 도달하는 방법을 아직 모른다고 적었습니다. 지난 7월 프런티어 연구소 임직원들이 개발 속도를 조절할 검증 가능한 수단을 만들어 달라고 정부에 요청한 일을 예전에 다룬 적이 있는데요. 그때 서명한 사람들이 걱정한 지점이 정확히 여기입니다.

▸ 우리가 보고하는 숫자도 3.1과 같은 종류입니다

노벨 경제학상을 받은 경제학자 로버트 솔로가 1987년에 남긴 유명한 말이 있습니다. 컴퓨터 시대는 어디에서나 볼 수 있는데 생산성 통계에서만 볼 수 없다는 것이었죠. 사무실마다 컴퓨터가 들어찼는데 정작 통계에 잡히는 생산성은 움직이지 않던 시절의 관찰입니다. 그 간극이 통계에서 좁혀지기 시작한 것은 1990년대 후반에 이르러서였습니다. 도구가 들어온 시점과 성과가 잡히는 시점 사이에는 원래 이 정도의 시차가 있습니다.

지금 국내 기업들이 AI 도입을 보고할 때 쓰는 지표를 떠올려 보면 대개 이런 것들입니다. 라이선스 좌석 수, 사내 도입률, 월간 토큰 사용량, 코드 자동완성 수락률. 전부 3.1과 같은 종류의 숫자입니다. 얼마나 많이 돌았는지를 세는 것이죠. 세기 쉽고, 올리기 쉽고, 보고서에 넣기 좋습니다.

물론 도입 초기에는 이런 지표도 필요합니다. 아무도 쓰지 않는 도구는 아무것도 바꾸지 못하니까요. 그런데 도입률이 이미 충분히 높아진 조직이 여전히 도입률만 보고하고 있다면, 그것은 재는 대상을 아직 바꾸지 않았다는 뜻입니다. OpenAI는 자기 숫자에 각주를 달았습니다. 우리 보고서에는 그 각주가 달려 있는지 한 번쯤 볼 일입니다.

물어볼 것은 어렵지 않습니다. 지난달에 에이전트에 넘긴 일 가운데 사람이 한 번도 손대지 않고 끝난 것은 몇 건이었습니까? 몇 시간짜리 일까지 그렇게 끝났습니까? 그 비율은 지난 분기보다 올랐습니까?

3.1은 좋은 숫자입니다. 다만 그것이 무엇을 재는 숫자인지 알고 볼 때만 그렇겠죠. 우리 조직이 지금 무엇을 세고 있는지, 그리고 무엇을 세야 하는지 고민이 필요합니다.

---

*커버 이미지: 샌프란시스코 미션베이 1515 서드 스트리트, OpenAI가 우버로부터 전대해 쓰는 사옥 — Wikimedia Commons, Coolcaesar*