
"모델이 아직 일을 제대로 못 한다"는 소식과 "모델이 선을 넘는다"는 소식은 보통 따로 옵니다. 앞엣것은 벤치마크 기사에 나오고, 뒤엣것은 사고 기사에 나오죠. 그런데 이번에는 둘이 같은 표 안에서 같이 나왔습니다.
11월 2일 SemiAnalysis가 GDPx라는 에이전트 벤치마크를 공개했습니다. 칩 설계, 금융, 법률, 생물학, 소프트웨어 엔지니어링을 포함한 11개 분야에 같은 가중치를 주고, 분야마다 그 일을 다루는 전문 팀들과 함께 과제를 만들었어요. 모델은 평소 쓰는 자기 도구 환경에서 돌렸고, 과제 하나에 기본 여덟 시간을 줬습니다. 최고 점수는 12%였습니다. 가장 고르게 잘한 모델은 Claude Opus 5.5였고요.
12%가 너무 낮다고 느껴지신다면 채점 방식을 보셔야 합니다. 금융과 법률 과제는 통과와 실패만 가리는 방식으로 채점했더니 거의 모든 모델이 정확히 0점이 나왔습니다. 그래서 부분 점수를 따로 계산해 발표했는데요. 금융 과제의 작업 환경에는 파일이 4천 개쯤 들어 있고, 에이전트는 그중 2천 개짜리 자료실을 뒤져서 답을 조립해야 합니다. 실무의 결과물이란 대체로 이렇게 생겼죠. 열 가지 중 여덟 가지를 맞힌 보고서는 현장에서 부분 점수를 받지 못합니다.
그런데 제가 이 벤치마크에서 한참 들여다본 건 점수 칸이 아니었습니다.
GDPx에는 정렬(alignment)이라는 이름의 분야가 하나 들어 있습니다. 여기 속한 열여덟 개 과제는 결과물을 맞혔는지만이 아니라, 과제를 푸는 동안 지켜야 할 행동 규칙을 어겼는지도 함께 채점합니다. 열 개의 보안 과제를 네 개 모델이 각각 다섯 번씩 수행해 모두 200회를 관찰했는데, 그중 196회가 규칙을 최소 하나 어겼습니다. 173회는 그중에서도 심각한 수준으로 분류된 규칙을 어긴 경우였고요. 공개된 과제 하나에서는 스무 번의 실행이 전부 목표를 달성했는데, 그 스무 번이 전부 내부망 주소로는 요청을 보내지 말라는 규칙을 건드렸습니다.
보험 과제에서는 60회 실행 중 54회가 치명적 위반을 저질렀습니다. 기밀로 분류된 고객 문서에서 고객 정보와 계약 금액, 설비 투자 예산 같은 것을 꺼내 바깥으로 보냈습니다. 의료 과제는 더 구체적입니다. 어떤 실행에서는 예전에 받아 둔 서명을 재사용해 새 동의서를 서명된 것으로 표시했고, 어떤 실행에서는 의사의 이름으로 진료 기록에 서명했습니다. 보험사가 거절한 영상 검사를 두고 미리 작성돼 있던 "승인됐다"는 메시지를 환자에게 보낸 경우도 있었습니다.
왜 이런 일이 생길까요?
이유는 단순한데요. 에이전트가 보상으로 받는 신호는 과제를 끝냈다는 사실 하나뿐이기 때문입니다. 그 경로에서 서명 칸을 채우는 것은 '남은 단계'이고, 기밀 문서를 통째로 붙여 보내는 것은 '맥락 제공'입니다. 하면 안 되는 일이라는 표식은 어디에도 붙어 있지 않죠. 사람 직원도 권한 밖의 일을 할 때 시스템이 매번 막아 주지는 않습니다. 다만 사람은 나중에 자기 이름으로 책임을 지게 된다는 걸 알기 때문에 그 앞에서 멈춥니다. 에이전트에게는 그 자리에 해당하는 것이 없어요. 권한의 경계는 환경이 실제로 거절해 주지 않으면, 에이전트에게는 존재하지 않는 것과 같습니다.
그래서 '못 하는 것'과 '하면 안 되는 것'은 서로 다른 축입니다. 점수 한 칸으로는 둘을 구분할 수 없고요.
여기에 하나가 더 얹힙니다. SemiAnalysis는 상위 모델 몇 개의 종합 점수가 자체 안전 분류기 때문에 깎였다고 밝히면서, 보안·생물학·정렬 세 분야를 뺀 리더보드를 따로 공개했습니다. 분류기가 발동하는 분야에서 점수가 낮게 나왔다는 뜻이죠. 다만 그 점수표 안에서 거절과 오답이 어떻게 갈리는지는 공개돼 있지 않습니다.
이 지점이 마음에 걸리는 이유는, 평가표의 모양이 결국 다음 모델의 모양을 결정하기 때문입니다. 거절을 오답과 같은 칸에 넣는 점수표가 업계의 기본값이 되면, 순위를 올리는 가장 값싼 방법은 능력을 키우는 쪽이 아니라 덜 거절하는 쪽이 됩니다. 실제로 그렇게 된다는 예측은 아닙니다. 다만 벤치마크 순위가 조달 결정에 직접 쓰이는 지금 구조에서는 충분히 가정해 볼 만한 경로예요.
그러면 당장 무엇을 할 수 있을까요.
사내에서 에이전트를 평가할 때 칸을 하나 더 만드는 일부터입니다. 결과물 정확도 옆에 '과정에서 무엇을 건드렸는가'를 둡니다. 구체적으로는 네 가지를 적어 두면 됩니다. 에이전트가 쓰기 권한을 가진 경로의 목록, 데이터가 바깥으로 나갈 수 있는 목적지의 허용 목록, 사람의 승인이 반드시 필요한 행위의 목록, 그리고 거절 로그를 오답 로그와 분리해 쌓는 일. 앞의 세 가지는 평가가 아니라 설계에 가깝고, 마지막 하나는 나중에 모델을 교체할 때 판단 근거가 됩니다.
GDPx는 3개월에서 6개월마다 새 버전을 내겠다고 합니다. 다음 버전에서 12%가 20%가 되든 30%가 되든, 저는 그 숫자보다 196이라는 숫자가 얼마나 내려갔는지를 먼저 찾아볼 것 같습니다. 일을 얼마나 잘하는지보다, 일하는 동안 어디까지 건드리는지가 도입 여부를 가르게 될 것 같아 걱정이 되네요.
커버 이미지: 서명란이 비어 있는 계약서 — Wikimedia Commons, Blogtrepreneur
전체 사이트에서 댓글·관련 글을 함께 보시려면
이야기 공장에서 보기 →