침묵이 가장 비싼 선택지입니다 : 앤트로픽이 분류기를 제거한 이유

개발을 하다 보면 같은 구조를 반복해서 만들게 됩니다. 비싼 모델 앞에 값싼 분류기를 하나 세우는 것이죠. 들어온 입력이 처리할 가치가 있는지 작은 모델이 먼저 걸러내고, 통과한 것만 큰 모델로 넘깁니다. 스팸 필터도 그렇고 사내 챗봇도 그렇고 알림 시스템도 대개 그렇습니다. 값싼 판단으로 비싼 판단의 호출 횟수를 줄이는 것은 거의 반사에 가까운 설계 습관입니다.

앤트로픽이 이번 달에 그 습관을 정면으로 거슬렀습니다.

앤트로픽은 지난 6월 23일 클로드 태그(Claude Tag)를 공개했습니다. Slack 채널에 @Claude를 팀원처럼 앉혀 두고 태그해서 일을 맡기는 방식인데요. 발표문에서 앤트로픽은 자기 제품팀 코드의 65%를 사내 버전 클로드 태그가 만들고 있다고 밝혔습니다. 그리고 8월 13일 자사 블로그로 이 클로드 태그의 판단 구조를 바꿨다고 알렸고, 현지 시각 8월 24일 벤처비트가 그 의미를 정리했습니다.

바뀐 것은 기능이 아니라 판단하는 주체입니다. 이전에는 경량 분류기가 Slack 메시지를 하나씩 따로 보면서 응답할지 말지를 이진으로 정했습니다. 이번에 앤트로픽은 그 분류기를 완전히 제거했습니다. 대신 클로드가 채널 전체의 대화와 자신의 메모리, 그리고 사용자가 미리 준 상시 지침을 함께 읽고 스스로 판단합니다. 앤트로픽의 자체 측정으로는 선제적으로 끼어들 때와 끼어들지 않을 때를 정하는 판단이 약 30% 개선됐습니다. 측정 방법론은 공개되지 않았으니 숫자 자체보다는 무엇을 재려 했는지가 중요하겠죠. 개선의 대상이 응답의 품질이 아니라 응답 여부의 판단이라는 점을 눈여겨볼 만합니다.

▸ 문지기를 치우고 그 자리에 비싼 판단을 앉혔습니다

분류기가 사라진 자리에서 클로드가 고를 수 있는 것은 네 가지입니다. 답이 짧고 검증 가능하며 채널이 아직 모르는 내용일 때 인라인으로 답하기, 시간을 들일 만한 메시지라면 스레드를 열어 깊은 작업을 시작하기, 이미 진행 중인 작업 흐름에 그 메시지를 편입하기, 그리고 아무것도 필요하지 않을 때 아무 말도 하지 않기.

네 번째가 선택지 목록에 올라 있다는 것이 이 업데이트의 핵심입니다. 이진 분류기 시절에도 응답하지 않는다는 결과는 있었습니다. 그런데 그때 침묵은 판단의 결과가 아니라 게이트에서 걸러진 부산물이었죠. 이제는 침묵이 나머지 세 개와 같은 층위에서 검토되는 하나의 행동입니다.

더 흥미로운 것은 채점 기준입니다. 앤트로픽이 밝힌 기준은 코멘트가 얼마나 유용한지, 클로드가 자기 답에 얼마나 확신하는지, 그리고 이 질문에 더 잘 답할 사람이 채널에 있는지입니다. 마지막 항목은 성능 지표라고 부르기 어려운 종류의 것입니다. 자기가 답할 수 있는지를 묻는 것이 아니라, 자기가 답하는 것이 이 방에서 최선인지를 묻고 있으니까요. 저는 사람에게 자리를 넘기는 판단을 감점이 아니라 가점으로 처리하는 지표를 AI 제품에서 본 기억이 별로 없습니다.

▸ 침묵은 발언보다 비쌉니다 : 그 비용을 지금은 앤트로픽이 냅니다

여기서 비용 구조를 한 번 짚어야 합니다. 값싼 분류기를 앞에 세우는 설계가 그렇게 흔한 이유는 명확합니다. 거를 것을 값싸게 거르면 비싼 호출을 아낄 수 있으니까요. 그런데 침묵을 잘하려면 반대로 가야 합니다. 이 대화에 내가 보탤 것이 있는지, 이미 누가 답했는지, 지금 끼어들면 흐름을 끊는지를 알려면 채널을 전부 읽어야 합니다. 읽지 않고 내리는 침묵은 판단이 아니라 누락이죠.

그래서 잘 다듬어진 침묵은 발언보다 비쌉니다. 앤트로픽도 이 사실을 숨기지 않았습니다. 블로그에는 이렇게 적혀 있습니다. "이 업데이트는 오늘은 추가 비용이 없습니다. 더 많은 문맥을 유지하면 클로드 태그의 사용량은 늘지만, 그 추가 문맥은 어떤 플랜의 사용량·지출 한도에도 계산되지 않습니다." 앤트로픽의 엔터프라이즈 제품 총괄인 스콧 화이트는 벤처비트에 앞으로도 무료일지는 확약하지 않으면서 지금을 적극적인 실험 단계라고 표현했습니다.

이 문장에서 중요한 것은 오늘은, 이라는 단어입니다. 지금은 에이전트가 입을 다물기 위해 읽어야 하는 분량의 값을 공급사가 부담하고 있는데요. 만약 그 문맥이 언젠가 청구서에 올라간다면 계산이 뒤집힙니다. 조용한 에이전트가 수다스러운 에이전트보다 비싸지고, 비용을 줄이려는 압력은 곧 판단 품질을 낮추라는 압력이 됩니다. 값싼 문지기를 다시 세우고 싶어지는 지점이죠.

앤트로픽이 덧붙인 장치가 하나 더 있습니다. 반복적으로 보탤 말이 없는 채널에서는 클로드가 휴면 상태로 들어가고, 누가 태그하면 깨어납니다. 거슬리는 에이전트가 도움이 안 되는 에이전트보다 나쁘다는 판단이 깔려 있는 설계입니다. 스스로 물러나 있을 곳을 정하는 기능을 제품 사양으로 넣었다는 뜻인데, 사양서에 적기에는 꽤 낯선 항목입니다. 화이트가 지식 노동은 소프트웨어 엔지니어링보다 훨씬 지저분하다고 말한 것도 같은 맥락일 것입니다. 코드는 통과하거나 실패하지만, 회의에서 언제 입을 열어야 하는지에는 테스트가 없습니다.

▸ 우리는 잘 답하는 능력만 재고 있습니다

대화방에 AI를 앉히는 흐름은 앤트로픽만의 것이 아닙니다. Slack도 Microsoft Teams도 채널에 상주하며 스스로 움직이는 에이전트를 같은 시기에 내놓고 있습니다. 국내 협업툴도 다르지 않죠. 도입 명분은 대개 알림 과부하 완화입니다. 쌓인 대화를 요약해 주고 놓친 맥락을 채워 준다는 것인데요.

*출처: Unsplash*

그런데 도입 뒤에 우리가 재는 것은 대체로 요약이 정확한지, 답변이 쓸 만한지에 그칩니다. 말하지 않아야 할 때 말하지 않았는지를 재는 지표를 갖춘 조직은 거의 없습니다. 전체 공지 채널 하나에 수백 명이 들어와 있고 알림을 꺼 둔 사람이 태반인 환경이라면, 이 능력의 가치는 오히려 더 큽니다. 자동 요약이 하루에 몇 번 더 올라오는 것과, 그 방에서 아무도 요청하지 않은 코멘트가 하루에 몇 번 더 붙는 것은 완전히 다른 종류의 피로죠.

지난 몇 년 동안 우리가 개선해 온 것은 답을 얼마나 잘 만드는지였습니다. 에이전트를 사람들이 함께 있는 방에 들여놓는 순간부터는 항목이 하나 더 붙습니다. 언제 발언권을 가져갈지, 그리고 언제 넘길지입니다. 앤트로픽이 이번에 고친 것은 모델의 성능이 아니라 그 항목이고, 지금은 그 비용을 공급사가 대신 내고 있습니다. 청구서가 언제 어떻게 넘어올지는 앞으로 계속 얘기가 나오겠죠. 우리 조직의 채널에 앉힐 에이전트를 고를 때 무엇을 보고 고를지, 지금부터 고민이 필요합니다.