
구글과 마이크로소프트, 오픈AI가 10월 30일 각자의 블로그에 같은 내용을 올렸습니다. 사이트가 AI 학습 거부 의사를 밝히는 방법을 하나로 통일하겠다는 것이고, 그 방법을 적은 IETF 인터넷 드래프트도 같은 날 올라왔습니다. 쓴 사람은 앤트로픽의 케빈 켈리(Kevin Kelley)입니다.
신호는 이렇게 생겼습니다.
```
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
```
학습에는 쓰지 말되, /press-kit/ 아래는 써도 좋다는 뜻입니다.
처음 보고 한참 들여다본 건 __usage_ai-training이 User-Agent: 줄에 앉아 있다는 점이었습니다. 저건 크롤러 이름이 아니잖아요.
네트워크 쪽을 만져 보신 분은 robots.txt의 그 줄이 HTTP 요청의 User-Agent 헤더와 맞춰진다고 생각하기 쉽습니다. 저도 오래 그렇게 알고 있었고요. 그런데 규격(RFC 9309)이 저 자리를 부르는 이름은 '프로덕트 토큰'입니다. 크롤러가 스스로 "나는 Googlebot이다"라고 선언한 이름과 맞춰 보는 거예요. 규격은 그 이름이 헤더 문자열 안에 들어 있기를 권할 뿐, 요구하지는 않습니다. 신원을 확인하는 절차가 아니라 그냥 이름표입니다. Googlebot이 Googlebot인 이유는 구글이 그렇게 부르기로 했기 때문이고요.
이름표를 붙이는 자리라면, 거기에 에이전트 말고 다른 것을 적어도 됩니다. 켈리가 넣은 건 크롤러가 아니라 용도입니다. 에이전트별로 묶던 규칙을 용도별로 묶은 거죠.
이 재활용으로 얻는 게 큽니다. 새 지시어도, 새 문법도, 새 파일도 없습니다. 드래프트가 맨 앞 초록(Abstract)에 그 말부터 적어 뒀어요. 경로를 매칭하는 방식도, 긴 쪽이 이기는 우선순위도, 그룹을 나누는 구조도 손대지 않았습니다. 그러니 세상에 이미 깔려 있는 robots.txt 파서는 한 줄도 고칠 필요가 없습니다. 모르는 이름이 붙은 그룹은 원래 무시하게 돼 있으니까요.
재미있는 건 그 다음에 붙은 예외 조항 두 개입니다.
첫째, User-Agent: * 그룹은 이 토큰에 매칭되면 안 됩니다. 드래프트가 대문자로 MUST NOT이라고 썼어요. 와일드카드가 매칭된다면 지금 User-Agent: * 아래에 Disallow: 줄을 한둘 적어 둔 수많은 사이트가, 한 번도 말한 적 없는 학습 거부 의사를 밝힌 것으로 읽히게 됩니다. 그래서 가장 흔한 그룹 하나를 통째로 예외로 뺐습니다.
둘째, 밑줄 두 개입니다. 왜 usage_ai-training이 아니라 __usage_ai-training일까요. 드래프트가 이유를 직접 적어 뒀습니다. 배포된 파서 중 일부가 규격보다 느슨하게 이름을 맞춘다는 겁니다. 우연히 걸려드는 일을 막으려고 붙인 울타리예요. 목표 항목에는 아예 이렇게 적었고요. 이 조건은 "이상적인 RFC 9309 파서뿐 아니라 실제로 배포된 파서"에서도 성립해야 한다고.
표준 문서가 자기보다 먼저 깔린 구현들의 버릇을 보고 설계된 겁니다. 깨끗한 설계를 양보한 자리마다 이미 돌아가고 있는 것들이 서 있는 거죠.
그래서 무엇을 보면 되느냐. 지금 운영하시는 사이트의 robots.txt를 열어 보시면 됩니다. 거기에 __usage_ai-training 그룹이 없다면, 그 사이트는 AI 학습에 대해 아직 아무 말도 하지 않은 상태입니다. User-Agent: *로 넉넉히 막아 뒀으니 됐다고 생각하셨다면 그게 아닙니다. 크롤링은 여전히 막히지만, 학습 용도에 대해서는 아무 말도 하지 않은 셈이거든요. 마이크로소프트 쪽 일정은 더 구체적입니다. 2027년 2월 1일부터 크롤하면서 새 선호를 반영하고, 2023년부터 AI 통제용으로 쓰이던 NoArchive와 NoCache는 2027년 3월 1일 이후로는 학습·그라운딩 선호로 읽지 않습니다. 그 두 태그로 통제해 오셨다면 달력에 표시해 둘 날짜가 생긴 셈입니다.
한 가지가 더 갈라졌는데, 이게 개발자 혼자 정할 일이 아닙니다. 마이크로소프트는 학습 거부와 그라운딩 거부를 따로 뒀습니다. 그라운딩은 AI가 답을 만들 때 내 문서를 근거로 끌어다 쓰고 출처로 거는 일이에요. 그래서 "학습에는 안 쓰되 답변에는 인용돼도 좋다"가 마이크로소프트 쪽에서는 처음으로 표현 가능한 선택지가 됐습니다. 트래픽을 원하는 쪽과 데이터를 지키려는 쪽의 이해가 갈리는 지점이라, 마케팅과 법무가 같이 앉아야 결론이 납니다. 참고로 마이크로소프트는 이 두 선호 설정이 일반 Bing 검색 결과 노출 자격에는 영향을 주지 않는다고 못 박았습니다.
마음에 걸리는 대목은 침묵이 어느 쪽으로 떨어지느냐입니다. 드래프트는 토큰 그룹이 없으면 "선호가 표명되지 않았다"고 합니다. 마이크로소프트 문서는 해당 선호가 공표되지 않으면 기본값이 Allow라고 적었고요. 두 문장을 이으면 아무 말도 하지 않은 사이트의 글은 학습에 쓰입니다. 그리고 세상의 robots.txt 대다수는 앞으로도 침묵할 겁니다. 파일을 고치려면 누군가 손을 대야 하는데, 그런 일은 잘 일어나지 않죠. 옵트아웃이냐 옵트인이냐는 기술 설계가 아니라 분배에 관한 결정이고, 이번 합의는 옵트아웃 쪽을 골랐습니다. 예측은 아니고, 두 문서가 각각 그렇게 적어 뒀다는 데서 나온 가정입니다.
선을 하나 더 그어 두겠습니다. 이건 소급되지 않습니다. 이미 긁어 간 문서는 이미 어딘가의 학습 데이터 안에 있고, 오늘 한 줄을 적는다고 빠지지 않습니다. 아직 드래프트이고 강제력도 없습니다. 구글은 2027년이라고 했고, 오픈AI는 몇 달 안이라고만 했으니 실제로 언제부터 읽힐지도 확정된 게 아닙니다.
2023년부터 Google-Extended와 GPTBot이 하나씩 나오고 앤트로픽 크롤러 이름까지 줄줄이 붙는 걸 보면서 robots.txt가 해마다 몇 줄씩 길어지겠구나 했는데, 한 줄로 모이는 쪽으로 가는 모양이네요. 거기까지는 반갑습니다. 다만 그 한 줄을 실제로 적어 넣는 손이 얼마나 될지는 또 다른 문제고, 아마 적지 않은 사이트가 적지 않은 글을 모르는 채로 내주게 되지 싶습니다.
커버 이미지: 사유지 출입 금지 표지판 — Wikimedia Commons, Penny Thompson
전체 사이트에서 댓글·관련 글을 함께 보시려면
이야기 공장에서 보기 →