100만 토큰이라는 기억 : 앤트로픽 오퍼스 4.6과 긴 기억의 가치

여러분은 오래된 친구와 새로 만난 사람의 조언이 다르다는 것을 느껴보신 적이 있을 겁니다. 어제 처음 소개받은 사람에게 "요즘 제 고민이 깊습니다"라고 말하면, 그는 대체로 교과서적인 답을 내놓습니다. 같은 이야기를 20년을 함께 지낸 친구에게 하면, 그는 맥락을 안 채로 말합니다. "너 예전에 비슷한 상황에서 이런 선택을 했었지. 그때의 결과가 어땠는지 기억나?" 같은 말이 돌아오지요. 조언의 무게가 다른 이유는 단 하나입니다. 기억의 길이가 다르기 때문입니다.

2026년 2월 5일, 앤트로픽(Anthropic)이 클로드 오퍼스 4.6Claude Opus 4.6을 공개했습니다. 작년 11월 오퍼스 4.5가 공개된 지 석 달 만의 업그레이드입니다. 그리고 열흘 뒤인 2월 17일에는 소넷 4.6Sonnet 4.6과 함께 100만 토큰1M Token 컨텍스트 윈도우 베타를 열겠다는 예고가 이어졌습니다. 숫자 하나가 바뀌었을 뿐인데, 저는 이 업데이트가 AI의 성격 자체를 바꾸는 종류의 변화라고 보고 있습니다.

컨텍스트 윈도우(Context Window)라는 용어가 낯설게 느껴지는 분들이 있을 것입니다. 쉽게 말해 AI가 한 번에 읽고 기억할 수 있는 텍스트의 총량입니다. 초기의 챗(GPTChatGPT)는 4,000토큰 수준이었습니다. 한국어로 A4 대여섯 장 분량이지요. 클로드 2가 2023년에 10만 토큰을 열면서 업계를 놀라게 했고, 이후 20만, 50만으로 몸집을 키워왔습니다. 100만 토큰이면 한국어 기준으로 A4 약 1,500장, 장편소설 일곱 권 분량에 해당합니다.

▸ 오퍼스 4.6이 달라진 것 : 단순한 확장이 아닙니다

컨텍스트가 늘었다는 사실을 '더 많은 입력을 넣을 수 있다'는 식으로만 이해하면 이 업데이트의 절반밖에 보지 못하는 것입니다. 진짜 변화는 AI와 인간의 관계에서 일어납니다.

오퍼스 4.6은 이전 버전 대비 장기 문맥 추적 능력이 크게 향상되었습니다. 단순히 길게 기억하는 것이 아니라, 긴 기억 안에서 무엇이 중요한지 가려낼 줄 안다는 점이 핵심입니다. 과거 긴 컨텍스트 모델들은 초반부나 후반부의 정보에 편향되는 현상, 이른바 "중간을 잊어버리는(Lost) in the Middle" 문제가 있었습니다. 앤트로픽은 이번 발표에서 이 중간 회상 정확도를 대폭 끌어올렸다고 설명했습니다. 100장의 문서를 한 번에 읽고 73페이지에 숨은 핵심 문장을 찾아내는 능력이 달라졌다는 뜻입니다.

두 번째 변화는 에이전트 능력의 강화입니다. 오퍼스 4.6은 클로드 코드(Claude Code)와의 결합을 전제로 설계된 버전입니다. 앤트로픽이 작년에 공개한 에이전트 스킬(Agent Skills) 오픈 표준과 맞물려, 개발자가 오퍼스 4.6 위에서 긴 호흡의 작업을 맡길 수 있게 했습니다. 하루 종일 걸리는 코드 리팩터링(Refactoring)을 맡겨놓고 저녁에 결과를 받아보는 식의 시나리오가 현실적으로 작동하는 단계에 들어섰습니다.

!긴 복도의 고전적 도서관에서 빛이 서가 사이로 스며드는 장면

▸ 100만 토큰이라는 상상 : 기억의 지평이 바뀐다

100만 토큰 컨텍스트가 의미하는 것을 구체적 장면으로 그려보겠습니다.

한 변호사가 12년 경력의 기업 자문 변호사라고 해봅시다. 그는 특정 대기업의 자문을 맡아왔고, 그동안 쌓인 계약서·이메일·내부 규정·법원 판결문이 수천 페이지에 달합니다. 지금까지의 AI는 이 중 한 건의 계약서를 넣고 "이 조항이 유효한가"를 묻는 수준이었습니다. 1백만 토큰 컨텍스트는 12년 치 자료 전체를 한 번에 읽고 답변하는 상담을 가능하게 합니다. "이 회사는 지난 12년간 하도급 분쟁에서 어떤 패턴을 보여왔고, 이번 건은 그 패턴과 어떻게 다른가"라는 질문에 AI가 실제로 답을 시도할 수 있게 되는 것이지요.

또 다른 장면을 그려봅니다. 한 소프트웨어 개발팀이 5년 된 사내 프로젝트를 관리한다고 해봅시다. 수백 개 파일, 수만 줄 코드, 5년 치 커밋(commit) 이력, 수천 개의 이슈 트래커(Issue Tracker) 기록이 쌓여 있습니다. 이 전체를 한 번에 읽은 AI가 "이 버그는 3년 전 A개발자가 만든 아키텍처 선택의 연장선상에 있고, 그 선택은 그 당시 사용하던 라이브러리의 제약 때문이었다"라는 식의 답을 만들어내기 시작합니다. 이것은 단순한 검색(Retrieval)이나 요약이 아닙니다. 프로젝트 전체의 맥락을 가진 조언자에 가까워지는 것입니다.

▸ 그렇지만 : 긴 기억의 뒷면

한 발 물러서서 봐야 할 문제도 분명히 있습니다. 긴 컨텍스트는 공짜가 아닙니다.

첫째, 비용의 문제입니다. 입력 토큰(Input Token) 100만 개를 처리하려면 그에 비례한 계산이 필요하고, API 사용료는 그대로 늘어납니다. 현재 공개된 오퍼스 4.6의 가격 구조에서 100만 토큰 한 번의 질의는 수 달러에서 수십 달러에 달할 수 있습니다. 한두 번은 큰 돈이 아니지만, 100만 토큰을 상시로 채워 사용하는 시스템을 만든다면 운영비가 만만치 않게 됩니다.

둘째, 환각(Hallucination)의 새로운 얼굴입니다. AI가 100페이지를 읽고 요약할 때는 사람이 일일이 검증하기가 사실상 어렵습니다. 중간 어딘가에서 사실을 약간 비틀어 놓으면 그것을 잡아내기가 어려워지지요. 컨텍스트가 커질수록 오류의 빈도는 줄어들 수 있지만 오류의 발견 가능성도 함께 줄어든다는 점은 반드시 기억해야 합니다.

셋째, 정보 보안의 문제가 있습니다. 긴 컨텍스트를 활용하려면 민감한 사내 문서나 고객 정보를 대량으로 AI에 노출해야 합니다. 앤트로픽이 기업용 API에서 '학습에 사용하지 않는다'는 정책을 두고 있지만, 이것만으로 모든 기업의 보안 요구를 충족시키기는 어렵습니다. 한국의 금융·의료·공공 분야가 100만 토큰의 이점을 누리려면, 그에 앞서 온프레미스(On-Premise)나 소버린 클라우드(Sovereign Cloud) 같은 물리적 분리 방안이 필수입니다.

!책상 위에 펼쳐진 두꺼운 장부와 타자기, 그리고 그 위에 쏟아지는 황금빛 조명

▸ 기억의 길이가 바꾸는 지능의 성격

저는 이번 오퍼스 4.6의 발표가 AI라는 기술의 성격을 한 번 더 바꾸는 사건이라고 생각합니다. 왜냐하면 기억의 길이는 곧 지능의 성격이기 때문입니다.

단기 기억만으로 작동하는 지능은 매순간 새로 시작합니다. 매번 처음 만난 상담사 같지요. 반면 긴 기억을 가진 지능은 맥락에 근거한 판단을 합니다. 같은 질문을 받아도 "이 사람이 지난 달에 비슷한 고민을 했던 것을 알고 있으니, 그때의 맥락을 고려해 답한다"가 가능해집니다. 이것은 지능의 양적 향상이 아니라 질적 변화입니다.

동시에 저는 이 변화가 한국 기업에게 중요한 시점에 도달했다고 봅니다. 지난 2년간 많은 기업이 AI 도입을 '시범 프로젝트'로 진행해왔습니다. 특정 부서의 특정 업무에 제한된 수준에서요. 이제는 그 제한이 기술적 이유보다 운영과 보안의 이유로 옮겨갑니다. AI가 기업의 전체 맥락을 이해하는 상담역이 될 수 있는 기술적 조건이 갖춰진 순간, 조직이 그 준비가 되어 있느냐가 다음 질문이 됩니다.

▸ 긴 기억을 감당할 준비

여러분의 조직을 한 번 떠올려보시기 바랍니다. 지금 100만 토큰짜리 AI가 그 안에 들어온다면, 무엇을 읽게 하실 건가요. 아무것도 못 읽게 할 것인가요, 아니면 지난 5년 치 회의록과 프로젝트 문서를 통째로 넘길 것인가요. 이 중간 어디쯤에서 각자의 답이 나올 것입니다. 그리고 그 답이 향후 AI 시대의 경쟁력을 나누는 기준 중 하나가 될 것이라고 저는 봅니다.

오퍼스 4.6의 출시는 단순한 모델 업그레이드가 아닙니다. AI가 단기 기억의 어시스턴트에서 장기 기억의 파트너로 이행하는 신호입니다. 긴 기억을 가진 AI는 우리에게 과외 선생보다는 오래된 친구에 가까워집니다. 오래된 친구의 조언이 왜 무거운지를 생각해보신다면, 이 변화의 무게도 함께 느껴지실 것입니다.

AI를 자유자재로 다루는 인간이 그렇지 못한 인간을 대체하는 시대라는 말을, 저는 이 책에서 여러 번 반복해왔습니다. 그 '자유자재'의 내용이 이제는 얼마나 긴 맥락을 AI와 공유할 수 있느냐로 확장되고 있습니다. 질문의 수준이 달라진 것이지요.