클로드 코드 토큰 96.8%는 '대화 다시 읽기'였다

클로드 코드(Claude Code)의 주간 사용 한도가 금방 바닥나는 이유를 로그로 직접 파헤친 실측 분석이 나왔다. 한 일본 사용자가 자기 컴퓨터에 쌓인 32개 세션의 대화 로그를 집계했더니, 전체 토큰의 96.8%가 새 작업이 아니라 지나간 대화 이력을 매 턴 다시 읽는 데 쓰이고 있었다. 사용자가 직접 타이핑한 입력은 전체의 0.01%에 불과했다.

무슨 일인가

분석 대상은 클로드 코드가 홈 폴더 아래에 스스로 남기는 대화 로그다. 여기엔 API가 반환한 실제 토큰 수가 기록돼 있어 추정이 아닌 실측 집계가 가능하다. 합계 약 14억 1,550만 토큰의 내역은 이렇다. 캐시 읽기(이력 재독) 96.8%, 캐시 쓰기 2.7%, AI의 출력 0.5%, 사용자의 신규 입력 0.01%. 흔히 '프롬프트를 짧게 쓰라'는 절약 조언이 도는데, 그 입력 구간은 전체의 1만분의 1이라 줄여 봐야 효과가 없는 곳이라는 얘기다.

핵심 짚어보기

그럼 다시 읽히는 이력의 정체는 무엇인가. 대화에 쌓인 글자를 종류별로 세어 보니 88.8%가 도구 실행 결과(tool_result)였다. AI의 발화와 사용자 입력을 다 합쳐도 11.2%다. 도구 결과 2,478건을 도구별로 나누자 구도가 선명해졌다. 웹페이지 전체 가져오기가 63.3%(1회 평균 약 3만 4천 자), 파일 읽기가 13.0%(평균 약 1만 1천 자)를 차지한 반면, 셸 명령은 967번을 실행하고도 3.7%(평균 839자)에 그쳤다. 극단은 스크린샷이었다. 스크린샷 1장이 평균 약 29만 7천 자로, 셸 명령 354회분에 해당했다. 게다가 이력에 한 번 들어간 큰 출력은 그 이후 모든 턴마다 반복해서 다시 읽히므로, 비용은 넣는 순간이 아니라 넣은 뒤 계속 불어난다. 결론은 하나다. 횟수가 많은 작업이 아니라 한 번의 반환값이 큰 작업이 토큰을 잡아먹는다.

1인기업 실전 적용 포인트

• 파일을 통째로 읽히지 말 것. 먼저 grep으로 필요한 행 번호를 찾게 하고 그 주변만 읽히면 1회 1만 자짜리 읽기가 수백 자로 줄어든다. 전문 읽기는 구조 파악용 최초 1회면 충분하다.
• 스크린샷을 습관처럼 찍지 말 것. 화면 상태 확인이 목적이면 텍스트로 얻을 수 있는 방법을 먼저 쓰고, 이미지가 정말 필요한 장면에만 아껴 쓴다.
• 웹페이지는 전문 수집 대신 필요한 값만 추출시킬 것. 같은 브라우저 작업이라도 전문은 평균 3만 4천 자, 값만 뽑으면 504자로 67배 차이가 났다.
• 반대로 셸 명령 횟수는 아껴도 티가 안 난다. 967회에 3.7%였으니, 절약 노력은 '큰 덩어리' 세 곳에 집중하는 편이 낫다.

전망 / 주의점

원저자도 한계를 분명히 적었다. 이 32개 세션은 시장조사 위주라 브라우저 작업 비중이 높았고, 코딩 위주 사용이라면 파일 읽기가 1위일 수 있다. 캐시 읽기는 일반 입력보다 단가가 싸서 토큰 비율이 곧 금액 비율은 아니며, 주간 한도 산정식은 비공개라 비율대로 한도가 깎인다고 단정할 수도 없다. 그래도 로그 위치와 집계 방법이 공개돼 있으니, 자기 사용 패턴의 1위 범인을 직접 재 보는 것이 이 분석의 가장 실용적인 활용법이다.

출처: HN (https://note.com/roten/n/nac8aef48851f)