토큰 새는 곳 짚어주는 에이전트 블랙박스

AI 코딩 에이전트의 마지막 요약은 늘 그럴듯하지만, 정작 '어디서 토큰이 샜는지'는 보이지 않는다. 에이전트 블랙박스(Agent-Blackbox)는 클로드 코드(Claude Code)와 오픈코드(OpenCode)의 실행을 로컬에 기록해, 세션 지도와 컨텍스트 효율 점수로 그 낭비 지점을 짚어 준다. 국내 개발자가 만들어 긱뉴스(GeekNews)에 공개했다.

무슨 일인가

만든 이는 AI에게 '이 작업에 토큰을 얼마나 쓸 것 같냐'고 물어도 실제 비용과의 상관관계가 0.39에 불과하다는 연구를 출발점으로 삼았다. 클로드 코드를 오래 돌릴수록 마지막 요약만으로는 어떤 파일을 읽었고 어떤 명령이 실패했으며 어디서 토큰을 많이 썼는지 따라가기 어렵다는 문제가 현실로 다가왔기 때문이다. 에이전트 블랙박스는 요약을 파싱하는 대신 실제 이벤트를 기록한다. 파일 읽기·수정, bash 실행과 종료 코드, 검색, 권한 요청, 서브에이전트 위임, 스킬 사용, 토큰 사용 흐름, 실패 후 재시도까지 남긴다.

핵심 짚어보기

설치 없이 npx 한 줄로 실행되고, API 키도 필요 없다. 클로드 코드는 별도 설치 없이 ~/.claude/projects의 기록을 읽어들이고, 오픈코드는 전역 플러그인으로 이벤트를 받는다. 진짜 가치는 컨텍스트 효율 분석에 있다. 같은 파일을 반복해 다시 읽거나, 수정량에 비해 너무 많은 파일을 읽거나, 실패한 명령을 원인 수정 없이 반복하거나, 프롬프트 캐시 활용이 낮은 지점을 문제 파일·명령 단위로 콕 집어 준다. 만든 이가 같은 작업을 다시 돌린 한 사례에서는 토큰 사용량이 939k에서 521k로 줄고 효율 점수가 80에서 99로 올랐다. 발견한 낭비를 AGENTS.md나 CLAUDE.md에 관리 블록으로 적어, 다음 실행이 같은 실수를 덜 반복하게 할 수도 있다. 만든 이는 특히 여러 에이전트를 동시에 굴리는 멀티 에이전트 하네스에서, 누가 어떤 파일을 만졌고 어디서 반복이 생겼는지 눈으로 확인하기 좋다고 설명했다.

1인기업 실전 적용 포인트

• 토큰 과금이 부담되는 1인 개발자라면, 긴 작업을 한 번 돌린 뒤 블랙박스로 '반복 읽기'와 '낮은 캐시 활용' 구간부터 점검해 비용을 줄여라.
• 여러 에이전트를 엮는 멀티 에이전트 하네스에서 누가 어떤 파일을 만졌는지 추적이 어렵다면, 세션 지도로 작업 흐름을 눈으로 확인하라.
• 발견한 낭비 패턴을 CLAUDE.md에 규칙으로 적어 두면, 같은 실수를 줄이는 자기 개선 루프를 비용 없이 만들 수 있다.

전망 / 주의점

개발자 본인도 밝혔듯 939k에서 521k 같은 수치는 반복 검증된 벤치마크가 아니라 한 사례의 관측값이다. 절감 폭은 작업 성격에 따라 크게 달라질 수 있다. 다만 '실제 실행에서 관측된 낭비를 다음 루프에 반영한다'는 접근 자체는, 토큰이 곧 비용인 1인기업에게 분명한 방향을 제시한다. 무료·로컬·무설치라는 점에서 한번 붙여 볼 진입 장벽이 낮다.

출처: 긱뉴스(GeekNews) (https://news.hada.io/topic?id=30719)