AI가 태운 토큰, 청구서처럼 뜯어본다

코딩 에이전트가 20분 동안 무엇을 했는지 알 수 없다는 불만을 정면으로 겨냥한 도구가 나왔다. 에이전트엑스레이(agentxray)는 클로드 코드(Claude Code)가 남기는 세션 기록 파일을 읽어 어떤 도구가 몇 번 실행됐고, 어디서 실패했으며, 어느 지점에서 같은 작업을 반복했고, 비용이 얼마나 들었는지 보여 주는 오픈소스다. 명령줄 도구와 MCP 서버 두 방식으로 동작하며 MIT 라이선스로 공개됐다.

무슨 일인가

개발자가 제시한 사례가 문제를 압축해 보여 준다. 8시간짜리 실제 작업 세션 하나에서 도구 호출은 809회였는데, 그중 3분의 1가량이 실패이거나 같은 호출의 반복이었다. 특정 도구 하나는 72번 호출돼 22번 실패했다. 작업이 오래 걸린 이유가 과제가 어려워서가 아니라, 에이전트가 같은 자리에서 헛돌았기 때문이라는 사실이 기록에는 남아 있지만 사람 눈에는 보이지 않았던 셈이다.

실제 출력 예시도 구체적이다. 어떤 세션은 이벤트 1375건, 어시스턴트 응답 830회, 출력 토큰 99만 9728개, 캐시 읽기 1억 4209만여 개, 캐시 적중률 99.9퍼센트, 추정 비용 92.44달러로 요약됐다. 도구별로는 배시(Bash) 114회 호출 중 15회 오류, 편집 57회가 잡혔고, 10분 안에 같은 테스트 명령이 8번, 같은 파일 편집이 13번 반복된 구간이 경고로 표시됐다.

핵심 짚어보기

사용법은 단순하다. 세션 기록 파일을 지정해 통계 명령을 실행하면 토큰·비용·도구별 집계와 반복 징후가 나오고, 타임라인 명령은 모든 메시지와 도구 호출을 순서대로 펼친다. 리포트 명령은 이 모든 내용을 서버도 네트워크도 필요 없는 단일 HTML 파일 하나로 만들어 준다.

더 흥미로운 것은 MCP 서버 모드다. 설정 파일에 등록해 두면 에이전트 자신이 세션 분석, 낭비 탐지, 리포트 생성 세 가지 기능을 호출할 수 있다. 사람이 나중에 분석하는 대신, 작업 중인 에이전트에게 지금 이 세션에서 얼마나 낭비했는지 직접 물어볼 수 있다는 뜻이다. 개발자는 실제 세션 56개, 도구 호출 2992회, 프로젝트 9개, 20일치 데이터로 벤치마크를 돌렸고 같은 검증을 각자 기기에서 재현할 수 있게 명령을 공개했다.

1인기업 실전 적용 포인트

• 이번 주 가장 오래 걸린 작업 세션 하나만 골라 통계를 돌려 보자. 반복 호출 경고 구간이 곧 프롬프트를 고쳐야 할 지점이다. 같은 테스트를 8번 돌렸다면 지시가 모호했거나 실패 조건을 알려 주지 않은 것이다.
• 실패율이 높은 도구는 과감히 뺀다. 72번 중 22번 실패하는 도구를 붙여 두면 그 실패 응답이 매번 컨텍스트를 채우고 비용으로 청구된다.
• 외주나 협업 상황에서는 리포트 HTML을 작업 증빙으로 첨부할 수 있다. 무엇을 얼마나 시도했는지 한 장으로 보여 주는 자료는 견적과 정산 대화를 훨씬 짧게 만든다.
• 정액 구독을 쓰더라도 측정은 의미가 있다. 비용이 정액이면 낭비는 돈이 아니라 시간과 사용량 한도로 청구된다.

전망 / 주의점

주의할 점은 두 가지다. 우선 저장소는 커밋 17개 규모의 초기 프로젝트로, 실무에 깊이 엮기 전에 검증이 필요하다. 또 세션 기록에는 작업 중 다룬 코드와 경로, 경우에 따라 민감한 값까지 포함될 수 있다. 리포트 파일이 네트워크를 쓰지 않는 단일 HTML이라는 점은 안심 요소지만, 그 파일을 어디에 공유하는지는 별개의 문제다.

큰 흐름에서 보면 이 도구는 에이전트 운영이 다음 단계로 넘어가고 있음을 보여 준다. 브라우저 개발자 도구가 웹 페이지의 내부를 열어 보였듯, 이제 에이전트의 작업 과정을 뜯어보는 계측 도구가 필요해진 것이다.

출처: 해커뉴스 경유 — 깃허브 mertdotdev/agentxray (https://github.com/mertdotdev/agentxray)