30초 캐시 핑, API 요금 8배 낭비하고 있다

AI 에이전트 운영비를 아끼려고 30초마다 프롬프트 캐시를 '핑'으로 데워 두는 업계 관행이 오히려 돈을 8배 낭비하고 있다는 실측 결과가 나왔다. 개발자 맥심 카일로(Maxim Khailo)가 7월 21일 앤트로픽(Anthropic)·오픈AI(OpenAI)·제미나이(Gemini)·딥시크(DeepSeek) 4개 업체를 상대로 캐시 유지 전략의 경제성을 직접 측정해 공개했다.

무슨 일인가 — 캐시 keepalive란

프롬프트 캐시는 API 요금의 숨은 할인 창구다. 방금 처리한 것과 같은 앞부분(프리픽스)을 다시 보내면 입력 요금의 약 10분의 1만 내고 응답 대기 시간도 크게 줄어든다. 문제는 이 캐시가 몇 분 만에 만료된다는 것, 그리고 에이전트가 하필 최악의 사용자라는 것이다. 에이전트는 요청을 보낸 뒤 빌드나 테스트를 돌리거나 사람의 승인을 기다리며 10분씩 쉬는데, 그 사이 캐시가 죽어 다음 요청은 전액을 다시 낸다. 그래서 대기 중에 같은 프리픽스를 주기적으로 재전송해 만료 시계를 되감는 'keepalive'가 관행이 됐고, 그 주기는 관성적으로 30초였다.

핵심 짚어보기 — 실측이 가른 세 가지 유형

측정 결과 업체별 캐시 성격이 완전히 달랐다. 앤트로픽은 '절벽형'으로, 방치하면 5분까지는 캐시가 살아 있지만 10분에는 48회 시도 전부 죽었다. 대신 keepalive를 걸면 전량 유지된다. 딥시크는 '누수형'으로, 어느 간격에서든 조금씩 새고 keepalive조차 라우팅 문제로 약 20%는 빗나가 비용 절감보다 지연 개선용에 가깝다. 오픈AI와 구글은 '점착형'으로, 10분을 방치해도 캐시가 대부분 살아남아 keepalive가 사실상 낭비였다.

계산도 명쾌하다. 핑 1회 비용은 입력가의 약 10%이므로, 최적 간격은 만료 시간(TTL) 직전까지 최대한 벌리는 것이다. 앤트로픽의 5분 TTL 기준 약 4분이 정답이며, 30초 관행은 같은 효과에 8배를 내는 셈이다. 손익분기점도 있다. 저자 계산으로 휴지 시간이 앤트로픽 약 46분, 오픈AI·딥시크 약 36분, 구글 약 12분을 넘으면 핑을 계속 쏘는 쪽이 오히려 손해라, 그때는 캐시를 죽게 두고 복귀 시 재계산 비용을 한 번 내는 게 싸다. 10만 토큰 프리픽스 예시로는 핑 1회 0.03달러, 콜드 재시작 0.38달러 — 10분 휴지라면 핑 2번(0.06달러)으로 6배 이득이지만, 1시간 휴지라면 핑 15번(0.45달러)이 재시작보다 비싸진다.

1인기업 실전 적용 포인트

• 30초 핑 코드가 있다면 오늘 4분으로 바꾼다: 코드 한 줄(간격 상수) 수정으로 keepalive 비용이 8분의 1이 된다.
• 업체부터 확인한다: 앤트로픽 API 중심 스택이면 4분 keepalive가 실제로 돈을 벌어 주지만, 오픈AI·제미나이 중심이면 keepalive 자체를 빼는 것을 검토할 만하다. 실측상 10분 휴지에도 캐시가 대부분 살아 있었다.
• '끊는 타이머'를 함께 단다: 사람 승인 대기 등으로 휴지가 길어지면(앤트로픽 기준 약 46분) 핑을 자동 중단하는 로직을 넣는다. 영원히 오지 않을 재개를 위해 보험료만 내는 상황을 막는다.
• 자기 손익선을 계산한다: 저자가 공식을 공개했으므로 자신의 프리픽스 크기·요금표를 대입하면 내 워크로드의 분기점이 몇 분인지 바로 나온다.

전망과 주의점

이 수치는 특정 시점의 실측값이라 업체가 TTL 정책이나 캐시 요금을 바꾸면 손익선도 함께 움직인다. 그러나 "keepalive는 켜고 끄는 스위치가 아니라 업체별·간격별로 계산할 경제 문제"라는 결론 자체는 오래 유효하다. 에이전트를 상시 돌리는 1인 운영자일수록 이 계산 한 번이 매달 나가는 API 청구서를 바꾼다.

출처: HN (https://blog.mempko.com/keeping-the-kv-cache-warm-measuring-prompt-cache-eviction-across-anthropic-openai-and-google/)