런칭 뒤 바뀐 차트, AI 모델 비용을 다시 본다

AI 모델을 고를 때 공급사가 내놓은 성능 그래프를 얼마나 믿어야 할까. 최근 이 물음을 던지는 사건이 있었다. 한 개발자가 앤트로픽(Anthropic)이 소네트 5(Sonnet 5) 출시 글에 실었던 비용·성능 차트를, 출시 이후에 더 유리한 버전으로 바꿔 넣었다고 지적한 것이다. 1인기업처럼 구독료·토큰 비용에 민감한 이용자에게 "어떤 모델이 값어치를 하는가"는 곧 손익 문제라, 이 논쟁은 단순 가십 이상으로 짚어볼 만하다.

무슨 일인가

지적한 이에 따르면, 앤트로픽이 브라우즈컴프(BrowseComp)라는 항목으로 그린 첫 차트는 소네트 5가 상위 모델 오푸스 4.8(Opus 4.8)에 뒤처지는 모습이었고 비용 축이 약 10달러선에서 끝났다. 교체된 차트는 축이 50달러까지 늘어나고 곡선도 넓어져, 돈을 충분히 쓰면 소네트 5가 오푸스 수준에 근접할 수 있다는 인상을 준다. 앤트로픽은 변경 이력에서 "첫 차트는 표준 에이전트 검색 방식을 적용하지 않아 소네트 5를 과소평가했고, 새 차트는 1,000만 토큰 예산·압축·프로그래매틱 도구 호출을 쓰는 시스템 카드 설정을 따랐다"고 설명했다.

핵심 짚어보기

방법론이 실제로 더 정확해졌을 수는 있다. 다만 비판의 초점은 결과가 아니라 절차다. 소네트 5는 단순한 신모델이 아니라 클로드 코드(Claude Code)의 새 기본 모델로 제시됐고, 비용 대비 성능이 곧 그 근거였다. 그 근거가 되는 그래프가 사람들이 이미 본 뒤에 조용히 교체되면서, '증거가 사후에 손질됐다'는 인상을 남긴 것이 문제다. 지적한 이는 "옛 그래프·새 그래프·양쪽 데이터표·방법론 차이·수정 시각을 함께 공개했다면 깔끔했을 것"이라고 짚었다. 실제로 같은 시기 개발자 커뮤니티에서는 소네트 5의 실제 실행 비용이 만만치 않고 클로드 코드가 이전보다 크게 비싸졌다는 불만이 함께 번지고 있었다. 앤트로픽 측 해명이 사실이라도, 이용자에게 남는 인상은 별개라는 지적이다.

1인기업 실전 적용 포인트

• 모델 선택을 공급사 차트에만 기대지 말자. 토큰 단가만 보지 말고 "내 대표 작업 한 건을 끝내는 데 드는 실제 총비용"을 직접 재보는 게 안전하다.
• 같은 일을 저가·고가 모델에 각각 시켜 결과 품질과 실행 비용을 나란히 비교하는 자체 벤치마크를 한 번 만들어두면, 이후 모델이 바뀔 때마다 재활용할 수 있다.
• 이 프로젝트도 카피 생성엔 구독형 클로드 CLI(요금 0원 경로)를, 코드·분류엔 저가·로컬 모델을 쓰듯 작업별로 모델을 나눠 비용을 관리하고 있다. 용도별 분리는 실전에서 유효하다.
• 벤치마크 수치는 예산·도구 설정·채점 방식 같은 숨은 선택에 따라 달라진다는 점을 전제로, 광고성 그래프는 참고자료로만 다루자.

전망 / 주의점

모델 경쟁이 치열해질수록 벤치마크를 둘러싼 신뢰 문제는 반복될 가능성이 크다. 여기 언급된 내용은 한 개발자의 관찰과 문제 제기이며 앤트로픽은 방법론 개선이라고 해명한 만큼, 어느 한쪽을 단정하기보다 "내 워크플로에서 직접 검증한다"는 태도가 가장 현실적인 방어책이다.

출처: Hacker News (https://www.vincentschmalbach.com/anthropic-changed-sonnet-5-chart-after-it-made-sonnet-look-bad/)