프롬프트 절반 잘라도 성능은 그대로였다

시스템 프롬프트를 절반으로 줄이면 작은 모델은 무너질 것이라는 통념이 실험에서 빗나갔다. 성능은 사실상 그대로였고 입력 토큰만 줄었다. 새 모델로 갈아탈 때 제일 먼저 할 일이 프롬프트 추가가 아니라 삭제일 수 있다는 이야기다.

무슨 일인가 / 배경

앤트로픽(Anthropic)이 최신 모델용으로 클로드 코드(Claude Code)의 시스템 프롬프트를 약 80% 걷어냈다는 사실이 알려지면서, 같은 처방이 저가·소형 모델에도 통하는지가 관심사가 됐다. 모델이 똑똑해질수록 지시와 예시가 덜 필요하다는 설명은 직관적이다. 하지만 그 근거가 최상위 모델 데이터라면 아래 체급에서는 반대로 작용할 수도 있다. 작고 빠르고 싼 모델이야말로 상세한 손잡이가 필요하다는 게 상식이었다.

안티그마(Antigma)는 자사 에이전트 앤티(Ante)에 짧은 프롬프트 모드를 붙여 이를 직접 시험했다. 시스템 프롬프트를 약 5.0k자에서 2.3k자로 통합하고 도구 설명을 줄여, 요청당 전체 프롬프트를 약 3만4000자에서 1만8000자로 낮췄다. 결과는 7월 25일 공개됐다.

핵심 짚어보기

시험 대상은 터미널벤치 2.1(terminal-bench 2.1)의 89개 과제 전체이고, 모델은 소형 계열인 딥시크 V4 플래시(DeepSeek V4 Flash)를 썼다. 에이전트 빌드, 데이터셋 버전, 샌드박스 환경, 노력 수준까지 고정하고 오직 명령행 플래그 하나만 다르게 둔 대조 실험이다.

결과는 사실상 동률이다. 평균 보상은 긴 프롬프트 0.573, 짧은 프롬프트 0.596이었고 통과 과제는 51개 대 53개, 에이전트 오류는 양쪽 다 11건이었다. 실행 비용은 4.25달러에서 4.18달러로 거의 변화가 없었다. 저자는 과제당 한 번씩만 시도한 실험이라 2.3포인트 차이는 잡음 범위이며 정직한 해석은 차이 없음이라고 못 박았다.

눈에 띄는 항목은 토큰이다. 결과가 뒤바뀐 20개 과제를 뺀 69개에서 입력 토큰 중앙값은 50만9498에서 34만6409로 32% 낮았다. 다만 89개 전체 합계로 보면 거의 평평했는데, 입력 사용량을 지배하는 것은 시스템 프롬프트가 아니라 누적된 대화 이력이기 때문이다. 두 실행이 모두 푼 과제에서 단계 수는 911에서 886으로 오히려 줄었다.

1인기업 실전 적용 포인트

• 새 모델로 갈아탈 때 첫 작업은 프롬프트 추가가 아니라 삭제여야 한다. 두 세대 전 모델의 실수를 막으려고 붙인 문장이 남아 매 요청마다 돈을 쓰고 있을 가능성이 크다.
• 지우는 대상은 일반적인 절차 지시다. 과제에 필요한 맥락과 사실 데이터는 성격이 다르므로 함께 걷어내면 안 된다.
• 프롬프트를 고칠 때는 조건 하나만 바꾸는 A/B로 검증하라. 모델과 설정을 동시에 바꾸면 무엇이 효과였는지 영영 알 수 없다.
• 비용을 줄이고 싶다면 시스템 프롬프트보다 대화 이력에 손을 대라. 요약·압축·세션 분리가 청구서에 훨씬 크게 나타난다.

전망 / 주의점

저자 스스로 한계를 명시했다. 모델 하나, 벤치마크 하나, 과제당 한 번 시도한 결과이며 32%라는 절감치도 선별된 부분집합에서 나온 값이다. ±5포인트 수준의 잡음 아래 작은 성능 저하가 숨어 있을 수 있어 기본값을 바꾸기 전에는 여러 번 시도해 검증해야 한다는 것이다. 그럼에도 방향은 분명하다. 프롬프트는 자산이 아니라 유지비이며, 아무도 지우지 않으면 조용히 쌓인다.

출처: 해커뉴스 (https://antigma.ai/blog/2026/07/25/short-prompt-small-models)