PR 보안 리뷰 벤치마크, GPT-5.6 1위

어떤 AI 모델로 풀리퀘스트(PR) 보안 리뷰를 돌려야 하는지에 대한 비교 데이터가 나왔다. 보안 스타트업 댐시큐어(Dam Secure)는 7월 11일, 10개 모델에 동일한 PR 10건을 각 5회씩 검사시킨 벤치마크 결과를 공개했다. 각 PR에는 IDOR, 인증 누락, 권한 검증 오류 같은 접근제어 취약점이 하나씩 심어져 있었다. 1위는 출시 사흘 된 GPT-5.6 솔(Sol)로, 심어진 취약점을 100% 찾아내며 F1 0.91, PR당 비용 0.70달러를 기록했다.

배경 — 왜 PR 리뷰인가

PR 단위 보안 점검은 실무에서 가장 흔한 자동화 워크로드 중 하나다. 댐시큐어는 벤치마크 오염을 피하려고 오픈소스 저장소를 변형한 비공개 합성 저장소와 실제 CVE를 역재현한 코드를 사용했다고 밝혔다. 자사 스캐너만이 아니라 파이단틱(Pydantic) 하네스, 클로드 코드(Claude Code) 하네스에서도 유사한 결과가 나왔다고 덧붙였다.

핵심 짚어보기 — 비용·품질 프런티어

결과의 핵심은 가격 대비 품질 곡선이다. GPT-5.6 솔이 최상단을 차지했고, 그록(Grok) 4.5는 PR당 0.20달러에 F1 0.77, 제미나이(Gemini) 3.1 플래시 라이트는 단돈 0.04달러에 F1 0.75로 저가 구간을 지켰다. 반면 앤트로픽(Anthropic) 모델은 비용·품질 프런티어에 하나도 오르지 못했다. 최상위 모델인 페이블(Fable) 5는 F1 0.85로 준수했지만 PR당 약 3.61달러로 테스트 전체에서 가장 비쌌다. 다만 저자들은 중요한 단서를 달았다. 이 벤치마크는 'PR에 새로 추가된 코드'만 보는 시나리오이며, 기존 코드베이스 전체를 훑는 풀 스캔에서는 페이블이 강하다는 것이다. 풀 스캔 벤치마크는 별도로 공개할 예정이고, 그때는 순위가 달라질 수 있다고 했다.

1인기업 실전 적용 포인트

• 작업별로 모델을 갈아 끼워라. PR 단위 보안 점검이라면 건당 수십~수백 원짜리 저가 모델로도 F1 0.75 이상이 나온다는 것이 이번 데이터의 요점이다.
• CI 파이프라인에 'PR 보안 리뷰' 단계를 추가하는 비용이 PR당 0.04~0.70달러 수준이라면, 1인 개발자도 상시 운영을 검토할 만하다.
• '가장 좋은 모델이 모든 일에 가장 좋다'는 가정을 버려라. 워크로드가 다르면 순위가 뒤집힌다는 것이 이번 결과와 풀 스캔 단서가 함께 보여주는 교훈이다.
• 이 테스트는 접근제어 버그 한 계열에 한정됐다. 자기 코드에서 자주 나는 버그 유형으로 소규모 자체 비교를 돌려본 뒤 결정하는 것이 안전하다.

전망 / 주의점

댐시큐어는 보안 스캐너를 파는 회사이므로 자체 벤치마크라는 이해관계는 감안해야 한다. 100% 리콜이 나오면서 저자들 스스로 더 어려운 취약점을 추가해야겠다고 인정한 만큼, 문제 난이도가 오르면 구도가 달라질 수 있다. 모델 교체 주기가 몇 주 단위로 빨라진 지금, 벤치마크는 정답이 아니라 계속 갱신해야 할 스냅숏이다.

출처: Dam Secure 블로그 (https://docs.damsecure.ai/blog/pr-review-security-benchmark/)