넉 달 만에 오푸스 넘은 GPT-5.6, 실전 교체기

넉 달 동안 어떤 모델도 클로드 오푸스(Claude Opus)를 넘지 못했다. 마케팅 웹사이트를 직접 만들어 주는 AI 에이전트 서비스 플로이(Ploy)가 자사 프로덕션 에이전트의 기본 모델을 오픈AI가 그날 아침 공개한 GPT-5.6 솔(GPT-5.6 Sol)로 전면 교체했다. 같은 작업을 절반 이하 시간에, 27% 저렴하게 끝내면서 품질 점수는 오히려 앞섰다는 것이 교체의 명분이었다.

무슨 일인가 / 배경

플로이의 에이전트는 페이지를 기획하고 코드베이스를 읽고 컴포넌트를 작성하고 이미지를 생성한 뒤, 자기 결과물을 스크린샷으로 확인하고 완료 시점까지 스스로 판단한다. 이 까다로운 잣대 위에서 넉 달간 기본 모델 자리는 오푸스 4.7에서 4.8로 이어졌고, 테스트한 어떤 프런티어 모델도 그 자리를 빼앗지 못했다. GPT-5.6이 처음으로 넘어섰다. 버셀(Vercel) AI SDK라는 범용 SDK를 쓰는데도 교체는 한 번에 끝나지 않았다. 하네스→도구 스키마→캐싱→추론 리플레이를 실패 사례 하나씩 짚어 가며 고쳐야 했다.

핵심 짚어보기

완성 빌드 평균 성적표부터 보자. 오푸스 4.8은 빌드당 3.06달러·8분·시각 점수 0.936, GPT-5.6은 2.22달러·3분 42초·0.970이었다. 2.2배 빠르고 27% 싸며 출력 토큰은 절반 수준. GPT-5.6은 코드도 간결하게 썼다. 오푸스가 174개 CSS 변수로 17,957자짜리 globals.css를 뽑을 때, GPT-5.6은 45개 변수·2,508자로 비슷하거나 더 나은 렌더 결과를 냈다.

하지만 함정이 있었다. 에이전트의 코드 도구에는 상위 파라미터가 25개인데, 클로드는 쓰는 2~3개만 보내는 반면 GPT-5.6은 매번 25개를 전부 보내며 안 쓰는 값까지 그럴듯하게 지어냈다. offset은 0, timeout은 120000, siteId는 전부 0으로 채우는 식이다. 3일치 트레이스에서 code(read) 호출 6,635건이 100% 전 항목을 실어 보냈다. 첫 교차 평가 실패의 약 3분의 1도 모델이 아니라, 오푸스에 맞춰 둔 하네스 가정 탓이었다.

1인기업 실전 적용 포인트

• 모델을 갈아탈 땐 점수부터 믿지 말고 실패 트레이스를 먼저 뜯어봐라. 실패의 3분의 1이 모델이 아니라 기존 모델에 맞춘 하네스 탓일 수 있다.
• 도구 스키마의 선택 파라미터에는 서버 쪽에서 기본값과 검증을 걸어라. GPT-5.6처럼 안 쓰는 필드까지 채워 보내는 모델이 있으면 결과가 조용히 오염된다.
• 평가셋의 임계값(minScore)을 명시하라. 기본값 1.0이 숨어 있으면 0.98을 받고도 '실패'로 찍힌다.
• 비용·속도 절감폭이 크면(여기선 27%·2.2배) 마이그레이션 공수를 들일 가치가 있다. 단, 디자인이 밋밋해지는 등 모델 성향은 프롬프트로 잡아야 한다.

전망 / 주의점

GPT-5.6은 깔끔하고 격자가 잡힌 레이아웃에 강하지만, 잘 유도하지 않으면 일반적이고 획일적인 결과로 수렴하는 경향이 있다. 기존 디자인 시스템을 무시하기도 한다. 결국 프런티어 모델 교체는 우리가 '모델'이라 뭉뚱그린 것들이 실은 제공사별 동작(도구 인자 채우는 방식·캐시·추론 리플레이)임을 확인하는 과정이었다.

출처: Ploy (https://ploy.ai/blog/migrating-a-production-ai-agent-to-gpt-5-6)