시스메틱 데일리코딩 못해도 AI로 자동화 시스템 만드는 법
모델 출시

오푸스 4.8 vs 제미나이 3.5, 실무 승자는

벤치마크 4종 맞대결에서 제미나이가 형식 준수로 근소하게 앞섰다.

앤트로픽의 클로드 오푸스 4.8(Claude Opus 4.8)과 구글의 제미나이 3.5 플래시(Gemini 3.5 Flash)가 실무형 과제 4종에서 맞붙었다. IT 매체 런타임와이어(RuntimeWire)가 6월 24일 공개한 비교에서 총점 제미나이 35.4점, 오푸스 34.8점으로 제미나이가 근소하게 앞섰다. 채점은 별도 모델인 gpt-5.4가 맡았고, 두 모델이 미리 대비하지 못하도록 그 자리에서 즉석 생성한 과제를 썼다.

무슨 일인가

평가 과제는 네 가지였다. 로그 한 줄에서 이메일·IP·인증 토큰을 가리는 파이썬 함수 작성, 차분하고 책임감 있는 톤의 사내 공지 작성, 회의록 요약과 JSON 추출, 그리고 어지러운 주문 데이터를 JSON으로 정규화하기였다. 제미나이가 이 중 세 과제를 가져갔는데, 승부를 가른 건 화려함이 아니라 '지시를 얼마나 깔끔하게 지켰는가'였다. 작은 형식 오류와 느슨한 패턴 매칭이 실제 운영에서 좋은 출력물을 성가신 출력물로 만든다는 게 매체의 관점이다.

핵심 짚어보기

가장 뚜렷한 제미나이의 승리는 주문 데이터 JSON 변환이었다. 두 모델 모두 데이터를 정확히 정규화·정렬했지만, 오푸스는 'JSON만 출력하라'는 명시적 지시에도 결과를 마크다운 코드펜스로 감쌌다. 이는 명백한 지시 위반이고, 이런 사소한 형식 오류가 후속 파싱을 통째로 망가뜨린다. 로그 마스킹 과제에서도 제미나이는 단어 경계(word boundary)를 활용한 정규식으로 더 안전하게 토큰을 처리했다.

반대로 오푸스가 확실히 이긴 영역은 회의록 요약이었다. 오푸스는 두 가지 핵심 리스크를 모두 잡아냈고, 담당자·마감 정보까지 챙겼으며, 언급된 수치 항목을 더 풍부하게 정리했다. 완성도와 종합력이 보상받는 과제에서는 오푸스가 여전히 강하다는 평가다. 결론적으로 매체는 형식 준수·톤 조절·세부 처리의 신뢰성에서 앞선 제미나이를 '에디터의 선택'으로 꼽았다.

1인기업 실전 적용 포인트

  • 데이터 파이프라인·자동화처럼 출력 형식이 깨지면 안 되는 작업에는 형식 준수가 강한 모델을 우선 검토하라. 코드펜스 한 줄이 후속 자동 처리를 통째로 멈춰 세운다.
  • 보고서·회의록 요약처럼 누락 없는 종합이 중요한 작업에는 오푸스 계열의 완성도가 유리하다. 작업 성격에 따라 모델을 갈라 쓰는 게 실속 있다.
  • 모델을 고를 때 남의 종합 점수만 보지 말고, 내 실제 업무와 닮은 과제 3~4개로 직접 짧게 맞대결을 시켜 보라. 채점은 또 다른 모델에 맡기면 빠르다.
  • 프롬프트에 "JSON만, 설명 금지", "110~140단어"처럼 검증 가능한 제약을 명시하면 모델 간 형식 편차를 크게 줄일 수 있다.

전망 / 주의점

이번 결과는 단 4개 과제의 즉석 평가이므로 일반화는 금물이다. 0.6점 차이는 다른 과제 묶음에서 얼마든지 뒤집힐 수 있고, 채점 모델의 취향도 변수다. 다만 '더 똑똑한 모델'보다 '내 지시를 곧이곧대로 지키는 모델'이 실무 자동화에서 더 값지다는 교훈은 1인기업에 그대로 유효하다.

출처: RuntimeWire (https://runtimewire.com/article/head-to-head-anthropic-claude-opus-4-8-vs-google-gemini-3-5-flash)
← 전체 기사 보기