메타 자체 벤치마크에서도 1위는 클로드였다

메타(Meta)가 첫 코딩 에이전트 뮤즈 코드(Muse Code)를 내놓으며 함께 공개한 벤치마크 차트 세 장을 뜯어본 분석이 나왔다. 결론은 다소 뜻밖이다. 세 차트 모두 1위는 클로드 오퍼스 5(Claude Opus 5)였고, 그중 하나는 메타가 직접 설계하고 사내에서 돌린 벤치마크였다.

무슨 일인가 / 배경

출시 몇 시간 만에 업계 반응은 "클로드 코드 킬러"와 "별것 없다"로 갈렸다. 문제는 양쪽 판정이 모두 차트를 열어 보기 전에 나왔다는 점이다. 실제 숫자는 그 두 극단 사이에 있고, 1인기업 입장에서 유용한 정보도 그 사이에 있다.

뮤즈 코드는 맥오에스와 리눅스에서 도는 터미널 전용 에이전트로 현재 베타다. 설치는 한 줄 명령이고, 클로드 코드나 코덱스(Codex)와 달리 데스크톱 앱이 없다. 바탕 모델인 뮤즈 스파크 1.2(Muse Spark 1.2)는 에이전트와 따로 만들어 나중에 감싼 것이 아니라 함께 훈련됐고, 전 저장소 규모 생성 같은 장기 작업을 학습했다. 이전 버전인 스파크 1.1이 어려운 코딩 환경을 만들어 1.2가 그 위에서 배우는 순환 구조도 쓰였다.

핵심 짚어보기

숫자를 보자. 실제 작업 방식에 가장 가까운 터미널벤치 2.1에서는 클로드 코드(오퍼스 5)가 86.7%로 1위, 뮤즈 코드가 82.9%로 2위, 코덱스(GPT 5.6 테라)가 81.8%로 3위였다. 선두와의 격차는 3.8포인트다. 출시 당일 베타로 코덱스를 앞선 것은 그 자체로 실질적인 성과다.

장기 작업 능력을 보는 딥SWE 1.1에서는 그림이 달라진다. 클로드 코드 65.0%, 코덱스 64.8%가 사실상 동률로 앞서고 뮤즈 코드는 59.3%로 3위다. 격차가 5.7포인트로 벌어진다. 호라이즌이 길어질수록 뮤즈 코드가 뒤처진다는 뜻이며, 밤새 도는 작업을 맡길지 결정할 때 바로 이 차이가 갈림길이 된다.

가장 인상적인 것은 메타 내부 코딩 벤치마크다. 메타가 설계하고 직접 돌린 평가에서 클로드 오퍼스 5가 79.4%, 뮤즈 스파크 1.2가 70.6%로 8.8포인트 차이가 났다. 자사 출시 발표문에 자기가 지는 차트를 자발적으로 실은 것이다. 분석은 여기에 별표 세 개를 붙였다. 첫째, 비교 대상이 오픈AI(OpenAI)의 플래그십 솔이 아니라 중간 등급인 테라였다. 해커뉴스에서 몇 분 만에 지적이 나왔고, 메타 자체 GPU 커널 사례에서는 솔이 더 앞서는 것으로 보인다는 언급도 있었다. 둘째, 이 점수들은 모델만의 점수가 아니라 에이전트와 모델을 합친 점수다. 오퍼스 5는 클로드 코드 안에서, 테라는 코덱스 안에서, 스파크 1.2는 뮤즈 코드 안에서 측정됐다. 셋째, 1.1에서 1.2로의 상승분 일부도 하네스 교체 효과다. 스파크 1.1은 의도적으로 최소한으로 만든 하네스에서 76.2%로 측정됐다.

구조 쪽에서 눈에 남는 설계도 있다. 뮤즈 코드는 작업마다 서브에이전트를 새로 만들고 버리는 대신 백그라운드 에이전트를 세션 내내 살려 문맥을 축적한다. 큰 작업은 각각 독립된 깃 워크트리에서 도는 병렬 서브에이전트로 쪼개 서로 덮어쓰지 못하게 한다. 모든 모델 호출과 도구 실행, 승인, 편집은 로컬 이벤트 로그로 디스크에 기록되어 중단된 세션을 그 지점부터 재개할 수 있다. 기본 스킬은 승인을 전제로 계획을 세우는 것, 그 계획을 몰아붙여 검증하는 것, 목표 달성까지 돌리는 것 세 가지다.

1인기업 실전 적용 포인트

• 순위표를 도구와 모델의 묶음으로 읽는다 — 같은 모델이라도 하네스가 다르면 점수가 달라진다. 도구 선택은 벤치마크 1위가 아니라 내 실제 작업 20건을 두 도구에 돌려 실패율을 비교하는 방식으로 정한다.
• 작업 길이로 도구를 나눈다 — 20분짜리 수정과 밤새 도는 배치는 서로 다른 벤치마크가 예측한다. 야간 무인 작업에는 장기 작업 점수가 높은 도구를 쓰고, 짧고 반복적인 작업은 저렴한 쪽에 맡긴다.
• 이벤트 로그와 작업 트리 격리를 내 자동화에 이식한다 — 크론으로 도는 스크립트도 모든 호출을 파일에 남기면 중단 지점부터 재시작할 수 있다. 병렬 작업은 별도 워크트리나 별도 디렉터리에서 돌려 파일 충돌을 원천 차단한다.
• 계획을 계획으로 검증하는 2단 구조를 흉내 낸다 — 도구가 없어도 프롬프트로 된다. 먼저 계획을 세우게 하고, 같은 모델에 그 계획이 실패하는 시나리오 세 가지를 짚게 한 뒤 실행에 들어가면 헛수고가 줄어든다.

전망 / 주의점

벤치마크는 비교군을 고르는 쪽에 유리하게 기울고, 베타 점수는 정식 버전에서 바뀐다. 데스크톱 앱이 없는 터미널 전용이라는 제약도 감수 대상이다. 그럼에도 실용적 결론은 분명하다. 성능 1위 자리가 바뀌지 않는 동안, 성능 대비 가격에서 선택지가 늘고 있다. 분석은 뮤즈 코드가 코덱스를 앞선 성적을 대략 4분의 1 수준의 토큰 가격에 냈다고 봤다. 1위 경쟁이 아니라 2위 경쟁의 이야기지만, 도구비를 매달 내는 입장에서는 2위 경쟁이 더 실질적인 뉴스다. 지는 차트를 스스로 공개한 태도 역시, 비교를 아예 돌리지 않는 발표보다는 신뢰할 만하다.

출처: codus 블로그 (https://trycodus.com/blog/muse-code-vs-claude-code-benchmarks)