모델 4종에 색연필을 쥐여준 실험

빈 캔버스와 색연필 도구 한 벌을 주고 모나리자를 그려보라고 하면 최신 AI 모델들은 어떻게 움직일까. AI 도구 매체 트라이AI(TryAI)가 그 실험을 실제로 돌렸다. 결과에서 정작 눈길을 끈 것은 그림의 완성도가 아니었다. 같은 도구를 쥐여줬는데 모델마다 쓰는 방식과 드는 비용이 스무 배 넘게 갈렸다는 점이다.

무슨 일인가

7월 21일 공개된 이 실험에서 트라이AI는 드로잉 아레나라는 실험장을 만들었다. 모델에게 흰 페이지와 색연필 도구를 주고 손을 뗀다. 모델은 색과 심 굵기, 필압을 정하고 획을 묶음으로 그린 뒤, 문지르기로 색을 섞고 지우며, 자기 그림을 다시 보는 명령을 호출해 무엇을 고칠지 스스로 판단한다.

참가 모델은 네 종이다. GPT-5.6 솔(Sol), 클로드 페이블 5(Claude Fable 5), 그록 4.5(Grok 4.5), 제미나이 3.6 플래시(Gemini 3.6 Flash). 과제는 모나리자와 별이 빛나는 밤을 따라 그리는 두 건(구조적 유사도 SSIM으로 채점)과 채점 없는 자유 프롬프트 다섯 건, 모델당 일곱 장씩 총 28장이다. 실험 하네스는 오픈소스로 공개돼 있어 누구나 자기 이미지로 돌려볼 수 있다.

매체는 이것이 모델 능력의 객관적 평가가 아니라고 분명히 못 박았다. 의도적으로 느슨하고 모호한 과제이며, 벤치마크 숫자보다 모델이 열린 문제를 어떻게 다루는지 보기 위한 장치라는 설명이다.

핵심 짚어보기

일곱 장 평균·합계로 정리된 숫자가 이 실험의 진짜 결과물이다.

GPT-5.6 솔은 평균 29단계, 6.2분, 총 340만 토큰에 추정 비용 7.74달러로 가장 아꼈다. 클로드 페이블 5는 평균 54단계, 12.5분, 1460만 토큰에 160.58달러가 들었다. 그록 4.5는 평균 99단계로 가장 많이 움직여 3400만 토큰을 소모하고도 비용은 9.21달러에 그쳤다. 제미나이 3.6 플래시는 73단계, 6.9분, 2770만 토큰에 12.87달러였다.

토큰을 열 배 가까이 더 쓴 그록이 비용은 페이블의 17분의 1에 그쳤다는 대목이 이 표의 핵심이다. 토큰 수와 지출은 비례하지 않는다. 단가가 다르기 때문이다. 자기 자동화의 비용을 토큰 수로만 관리하던 사람이라면 다시 볼 지점이다.

습관의 차이도 뚜렷했다. 자기 그림을 다시 확인하는 자기검토 횟수는 제미나이 3.6 플래시가 평균 22.6회로 가장 많았고, 페이블 5가 15.6회, GPT-5.6 솔이 6.0회, 그록 4.5는 4.3회에 그쳤다. 도구를 쓰는 방식도 갈렸다. GPT-5.6 솔은 색·굵기·필압 설정 명령을 단 한 번도 따로 호출하지 않고 그리기 명령 안에 인라인으로 지정해 호출 수를 줄였다.

매체의 평가에 따르면 그록 4.5는 이 기본적인 과제에서 거칠었고, 오픈웨이트 모델들은 아예 쓸 만한 수준이 아니어서 일부는 빈 캔버스를 그대로 반환했다. 페이블 5는 이전 뮤직비디오 과제에서는 GPT-5.6을 앞섰지만 이번에는 훨씬 오래 걸리고 훨씬 비싸면서 결과도 더 나빴다는 것이 필자들의 판단이다. 과제가 바뀌면 순위도 바뀐다는 사실이 같은 매체의 연속 실험으로 확인된 셈이다.

1인기업 실전 적용 포인트

• 모델을 한 번 고르고 고정하지 말자. 이 실험이 보여준 건 과제 유형에 따라 우열이 뒤집힌다는 점이다. 자기 업무를 세 종류(코드·글쓰기·분류)로 나눠 각각 짧은 비교를 돌리는 편이 벤치마크 순위표보다 정확하다.
• 비용은 토큰 수가 아니라 실제 청구액으로 관리하자. 같은 과제에서 토큰을 열 배 쓰고도 비용이 17분의 1인 경우가 실제로 나온다.
• 도구 설계가 비용을 만든다. 설정을 별도 호출로 빼면 호출 수가 불어난다. 자체 에이전트를 만들 때는 한 번의 호출에 여러 파라미터를 묶어 넘기는 형태로 도구를 정의하는 편이 유리하다.
• 오래 도는 작업일수록 사전에 상한을 걸어두자. 자기검토를 스무 번 넘게 도는 모델도 있다. 단계 수 제한이 없으면 요금은 조용히 불어난다.

전망 / 주의점

다시 강조하면 이 실험은 재미와 관찰을 위한 것이지 성능 평가가 아니다. 색연필로 그림을 잘 그리는 능력이 업무 자동화 성능과 직결되지도 않는다. 매체 스스로 저렴한 오픈웨이트 모델이 실행 작업 상당 부분에서 최상위 모델을 충분히 대체한다고 인정하고 있다.

그럼에도 이런 실험이 유용한 이유는 벤치마크 점수 한 줄로는 보이지 않는 것을 드러내기 때문이다. 긴 작업이 실제로 얼마나 걸리고 얼마가 드는지, 모델이 자기 결과물을 몇 번이나 되돌아보는지 같은 것들이다. 모델 선택의 기준을 점수에서 「내 작업에서의 시간과 비용」으로 옮기는 것이 1인기업에게는 훨씬 실질적이다.

출처: TryAI (https://www.tryai.dev/blog/ai-drawing-arena-colored-pencils-claude-gpt-grok)