AI 4종이 채점한 AI 도구 순위, '테스티드'

'AI 도구 추천 순위'는 대개 돈으로 산 자리다. 테스티드(Tested)는 사람 대신 AI 4종을 심사위원으로 세워 292개 도구를 채점하고, 그 숫자를 전부 공개한다.

무슨 일인가

해커뉴스(Hacker News)에 공개된 테스티드는 앤트로픽(Anthropic)·오픈AI(OpenAI)·제미나이(Gemini)·그록(Grok) 네 개 모델을 '독립 심사 패널'로 삼아 AI 도구를 평가하는 서비스다. 운영진의 문제의식은 분명하다. 시중의 '베스트 AI 도구' 목록 상당수가 유료 광고 자리이며, 순위가 예산순으로 매겨진다는 것이다. 테스티드는 모든 도구를 같은 패널로 채점하고 모든 점수를 그대로 게시한다. 슬로건은 '순위는 도구의 실력이지 예산이 아니다'이다.

핵심 짚어보기

현재 292개 도구가 자동화·챗봇·코딩·이미지·영상·음성·SEO 등 카테고리별로 등록돼 있다. 각 도구는 네 모델의 개별 점수와 종합 점수를 함께 보여준다. 예컨대 음성 합성 도구 일레븐랩스(ElevenLabs)는 종합 9.3점인데, 같은 도구라도 제미나이는 9.8점, 오픈AI는 8.5점으로 모델마다 평가가 갈렸다. 코딩 분야에서는 깃허브 코파일럿(GitHub Copilot)과 커서(Cursor)가, 챗봇 분야에서는 챗지피티(ChatGPT)와 클로드(Claude)가 상위권에 올랐다. 한 모델이 아니라 여러 모델의 점수를 나란히 보여주기 때문에, 특정 AI의 편향에 휘둘리지 않고 교차 검증할 수 있다는 점이 차별점이다. 평가는 모델이 도구를 실제로 사용해보는 '에이전트 테스트' 방식이라, 마케팅 문구가 아니라 동작 결과에 점수가 매겨진다. 각 도구의 무료 요금제 유무와 시작 가격(월 5달러, 20달러 등)도 함께 표기돼, 1인기업이 비용 대비 효용을 한눈에 가늠하도록 돕는다.

1인기업 실전 적용 포인트

• 새 도구를 결제하기 전 교차 점수부터 확인하라. 한 모델만 높게 준 도구는 의심하고, 네 모델 점수가 고르게 높은 도구를 우선 검토하면 헛돈 쓸 확률이 줄어든다.
• 카테고리별 1~3위를 후보로 좁힌 뒤 무료 체험으로 직접 검증하라. 점수는 출발점일 뿐 내 업무 적합도는 직접 써봐야 안다.
• 점수 격차가 큰 도구(예: 모델별 1점 이상 차이)는 '용도를 탄다'는 신호다. 내 실제 사용 시나리오와 가장 가까운 심사 모델의 점수를 더 신뢰하라.
• 콘텐츠·마케팅용이라면 '쓰기/SEO' 카테고리를, 자동화 파이프라인용이라면 '자동화' 카테고리를 우선 보라. 도구 탐색 시간을 크게 줄여준다.

전망 / 주의점

AI가 AI 도구를 채점한다는 구조 자체가 한계이기도 하다. 심사 모델의 편향이 점수에 그대로 스며들 수 있고, 실제 사용성·가격·고객지원 같은 정성 요소는 숫자로 다 담기지 않는다. 그럼에도 '광고가 아닌 공개된 숫자'라는 방향은 도구 과잉 시대에 유용한 참고점이다. 또 점수는 평가 시점의 스냅숏일 뿐이어서, AI 도구처럼 업데이트가 잦은 분야에서는 순위가 금세 바뀔 수 있다는 점도 감안해야 한다. 최종 결정은 결국 무료 체험과 내 데이터로 내려야 한다.

출처: Tested (https://trytested.com)