요청마다 최적 모델 고르는 오픈소스 'AI 라우터'

매 요청마다 가장 알맞은 인공지능 모델을 자동으로 골라주는 오픈소스 도구 '라우터(Router)'가 공개됐다. 클로드 코드(Claude Code)·코덱스(Codex)·커서(Cursor) 같은 도구나 직접 만든 앱을 이 프록시에 연결하면, 질문의 성격에 맞춰 비싼 모델과 싼 모델을 알아서 갈아 끼운다.

무슨 일인가

라우터는 앤트로픽(Anthropic)·오픈AI(OpenAI)·구글 제미나이(Gemini)의 API를 모두 받아주는 '드롭인 프록시'다. 핵심은 모델 선택 방식이다. 두루뭉술한 프롬프트 규칙이 아니라 기기 내부에서 도는 작은 임베더(embedder)가 요청을 분석해 매 턴 적절한 모델을 고른다. 제작사는 이 도구가 라우터아레나(RouterArena) 리더보드에서 정확도·비용 종합 점수 76.09로 1위를 기록했다고 밝혔다. 앤트로픽 메시지·오픈AI 챗 컴플리션·제미나이 네이티브 형식을 모두 지원하고, 스트리밍·도구 호출·비전까지 받는다. 딥시크(DeepSeek)·큐원(Qwen)·라마(Llama) 같은 오픈소스 모델도 오픈라우터(OpenRouter)를 통해 끌어 쓸 수 있다.

핵심 짚어보기

이 도구가 푸는 문제는 'AI 비용 낭비'다. 간단한 질문에 최고가 모델을 쓰면 돈이 새고, 복잡한 작업에 저가 모델을 쓰면 품질이 떨어진다. 라우터는 요청마다 난이도를 가늠해 쉬운 일은 싼 모델, 어려운 일은 비싼 모델로 자동 분배함으로써 품질을 지키면서 비용을 누른다. API 키는 사용자 기기에 암호화돼 머무는 BYOK(키 직접 보유) 방식이라, 키를 외부 서비스에 넘기지 않아도 된다. 설치도 'npx @workweave/router' 한 줄로 끝난다(노드 18 이상 필요). 자체 서버에 통째로 올려 운영하는 것도 지원한다.

1인기업 실전 적용 포인트

• API 종량제로 AI를 쓰는 1인 개발자라면, 라우터를 붙여 단순 요약·분류는 저가 모델로 흘려보내 월 청구액을 직접 깎을 수 있다.
• 클로드·코덱스·커서를 오가며 쓰던 사람이라면, 엔드포인트 하나로 통합해 여러 제공사를 한 번에 다룰 수 있다.
• OTLP 추적을 지원하므로 어떤 요청이 어떤 모델로, 얼마에 처리됐는지 대시보드로 확인해 비용이 새는 지점을 찾을 수 있다.
• 키가 기기 밖으로 나가지 않는 BYOK 구조라, 고객 데이터를 다루는 1인기업도 비교적 안심하고 도입을 검토할 수 있다.

전망 / 주의점

모델이 많아질수록 '어떤 모델을 언제 쓸까'는 점점 까다로운 문제가 된다. 라우터처럼 선택을 자동화하는 계층은 앞으로 AI 비용 관리의 표준 장비가 될 가능성이 크다. 다만 라우팅 판단이 틀리면 중요한 작업에 약한 모델이 배정될 수 있으니, 초기에는 결과 품질을 모니터링하며 라우팅 규칙을 다듬는 과정이 필요하다. 자체 호스팅에는 포스트그레스(PostgreSQL) 등 추가 인프라 비용도 든다.

출처: GitHub (https://github.com/workweave/router)