14MB 초소형 에이전트 모델 '니들 2' 공개

온디바이스 AI의 무게 기준을 다시 쓰는 모델이 나왔다. 캑터스 컴퓨트(Cactus Compute)가 공개한 니들 2(Needle 2)는 파라미터 4,500만 개짜리 오픈 모델인데, 모델 전체가 14MB 바이너리 하나에 담기고 세션 실행에 램 28MB면 충분하다. 채팅용 범용 모델이 아니라 도구 호출(툴 콜링)·기기 제어·구조화 데이터 추출에 특화된 에이전트형 모델이다.

무슨 일인가

니들 2는 아파치(Apache) 2.0 라이선스로 공개됐고 가중치는 허깅페이스(Hugging Face)에 올라와 있다. 성능 수치가 흥미롭다. 라즈베리 파이(Raspberry Pi) 5에서 초당 500토큰 이상을 생성하고, 메타 퀘스트 3S나 애플 비전 프로 같은 VR 기기에서는 초당 400~1,500토큰, 20만 원대 보급형 스마트폰(삼성 A시리즈급)에서도 300~700토큰을 낸다. 최신 마이크로컨트롤러(ESP32-S3)에서도 돌아간다. 모바일 기기 제어 벤치마크에서는 펑션젬마(FunctionGemma) 270M, 애플 파운데이션 모델 같은 경쟁 소형 모델과 이기고 지기를 주고받는데, 크기는 이들의 5분의 1에서 70분의 1에 불과하다.

핵심 짚어보기

비결은 문제를 좁게 정의한 데 있다. 조명을 켜거나 문서에서 필드를 뽑는 일은 세상 지식이 필요 없고, 기기가 이미 노출한 함수 목록에 사용자의 말을 매핑하는 문제로 환원된다. 그래서 45M 파라미터로 충분하다는 게 캑터스의 설계 논리다. 스키마에서 컴파일한 문법이 토큰 생성 자체를 제약해 출력 형식을 보장하고, 모든 응답에 신뢰도 점수를 붙여 자신 없는 요청은 빈 호출로 거절한다. 애매한 요청만 클라우드의 큰 모델로 넘기는 에지-클라우드 협업 구조다. 2비트 양자화도 사후 압축이 아니라 사전학습 단계부터 2비트 조건으로 훈련한 모델을 그대로 배포하는 방식이라 품질 손실을 피했다. 이미 스마트워치의 원조 격인 페블(Pebble)이 화면 없는 반지형 기기의 음성 명령 처리에 니들을 오프라인으로 쓰고 있다.

1인기업 실전 적용 포인트

• 서버비 0원 분류기: 감성 분류, 이메일 필드 추출, 문서 정형화 같은 단순 반복 작업은 프런티어 모델 API 대신 이런 초소형 모델을 라즈베리 파이나 유휴 PC에 올려 무료·오프라인으로 처리하는 선택지가 생겼다.
• 제품에 심는 AI: 하드웨어·앱 사이드 프로젝트라면 14MB 바이너리 하나로 네트워크 없이 도는 음성 명령·자동화 기능을 넣을 수 있다. 의존성 없는 C++ 단일 파일이라 설치 과정 자체가 없다.
• 내 도구 어휘로 파인튜닝: 45M 규모면 일반 PC에서 몇 분~몇 시간이면 재훈련된다. 내 서비스의 함수 이름과 파라미터에 맞춘 전용 모델을 만들 수 있다.
• 브라우저 데모 먼저: 공식 플레이그라운드가 웹어셈블리로 브라우저에서 바로 돌아가니, 시간을 들이기 전에 내 사용례 프롬프트로 한계부터 확인하는 게 순서다.

전망 / 주의점

니들 2는 범용 챗봇이 아니다. 열린 질문에 답하거나 긴 글을 쓰는 용도로는 쓸 수 없고, 함수 호출과 구조화 추출이라는 좁은 과녁 안에서만 강하다. 다만 그 과녁이 실무 자동화의 상당 부분과 겹친다는 게 핵심이다. 에지 기기 다섯 중 넷이 200달러 미만이라는 캑터스의 계산이 맞다면, 작고 좁은 모델이 큰 모델의 API 호출량을 잠식하는 흐름은 이제 시작으로 보인다.

출처: Cactus Compute (https://cactuscompute.com/needle)