에이전트 스킬, 신뢰도를 점수로 잰다

AI 에이전트가 같은 작업을 어제는 잘하고 오늘은 실패한다면, 그 ‘스킬’을 믿고 업무에 맡길 수 있을까. 오픈소스 도구 캘리퍼(Caliper)는 스킬을 여러 번 반복 실행해 ‘pass@k’ 점수로 신뢰도를 측정한다. 개발자 에도나데이(edonadei)가 깃허브에 공개했으며, 스킬이 맨몸의 베이스 에이전트보다 실제로 나은지를 숫자로 증명하는 데 초점을 맞췄다.

무슨 일인가

에이전트 스킬은 모델 업데이트 한 번, 프롬프트 한 줄 수정만으로 어제 되던 동작이 오늘 깨지기 쉽다. ‘내 컴퓨터에서, 이 프롬프트로, 오늘은’ 잘 돌던 스킬이 내일 무너지는 식이다. 캘리퍼는 “성공이 무엇인지 정의 → 반복 실행 → 추적 가능한 점수”라는 흐름으로 이 불안정성을 정량화한다. 클로드 코드(Claude Code)·코덱스(Codex)·파이(Pi)처럼 이미 쓰는 에이전트와 그대로 연동되며, 별도 런타임을 강요하지 않는다.

핵심 짚어보기

핵심은 두 가지 비교다. 스킬을 켰을 때와 껐을 때(베이스라인)의 pass@k 격차를 나란히 보여준다. 공개된 예시 출력에서는 스킬 적용 98% 대 미적용 55%, 격차 +43%로 표시된다. 작업은 .eval.yaml 파일에 정상 경로(happy path)·예외 상황(edge case)·악의적 입력(adversarial) 세 갈래로 정의한다. 판정 방식도 둘이다. 하나는 대화록을 읽고 판단하는 LLM 자동 채점, 다른 하나는 파이썬 단정문으로 결과 파일을 직접 검사하는 결정적 방식이다. 예컨대 “/tmp/app.config.json의 port 값이 8080인지”를 코드로 assert해 통과 여부를 가른다. 도입 과정은 명령 몇 줄로 끝난다. /grill-skill이 SKILL.md를 읽고 사용자를 인터뷰해 3종 태스크 스펙을 자동 작성하고, /evaluate-skill run --k 3 --baseline으로 반복 실행한 뒤 list·report로 지난 기록과 비교한다.

1인기업 실전 적용 포인트

• 내가 만든 자동화 스킬이 “진짜 일을 하는지, 베이스 에이전트만으로도 됐을지”를 --baseline 옵션으로 증명 — 군더더기 프롬프트를 걷어낼 객관적 근거
• 프롬프트를 손보기 전후의 pass@k를 비교해, 어제 되던 게 깨지는 ‘회귀’를 자동으로 감시하라
• 정상·예외·악의 세 태스크만 정의하면 npx skills@latest add edonadei/caliper로 즉시 도입(파이썬은 3.10 이상 필요)
• 클로드 코드·코덱스·파이 중 어느 에이전트가 내 스킬을 더 안정적으로 돌리는지 수치로 비교해 갈아탈 근거 확보

전망 / 주의점

LLM 심판 방식은 판정 자체가 흔들릴 수 있어, 가능하면 파이썬 단정문 같은 결정적 검증을 섞는 편이 안전하다. 또한 pass@k는 정의한 태스크 범위 안에서의 신뢰도일 뿐, 태스크를 잘못 잡으면 점수도 헛돈다. 그럼에도 스킬을 ‘감’이 아니라 ‘숫자’로 관리하는 흐름은, 품질을 검증할 별도 인력이 없는 1인 운영에서 특히 값지다.

출처: GitHub (https://github.com/edonadei/caliper)