내 MCP 서버에도 분석 도구가 붙기 시작했다

웹사이트에 방문자 분석 도구를 붙이듯, 이제는 AI 에이전트가 드나드는 서버에 분석 도구를 붙이는 서비스가 등장했다. 아머추어(Armature)는 MCP 서버와 클로드 커넥터(Claude Connector), 챗지피티 앱(ChatGPT App) 백엔드에서 벌어지는 사용자 세션을 캡처해 무엇을 요청했고 에이전트가 어떻게 처리했는지 보여 준다고 밝혔다. 사용자가 에이전트에게 일을 맡기는 순간 그 세션은 클로드나 챗지피티 안에서 벌어지고, 서비스 제공자의 화면에는 아무것도 남지 않는다는 문제의식이다.

무슨 일인가

제품을 만들어 파는 쪽에서 보면 이 변화는 계기판이 꺼지는 것과 같다. 기존에는 사용자가 웹 화면을 클릭했으므로 어떤 버튼에서 이탈했는지 추적할 수 있었다. 그러나 도구를 MCP로 노출하는 순간 사용자는 화면 대신 에이전트에게 말하고, 제공자에게는 흩어진 도구 호출 로그만 남는다. 무엇을 하려던 요청이었는지, 어디에서 실패했는지가 로그 사이로 사라진다.

아머추어는 그 흩어진 호출을 하나의 세션으로 다시 꿰맨다. 사용자 의도와 에이전트의 판단 과정, 도구 호출 순서를 시간 축에 복원하고 세션마다 요청이 실제로 해결됐는지 점수를 매긴다. 예시로 제시된 화면에서는 결제 플랜 설정과 청구서 발송 요청이 청구 담당자 정보 누락으로 한 번 실패했다가 재시도로 성공한 흐름이 그대로 재생된다.

핵심 짚어보기

분석의 초점은 개별 오류가 아니라 묶음이다. 모델이 모든 세션을 읽어 사용자가 하려던 일을 유스케이스별로 묶고 건수와 성공률로 순위를 매기며, 아직 지원하지 않는 요청까지 목록에 올린다. 대량 환불 기능이 없는데도 전체 요청의 14퍼센트가 그것을 시도했다는 식의 수치가 나오는 구조다. 실패 쪽도 마찬가지로 반복 루프와 막다른 길을 근본 원인별로 묶어 몇 명이 겪었는지로 정렬한다. 주목할 점은 모든 API 응답이 정상 코드로 돌아온 상황에서도 실패로 잡아낸다는 설명이다. 서버는 정상인데 에이전트가 목적을 달성하지 못하는 구간이 실제로 존재하기 때문이다.

도입 절차는 API 키를 발급받아 배포 비밀 값에 넣고, 코딩 에이전트에게 SDK 연결을 시키고, 배포하면 끝나는 3단계로 소개된다. 기존 MCP 서버를 바꿀 필요는 없고 SDK가 감싸는 방식이라고 한다. 클로드와 챗지피티는 물론 커서, 코덱스, 제미나이 CLI(Gemini CLI) 등 서버에 도달할 수 있는 클라이언트면 세션을 수집한다. 세션에 개인정보와 비밀 키가 섞이는 위험은 탐지 모델이 저장 전에 가려내는 방식으로 처리한다고 밝혔다. 가격은 월 1,000세션까지 무료이며 이후 1,000세션당 50달러, 무료 구간에도 프로젝트와 사용자 수 제한은 없고 보관 기간은 7일이다.

1인기업 실전 적용 포인트

• MCP 서버를 상품으로 팔 계획이 있다면 출시 전에 세션 로그 구조부터 설계하라. 요청 의도와 도구 호출, 최종 성공 여부를 한 줄로 묶어 남기지 않으면 나중에 어떤 분석 도구를 붙여도 복원되지 않는다.
• 미지원 요청 통계는 그 자체로 제품 로드맵이다. 사용자가 시도했지만 도구가 없어 실패한 요청 상위 3건을 매달 세어 다음 기능의 우선순위로 삼는 방식은 자체 로그로도 흉내 낼 수 있다.
• 무료 구간이 월 1,000세션이라는 점은 개인 서비스에서는 사실상 전량 수집이 가능하다는 뜻이다. 다만 보관 7일이므로 주간 요약을 따로 내려받아 쌓는 절차를 자동화해 둔다.
• 개인정보 마스킹은 도구에 맡기기 전에 자기 서버에서 먼저 처리한다. 이름과 연락처, 주문 정보가 세션 텍스트에 실려 외부로 나가는 경로를 스스로 차단하는 편이 국내 규제 환경에서 안전하다.

전망과 주의점

이 서비스가 대상으로 삼는 시장 자체가 아직 초기다. 회사도 기존 웹 분석 도구와의 차이를 사람의 클릭이 아니라 에이전트 세션이라는 점으로, 개발자용 관측 도구와의 차이를 자기가 만든 에이전트가 아니라 사용자가 데려온 에이전트라는 점으로 설명한다. 에이전트가 소비자와 서비스 사이의 새로운 채널이 된다면, 그 채널의 이탈률과 성공률을 재는 도구는 결국 필수가 된다. 반대로 세션 데이터에 민감정보가 실려 나가는 구조라는 점은 도입 판단에서 가장 무겁게 따져야 할 항목이다.

출처: Armature 공식 사이트 (https://armature.tech/)