장애 조사 AI, SQL보다 전용 도구가 정확했다

클릭하우스(ClickHouse)가 SRE(사이트 신뢰성 엔지니어링) 에이전트용으로 만든 클릭스택(ClickStack) MCP(Model Context Protocol) 서버의 평가 방법을 상세히 공개했다. 결론은 명확하다. AI 에이전트에게 데이터베이스 접근 권한을 통째로 열어주는 것보다, 목적에 맞게 설계된 고수준 도구를 쥐여주는 쪽이 더 정확하고, 더 싸고, 더 일관적이었다.

무슨 일인가

클릭하우스는 지난달 샌프란시스코 행사에서 클릭스택 MCP 서버를 소개하며 일반 SQL 인터페이스 대비 근본원인·해결책 정확도 18% 향상, 도구 호출 26% 감소, 실행 간 일관성 2.4배라는 수치를 발표했다. 이 수치를 어떻게 측정했느냐는 질문이 이어지자, 이번 글에서 측정 과정 전체를 공개한 것이다. 비교 대상인 클릭하우스 MCP는 에이전트가 SQL을 직접 짜서 조사하는 방식이다. 유연하지만 스키마 파악, 쿼리 작성, 다단계 조사 설계를 모두 모델이 스스로 해야 한다. 반면 클릭스택 MCP는 반복 이벤트 패턴 찾기, 시간 구간 비교, 이상치 식별, 로그와 트레이스 사이 이동 같은 의미 단위의 도구를 제공한다.

핵심 짚어보기 — 벤치마크를 '만드는 법'이 진짜 내용

평가 프레임워크 hdx-evals는 수천만 건의 합성 로그와 스팬을 결정론적으로 심어 매 실행이 동일한 데이터에서 출발하게 한다. 그 안에 진짜 장애 하나와, 진짜처럼 보이도록 시점과 문구를 맞춘 교란용 부차 문제들을 함께 묻는다. 처음 눈에 띈 에러에 달려드는 에이전트는 실패하고, 데이터를 따라 추론하는 에이전트만 통과하도록 설계됐다. 공개 데이터셋 대신 완전 합성 데이터를 쓴 이유도 흥미롭다. 유명 장애 사례는 이미 모델 학습 데이터에 들어 있어, 조사가 아니라 '기억'으로 정답을 맞힐 수 있기 때문이다. 부수 효과로, 새 모델이 나올 때마다 같은 시나리오를 돌려 프로덕션 투입 여부를 판단할 수 있게 됐다. 프레임워크는 하이퍼DX(HyperDX) 저장소에 오픈소스로 공개돼 있다.

1인기업 실전 적용 포인트

• 내부 자동화 에이전트를 만들 때 'DB 접속 권한 주고 알아서 하게' 대신, 자주 하는 질문 5~10개를 함수(도구)로 감싸서 제공하자. 이번 실험이 그 효과를 수치로 보여준다. 도구 호출 26% 절감은 곧 API 비용 절감이다.
• 에이전트 답변이 실행할 때마다 달라져 고생한다면 원인은 모델이 아니라 도구 설계일 가능성이 크다. 일관성 2.4배 차이는 도구 계층에서 나왔다.
• 내 에이전트를 위한 미니 평가셋을 만들자. 정답을 아는 시나리오 10개에 교란 요소를 심어두면, 프롬프트나 모델을 바꿀 때마다 품질 퇴행을 잡아낼 수 있다.
• 모델 교체 판단도 감이 아니라 동일 시나리오 재실행으로 하자. hdx-evals가 그 실물 예시다.

전망 / 주의점

이번 수치는 클릭하우스의 자체 벤치마크이고, 관측성(옵저버빌리티)이라는 특정 도메인의 결과라는 점은 감안해야 한다. 다만 '범용 접근권 대신 목적 설계 도구', '평가 체계 없이는 개선도 없다'는 두 원칙은 도메인을 가리지 않는다. MCP 서버가 쏟아지는 지금, 차별화는 도구의 개수가 아니라 추상화 수준과 검증 체계에서 갈릴 전망이다.

출처: ClickHouse Blog (https://clickhouse.com/blog/benchmarking-the-clickstack-mcp-server-with-hdx-evals)