에이전트 토큰 낭비 잡는 코드 기억

AI 코딩 에이전트가 세션마다 저장소를 처음부터 다시 읽는 낭비를 줄이겠다는 도구가 나왔다. 라이브러리(lybrary)는 저장소를 구문 트리 단위로 색인해 두고, 에이전트가 파일을 일일이 열지 않고 질의만으로 필요한 코드를 받아가게 한다. 설치는 파이썬 패키지 한 줄로 끝난다.

무슨 일인가

에이전트가 인증 로직을 고쳐 달라는 요청을 받으면 대개 이런 순서를 밟는다. 관련 단어를 검색하고, 후보 파일 네댓 개를 차례로 읽고, 그제야 코드를 쓰기 시작한다. 개발자 설명에 따르면 한 줄도 작성하기 전에 4,000토큰이 사라지는 셈이며, 큰 저장소에서는 이 과정이 한 세션에 수십 번 반복된다.

라이브러리는 그 자리를 질의 한 번으로 대체한다. 같은 요청에서 관련 코드 덩어리 세 개를 180토큰으로 받아온다는 것이 개발자가 제시한 비교다. 큰 저장소 기준으로 토큰 사용량을 80~90% 줄일 수 있다고 주장한다.

핵심 짚어보기

핵심은 쪼개는 방식이다. 일정 글자 수로 자르는 흔한 방법 대신 트리시터(tree-sitter) 파서로 실제 구문 트리를 읽어 함수·클래스·메서드·인터페이스 경계에서 나눈다. 함수가 중간에서 잘려 반쪽짜리 코드가 검색되는 일을 막겠다는 것이다. 클래스는 클래스 전체가 하나의 덩어리가 되고, 그 안의 메서드도 각각 독립된 덩어리로 함께 등록된다.

색인은 백그라운드 데몬이 관리한다. 터미널을 닫아도 계속 떠 있으면서 파일 변경을 감시하고 바뀐 부분만 다시 색인한다. 검색은 벡터 방식이며 토큰 예산에 맞춰 결과를 담아 준다.

연결은 MCP(Model Context Protocol) 서버 방식이라 커서(Cursor)·클로드 데스크톱(Claude Desktop)·윈드서프(Windsurf)·키로(Kiro) 같은 도구에 설정 몇 줄로 붙는다. 에이전트에게는 의미 검색, 데몬 상태 조회, 재색인 세 가지 도구가 열린다. 검색 결과에는 원본 코드와 파일 경로, 줄 번호가 함께 따라온다. 지원 언어는 파이썬·자바스크립트·타입스크립트·TSX·고·러스트·자바·C·C++ 아홉 가지다.

눈에 띄는 대목은 전부 로컬에서 돌아간다는 점이다. 클라우드도 API 키도 없이 임베딩 계산까지 내 컴퓨터에서 끝난다. 파이토치(PyTorch) 같은 무거운 의존성이나 별도 컴파일도 필요 없고, 파이썬 3.11부터 3.14까지 지원한다.

1인기업 실전 적용 포인트

• 정액 요금제의 사용 한도가 유난히 빨리 닳는다면, 원인이 모델 성능이 아니라 같은 파일을 반복해 읽는 습관일 수 있다. 색인을 붙여 보고 한도 소진 속도를 비교해 보라.
• 코드를 외부로 보내기 곤란한 용역·수탁 프로젝트에 특히 맞는다. 임베딩이 로컬에서 계산되므로 소스가 밖으로 나가지 않는다.
• 에이전트 지침 파일에 파일을 읽기 전에 메모리를 먼저 조회하라는 규칙을 명시해야 실제 절감이 생긴다. 도구만 붙여 놓으면 에이전트는 습관대로 파일부터 읽는다.
• 효과가 나는 대상은 수천 줄 이상 쌓인 저장소다. 파일 몇 개짜리 프로젝트라면 색인을 유지하는 비용이 더 크다.

전망과 주의점

에이전트용 코드 메모리는 지금 가장 붐비는 경쟁 영역 중 하나다. 편집기 내장 검색, 상용 컨텍스트 서비스, 오픈소스 MCP 서버가 같은 문제를 서로 다른 각도에서 판다.

다만 이 프로젝트는 공개 저장소 기준 커밋이 한 건에 그치는 초기 단계다. 제시된 절감 수치는 모두 개발자 자체 주장이며 제3자 검증은 아직 없다. 실제 저장소에 붙여 한도 소진 속도를 직접 재보는 선에서 시작하고, 핵심 업무 흐름에 못 박기 전에 데몬의 안정성부터 확인하는 편이 좋다.

출처: 라이브러리(lybrary) 깃허브 저장소 (https://github.com/vibhu-dixit/lybrary)