에이전트는 메모보다 대화로 학습했다

클로드 코드(Claude Code)에게 업무 과제를 계속 던지며 스스로 나아지라고 시킨 실험 결과가 공개됐다. 연구자 앤드루 제슨(Andrew Jesson)이 8월 6일 발표한 내용으로, 처음 보는 과제에 대한 성공률이 34퍼센트에서 48퍼센트로 올랐다. 흥미로운 대목은 개선의 출처다. 에이전트가 부지런히 써 내려간 메모리 파일은 성능에 측정 가능한 기여를 하지 않았고, 개선은 대화 기록에서 나왔다.

무슨 일인가 / 배경

실험 설정은 단순하다. 스프레드시트·고객관리 기록·이메일·티켓에서 업무 과제를 뽑아주는 모의 서버를 붙이고, 에이전트에게 과제를 하나씩 받아 처리하고 제출하기를 스스로 반복하라고 지시했다. 외부에서 루프를 돌려주는 장치는 없었고, 모델은 오퍼스 5(Opus 5)를 최고 사고 강도로 썼다.

에이전트에게는 메모리 저장, 코드 작성·실행, 하위 에이전트 생성, 웹 검색이라는 선택지가 모두 열려 있었다. 그런데 실제로 한 일은 한쪽으로 쏠렸다. 과제 수행 중 발생한 84건의 쓰기·편집이 전부 메모리 파일에 대한 것이었고, 코드를 짜거나 하위 에이전트를 부르거나 검색한 적은 한 번도 없었다.

핵심 짚어보기

에이전트가 만든 메모는 그 자체로 꽤 정교했다. 색인 파일에 등록된 노트들이 서로를 참조해 방향성 있는 지식 그래프를 이뤘고, 참조가 하나도 깨지지 않았다. 쓰지도 않은 노트를 가리키거나, 다른 노트가 인용 중인 파일을 지우는 일이 없었다. 노트마다 이름·한 줄 설명·유형이 머리말에 붙었고 최소 한 건의 사례와 받은 점수를 요약했다. 33개는 피드백 유형으로 적용 방법을 담았고 그중 24개는 이유까지 적었다. 아홉 개는 두세 개 사례를 묶어 정리했다. 누구도 이렇게 하라고 시키지 않았다.

그런데 이 성실한 결과물의 효용을 따로 재보니 이야기가 달라졌다. 검증은 새 세션에 각각 다른 것을 쥐여주는 방식으로 진행됐다. 아무것도 없이 시작한 경우, 대화가 압축될 때 남긴 요약만 준 경우, 대화 전체를 준 경우, 그리고 대화에서 메모리만 뺀 경우와 사고 내용만 뺀 경우다. 원본 실행이 본 적 없는 과제 120개를 과제마다 별도 세션으로 돌려 하나씩 비교했다.

결과는 이렇다. 맨손으로 시작한 세션은 120개 중 41개를 풀었고 평균 29.8턴, 0.86달러가 들었다. 대화를 준 세션은 메모리를 빼든 사고 내용을 빼든 유의미한 개선을 보였다. 반면 메모리 파일만 단독으로 준 경우는 유일하게 개선이라 부를 수 있는 구간을 넘지 못했다. 그리고 압축 요약만으로도 개선분 대부분이 보존됐다. 대화 전체가 달러 단위일 때 요약은 센트 단위였다. 추가 비용이 사 오는 것은 더 나은 정답이 아니라 정답까지 가는 더 짧은 경로였다.

1인기업 실전 적용 포인트

• 자동화 프롬프트에 규칙 문서만 잔뜩 붙이는 방식을 재고한다. 규칙 열 줄보다 채점까지 끝난 과거 사례 세 건을 붙이는 쪽이 효과가 크다는 것이 이번 결과다.
• 잘된 작업과 못된 작업을 점수와 함께 남긴다. 발행한 글, 보낸 견적, 응대한 문의에 5점 척도와 한 줄 이유만 붙여 쌓아도 그것이 다음 실행의 학습 재료가 된다.
• 대화 전체 대신 요약을 재사용한다. 매번 긴 이력을 통째로 넣지 말고 세션 끝에 요약 한 장을 만들어 다음 실행의 첫 입력으로 쓰면 비용은 몇 분의 일로 떨어지면서 성능은 대부분 유지된다.
• 요약 위에 메모까지 겹쳐 넣지 않는다. 이번 실험에서 요약에 메모를 얹은 조합은 오히려 손해 쪽으로 기울었다. 넣을수록 좋아진다는 가정을 버리고 조합별로 실제 결과를 재본다.

전망 / 주의점

이 실험은 모의 업무 서버 한 종류, 모델 한 개를 대상으로 한 단일 연구다. 저자 본인도 요약과 메모의 조합에서 나타난 손해는 데이터를 본 뒤에 나눈 구간이라 결과가 아니라 힌트로 읽어야 한다고 못 박았다. 그러니 메모리 기능이 쓸모없다는 결론으로 건너뛸 일은 아니다.

다만 실무자가 챙길 함의는 분명하다. 지식 문서를 정성껏 쌓는 일과 성능이 오르는 일은 자동으로 연결되지 않는다. 문서 정리는 눈에 보이고 뿌듯하지만 효과는 측정하지 않으면 모른다. 정리한 만큼 좋아졌는지 재보지 않으면, 정리 자체가 일하는 기분만 주는 작업으로 남는다.

출처: 앤드루 제슨 블로그 (https://www.andrewjesson.com/blog/claude-code-improved-through-conversation-not-memories/)