AI 자기개선의 동력은 메모리 아닌 대화였다

AI 에이전트에게 '스스로 나아지라'고 하면 무엇이 실제로 실력을 끌어올릴까. 흔한 답은 메모리, 즉 축적된 노트다. 그런데 이를 실측한 실험에서 개선을 이끈 것은 메모리 파일이 아니라 대화 기록 그 자체라는 결과가 나왔다. 연구자 앤드루 제슨(Andrew Jesson)이 지난 6일 공개한 실험이다.

무슨 일인가

실험 설계는 이렇다. 클로드 코드(Claude Code, 오푸스 5)에게 스프레드시트·CRM·이메일·티켓팅으로 구성된 모의 업무 서버에서 과제를 계속 뽑아 수행하며 '더 잘하게 되라'는 지시만 줬다. 그 결과 별도로 떼어 둔 검증용 과제 120개의 성공률이 34%에서 44%로 올랐다. 흥미로운 건 과정이다. 세션 동안 에이전트가 남긴 파일 수정 84건은 전부 메모리 노트였고, 코드 작성·서브에이전트·웹 검색은 한 번도 쓰지 않았다. 노트들은 서로 참조가 연결된 지식 그래프 형태로 정리됐는데, 시키지 않았는데도 참조 무결성이 끝까지 유지됐다.

핵심 짚어보기

그렇다면 그 정성스러운 메모리가 성과의 원천이었을까. 저자는 새 세션에 컨텍스트를 조각별로 나눠 주는 통제 실험으로 이를 검증했다. 결과는 반전이다. 메모리 파일만 물려준 세션의 성능 향상은 +1.7%p로, 통계적으로 0과 구분되지 않았다. 반면 대화 기록을 통째로 이어받은 세션은 +9.9%p 올랐고, 거기서 메모리 파일을 빼도 +8.8%p로 거의 그대로였다. 가장 실속 있는 건 압축 요약이었다. 컨텍스트가 꽉 찰 때 자동 생성되는 요약문 하나만 넘겨도 +5.4~8.5%p가 나왔는데, 비용은 대화 전체를 넘기는 방식(6달러 이상)의 몇십 분의 일인 0.14달러 수준이었다. 개선의 실체는 정리된 지식이 아니라, 실제 과제를 풀고 피드백을 받은 흔적과 그 요약이었던 셈이다.

1인기업 실전 적용 포인트

• 노트 축적보다 실행 로그: 에이전트 자동화의 품질을 올리고 싶다면 지침 문서를 늘리기보다, 잘된 실행 사례의 대화 요약을 다음 실행의 컨텍스트로 넣어주는 쪽이 실측상 효과적이었다.
• 요약이 가성비 왕: 성공한 자동화 세션이 끝날 때 '이번 작업에서 배운 것' 요약을 뽑아 저장해 두고, 같은 유형의 작업을 시작할 때 그 요약만 주입하자. 비용 대비 효과가 가장 컸던 구간이다.
• 메모리를 버리라는 얘기는 아니다: 이 실험은 특정 업무 환경 하나의 결과다. 사용자 선호나 프로젝트 규칙처럼 대화 흐름에 남지 않는 정보는 여전히 메모리의 몫이다.
• 검증 세트를 만들자: 34→44%라는 숫자가 나온 건 검증 과제 120개를 미리 떼어놨기 때문이다. 내 자동화에도 품질을 잴 고정 과제 몇 개를 만들어 두면 개선이 감이 아니라 숫자가 된다.

전망 / 주의점

이 결과는 에이전트 메모리 설계 전반에 질문을 던진다. 많은 도구가 '학습된 노트'를 자기개선의 핵심 기능으로 내세우지만, 정작 노트만 이식했을 때의 효과가 증명된 사례는 드물다. 앞으로는 무엇을 요약에 남기고 무엇을 버릴지, 즉 압축의 품질이 에이전트 성능의 승부처가 될 것으로 보인다.

출처: shojin.dev (https://shojin.dev/blog/claude-code-improved-through-conversation-not-memories/)