에이전트가 코딩, 사람은 전략 — 캐글 연구법

한 연구자가 클로드 코드(Claude Code)를 구현 도구로 삼아 캐글(Kaggle) 조합 퍼즐 대회에 참가한 경험을 공개했다. 데이터과학자 안드레이 루카넨코는 2026년 7월 8일 블로그에서, AI 에이전트가 코드를 거의 다 짜고 사람은 실험 방향만 결정하는 '2026년식 연구 워크플로'가 어떤 모습인지 상세히 기록했다. 이 글은 초거대 그래프 탐색이라는 어려운 문제와, 에이전트에게 구현을 맡기는 새로운 작업 방식 두 가지를 함께 다룬다.

무슨 일인가

대상은 케일리파이(CayleyPy) 시리즈의 두 대회, IHES 픽처 큐브와 메가밍크스다. 둘 다 큐브형 조합 퍼즐을 푸는 문제로, 각 퍼즐 상태를 정점으로, 한 번의 이동을 간선으로 두는 거대한 '케일리 그래프'에서 항등원까지 이르는 짧은 경로를 찾는 문제로 바꿔 풀 수 있다. 저자는 클로드 코드 안에서 오퍼스(Opus)를 구현 에이전트로 삼아, 훈련 스크립트·빔서치 변형·TPU 이식·제출 자동화·후처리 도구를 사실상 전부 에이전트가 작성하게 했다. 사람은 코드를 검토하고 출력을 확인하며, 어떤 실험을 할지 결정하는 역할에 집중했다.

핵심 짚어보기

왜 이런 분업이 필요한가는 문제 규모가 말해준다. 3×3×3 큐브의 상태 수는 약 4.3×10^19개, 메가밍크스는 약 10^68개로, 그래프를 통째로 저장하는 브루트포스 탐색은 애초에 불가능하다. 그래서 참가자들은 학습된 휴리스틱으로 거리를 추정하고 넓은 빔서치로 짧은 경로를 찾는다. 흥미로운 대목은 인간의 역할 변화다. 2024년만 해도 모든 코드를 손으로 짜고 디버깅에 시간을 쏟았지만, 2년 만에 에이전트 워크플로가 작업의 큰 축이 됐다는 것이다. 저자는 에이전트가 자주 엉뚱한 방향으로 파고들었다고 솔직히 적으며, 자신의 진짜 일은 어떤 아이디어를 시도할지, 막다른 모델에서 언제 손을 뗄지, 언제 방향을 틀지를 지시하고 잘못된 경로를 막는 것이었다고 강조한다. 사람의 무게중심이 '구현'에서 '실험 설계·정체 감지·탐색 전략'으로 옮겨간 셈이다.

1인기업 실전 적용 포인트

• 반복적이고 형식이 뚜렷한 구현 작업(스크립트, 변환, 자동화 파이프라인)은 에이전트에 통째로 위임하고, 자신은 '무엇을·왜' 만들지에 집중한다.
• 에이전트 결과를 무조건 신뢰하지 않는다. 코드 리뷰와 출력 검증을 반드시 사람이 통과시키는 '게이트'로 남겨 둔다.
• 에이전트가 막다른 길로 파고들 때를 대비해, 실험마다 '언제 멈출지' 기준(성능 정체·비용 상한)을 미리 정해 둔다.
• 성과가 아닌 방향 결정을 로그로 남긴다. 어떤 가설을 왜 채택·폐기했는지 기록해 다음 실험의 판단 근거로 재사용한다.

전망

이 사례는 특수한 연구 대회 이야기지만, 시사점은 일반적이다. 에이전트가 구현을 감당할수록 사람의 경쟁력은 '무엇을 만들지 정의하고, 잘못된 길을 빨리 끊는 판단'으로 이동한다. 1인기업에게도 이는 곧, 손이 아니라 방향으로 승부하는 운영 방식으로의 전환을 의미한다.

출처: Andrey Lukyanenko 블로그 (https://andlukyane.com/blog/cayleypy-kaggle-with-claude)