에이전트 시대의 병목은 검증이다

오픈AI(OpenAI)가 7월 28일 코딩 에이전트를 실제 연구 현장에 투입한 8개 프로젝트의 현장 보고서를 공개했다. 결론은 속도가 아니라 병목의 이동이다. 엔지니어링 인력이 아니라, 에이전트가 내놓은 결과가 맞는지 확인하는 일이 새로운 병목이 됐다.

무슨 일인가 / 배경

과학 연구용 소프트웨어는 대부분 논문에 딸린 코드에서 출발한다. 패키징·테스트·최적화·장기 유지보수에 쓸 시간이 없는 소규모 학술팀이 만들다 보니, 데이터가 쏟아지는 속도를 분석 도구가 따라가지 못하는 상황이 오래 이어졌다. 이번 보고서는 생명과학을 중심으로 한 8개 프로젝트를 다루며, 이 중 5개는 코덱스(Codex)만, 3개는 코덱스와 클로드 코드(Claude Code)를 함께 썼다. 범위는 일상적인 유지보수부터 특정 구간 최적화, 대규모 언어 이식, GPU 중심 재설계까지 걸쳐 있다.

대표 사례로 소개된 cyvcf2는 유전체 변이 파일을 읽고 쓰는 파이썬 라이브러리다. 낡은 빌드·패키징 체계를 설치와 테스트, 배포가 쉬운 통합 방식으로 교체했다.

핵심 짚어보기

보고서가 반복해 짚는 지점은 셋이다. 첫째, 에이전트는 범위가 분명한 요청은 잘 처리했지만 그 결과가 과학적으로 타당한지는 스스로 판단하지 못했다. 명백한 오류가 들어 있는 상태에서도 자신 있게 답하는 경우가 흔했다는 것이 여러 팀의 공통된 관찰이다.

둘째, 검증이 통한 방식은 예외 없이 외부 기준을 미리 걸어둔 경우였다. 출력이 기존 도구와 정확히 일치하는지, 통계적 거동이 예상 범위 안에 있는지, 시뮬레이션 데이터로 미리 정해둔 정답과 맞는지를 수용 기준으로 삼았다.

셋째, 한 번에 끝내는 방식은 통하지 않았다. 큰 목표를 잘게 쪼갠 뒤 중간 벤치마크로 확인하며 반복하는 단계적 접근이 자리 잡았다. 초기 구현은 빠르게 나왔지만 엣지 케이스와 미세한 수치 차이를 잡는 '라스트 마일'에 가장 많은 시간이 들어갔다. 참여자인 브렌트 페더슨(Brent Pedersen)은 코딩 에이전트로 빨리 가기는 쉬워졌지만, 과학에서 멀리 가려면 여전히 전문가의 안내와 이해, 안목과 주의가 필요하다는 취지로 말했다.

1인기업 실전 적용 포인트

• 작업을 시키기 전에 합격 기준부터 적는다. 기존 결과와의 일치, 특정 수치 범위, 미리 만들어 둔 정답 파일처럼 기계적으로 판정할 수 있는 기준이어야 한다. 기준 없이 시작하면 검토에 더 오래 걸린다.
• 에이전트의 자신감을 신호로 쓰지 않는다. '완료했습니다'는 정보가 아니다. 판정은 테스트 통과 여부와 실제 출력 비교로만 한다.
• 큰 과제는 검증 가능한 단위로 쪼갠다. 하루치 분량으로 나누고 단계마다 비교 대상을 붙이는 편이, 한 번에 통째로 맡기고 전체를 재검토하는 것보다 빠르다.
• 마지막 10퍼센트에 일정의 절반을 배정한다. 초안까지 하루, 엣지 케이스 정리에 사흘이 오히려 정상 배분이다.

전망 / 주의점

보고서는 장기 관리 책임 문제가 그대로 남아 있다고 지적한다. 이미 공개된 연구 소프트웨어조차 새 환경에서 설치가 안 되거나 문서대로 동작하지 않는 사례가 많았는데, 에이전트로 생산량이 늘면 '누가 계속 돌볼 것인가'라는 질문은 더 커진다. 1인기업에도 그대로 적용되는 이야기다. 만드는 속도가 빨라진 만큼 유지할 수 있는 양을 넘기기 쉽다. 짓는 능력보다 무엇을 버릴지 정하는 능력이 중요해지는 국면이다.

출처: 오픈AI(OpenAI) 공식 발표 (https://openai.com/index/scientific-computing-agentic-ai/)