AI 에이전트, 진짜 실무 55개 직군서 시험대에

AI 에이전트가 실험실 문제가 아니라 실제 전문 직군의 업무를 얼마나 해내는지 측정하는 대형 벤치마크가 나왔다. '에이전트의 마지막 시험(Agents' Last Exam)'이다. 경제적으로 가치 있는 장기 과제를, 결과를 객관적으로 검증할 수 있는 방식으로 평가한다는 점이 기존 벤치마크와 다르다.

무슨 일인가 / 배경

이 프로젝트는 버클리 RDI와 300명이 넘는 산업계 전문가가 주도한다. 목표는 컴퓨터로 수행하는 전문 업무 대부분을 아우르는, 지금까지 가장 넓은 범위의 에이전트 평가 체계를 만드는 것이다. 현재 55개 세부 산업 전 영역을 포괄하며, 5,000개 과제를 목표로 1,500개 이상을 이미 수집했다. 기존 AI 벤치마크가 단답형 지식이나 코딩 퍼즐에 치우쳤다면, 이 시험은 오래 걸리고 돈이 되는 '진짜 일'을 겨냥한다.

핵심 짚어보기

과제 목록을 보면 성격이 분명해진다. 어도비 애프터이펙트(After Effects)의 영상·시각효과 작업, 지멘스 NX의 3D 모델링, 언리얼 엔진(Unreal Engine)의 게임 개발, 몰덱스3D의 사출 성형 해석, 라이노(Rhino) 3D의 건축 모델링, FSLeyes의 뇌영상 분석 등이다. 하나같이 전문 소프트웨어를 직접 다뤄 결과물을 내야 하는, 실무 그 자체인 과제들이다. MIT·하버드·스탠퍼드·버클리 등 학계와 골드만삭스·JP모건·어도비·허브스팟(HubSpot) 등 산업계가 함께 문제를 낸다.

1인기업 실전 적용 포인트

• 에이전트 도입을 검토할 때 화려한 데모 대신 이 벤치마크의 리더보드를 참고하면, 내 업무와 비슷한 직군에서 실제 성능이 어느 정도인지 가늠할 수 있다.
• 공개된 '에이전트 실행 기록(trace)'을 뜯어보면, 잘하는 에이전트가 실무 과제를 어떤 순서로 푸는지 워크플로 설계의 힌트를 얻는다.
• 내 분야가 55개 세부 산업에 포함된다면, 과제 정의 방식을 참고해 우리 업무를 '검증 가능한 단위'로 쪼개 자동화 대상을 정할 수 있다.
• 과제 기여가 열려 있어, 자기 전문 분야의 실무 과제를 등록해 잠재 고객·협업 네트워크에 이름을 알리는 통로로도 쓸 수 있다.

전망 / 주의점

1,500개 과제는 5,000개 목표의 3분의 1에 불과해 아직 완성 단계는 아니다. 또 벤치마크 상위 성적이 곧 내 실무 환경에서의 성능을 보장하지도 않는다. 그럼에도 '장기·고가치·검증 가능'이라는 기준은 에이전트를 도입하려는 1인기업이 도구를 고를 때 세워야 할 잣대와 정확히 겹친다. 벤치마크의 진화를 지켜볼 이유다.

출처: Hacker News (https://agents-last-exam.org)