LLM 에이전트가 새 알고리즘을 발명했다

AI 연구팀 디모델(dmodel)이 흥미로운 실험 결과를 내놨다. 대형언어모델(LLM) 에이전트에게 '개념 지우기' 알고리즘을 스스로 발명하게 했더니, 사람이 만든 기존 표준 방법보다 성능이 나은 여섯 갈래의 알고리즘을 찾아냈다. 정답도, 논문 해법도 주지 않은 채 과제 설명과 제약만 준 조건에서 나온 성과다.

무슨 일인가

개념 지우기(concept erasure)는 모델의 내부 활성값에서 특정 정보를 제거하는 기법이다. 재학습이나 미세조정 없이 활성값에 직접 손을 대 원하지 않는 개념을 못 쓰게 만든다. 생물무기 제조 지식을 지우거나, 차별을 유발하는 민감 속성을 제거하는 등 AI 안전 연구에 쓰인다. 문제는 기존 표준 기법인 '리스(LEACE)'와 그 후속 '큐리스(QLEACE)'가 선형 방식이라 비선형 표현을 완전히 지우지 못한다는 점이었다. 리스로 지운 활성값에서도 비선형 분류기가 개념을 70~95% 정확도로 복원했다.

핵심 짚어보기

연구팀은 에이전트에게 목표 개념, 소량의 라벨 샘플, 소형 모델(젬마-3 270M)을 주고 다음을 요구했다. 리스와 같은 편집 거리(L2 예산) 안에서, 비선형 분류기가 개념을 복원하지 못하도록 활성값을 편집하는 절차를 만들라는 것. 에이전트는 채점기를 볼 수 없었고, 활성값의 기하 구조를 스스로 분석해 알고리즘을 설계·디버깅·최적화해야 했다. 50개 개념에 걸쳐 560회의 독립 시도를 돌린 결과, 최적해가 비선형 탐침의 평균 정확도를 99%에서 70%까지 낮췄다. 리스는 88%까지밖에 못 내렸다. 처음 본 랜덤 포레스트 분류기에서도 99%를 72%로 낮춰(리스는 82%) 일반화까지 확인됐다.

에이전트가 발견한 여섯 갈래에는 가우시안 최적수송, MMD 최적화 아핀 변환, 신경망+MMD 학습 등이 포함됐다. 핵심 발견은 '공분산이 가장 강한 신호'라는 점으로, 단순히 평균만 맞추는 기존 선형 기법의 한계를 정면으로 지적한다.

1인기업 실전 적용 포인트

• 이 결과의 실무 함의는 '에이전트가 탐색 공간이 넓은 최적화 문제를 자율로 푼다'는 점이다. 정답을 모르는 튜닝·설계 문제에 에이전트를 붙여볼 근거가 된다.
• 자신의 문제에 적용할 땐, 에이전트가 채점기를 못 보게 하고 명확한 평가 지표와 제약(예산)만 제시하는 이 실험 설계를 그대로 차용해 과최적화를 막는다.
• '한 번의 좋은 결과'가 아니라 다수 시드로 평균±표준편차를 재는 이 논문의 검증 태도는, 소규모 팀이 AI 실험 결과를 과신하지 않게 지켜주는 실전 원칙이다.

전망 / 주의점

에이전트가 사람을 능가한 영역은 아직 잘 정의된 채점 가능 문제에 한정된다. 평가 지표가 애매하거나 채점 비용이 큰 문제에는 그대로 옮기기 어렵다. 그럼에도 '연구 자체를 자동화하는 에이전트'라는 방향성은 소규모 연구·개발 조직에 강력한 지렛대가 될 잠재력을 보여준다.

출처: Hacker News (https://dmodel.ai/concept-erasure/)