AI’s recursive self-improvement might not come so quickly after all

개요

AI 에이전트의 자기 개선 능력을 평가한 새로운 연구 결과는 AI 연구를 자동화하는 데 있어 아직 인간의 창의성과 판단력이 필수적임을 시사합니다.

주요 내용

* AI 에이전트는 AI 연구에 필요한 엔지니어링 작업(문헌 검토, 실험 실행, 결과 컴파일 등)은 수행할 수 있으나, 독창적인 연구를 생성하는 데 필요한 판단력과 창의성은 부족한 것으로 나타났습니다.
* 프린스턴 대학교 연구진은 "섀도우 평가(shadow evaluation)"라는 새로운 평가 방법을 통해 Anthropic의 Claude Opus 4.8 모델을 실험한 결과, AI 에이전트가 생성한 연구 논문은 최상위 머신러닝 학회에 제출할 수준에 미치지 못했습니다.
* AI 에이전트는 가설을 너무 빨리 포기하거나, 유망하지 않은 접근 방식에 빠르게 집착하며, 실패한 접근 방식에서 벗어나지 못하고, 피드백을 효과적으로 통합하지 못하는 경향을 보였습니다.
* AI 에이전트가 개방형 연구에 능숙하지 못한 이유는 강화 학습 기반의 훈련 방식이 자동적으로 성공을 확인할 수 있는 좁은 작업에는 효과적이지만, 명확한 답이 없는 개방형 연구에는 적용하기 어렵기 때문일 수 있습니다.
* 연구의 한계점으로는 단 두 개의 연구 논문만을 평가했고, 평가자가 AI 에이전트가 생성한 논문임을 인지했다는 점, 그리고 연구 설계 및 실행 과정에서 연구진의 편향이 개입될 수 있다는 점이 있습니다.

시사점

AI의 자기 개선(recursive self-improvement)이 예상보다 더디게 진행될 수 있다는 전망이 제기되었으며, AI 연구의 혁신적인 발전을 위해서는 인간의 창의적이고 직관적인 사고가 여전히 중요함을 보여줍니다.