Constraint Decay: The Fragility of LLM Agents in Back End Code Generation

개요

LLM 에이전트가 느슨한 사양 하에서 자율 코드 생성에 강력한 성능을 보이지만, 프로덕션 수준의 소프트웨어는 아키텍처 패턴, 데이터베이스, ORM과 같은 엄격한 구조적 제약을 요구한다.

주요 내용

• 기존 벤치마크는 기능적으로는 올바르지만 구조적으로 임의적인 솔루션을 보상하는 경향이 있으며, 이러한 비기능적 요구사항을 간과한다.
• 본 연구는 80개의 신규 생성 작업과 8개의 웹 프레임워크에 걸친 20개의 기능 구현 작업에서 통일된 API 계약을 고정하여, LLM 에이전트가 다중 파일 백엔드 생성 시 구조적 제약을 얼마나 잘 처리하는지를 체계적으로 평가했다.
• 평가 결과, 구조적 요구사항이 누적될수록 에이전트 성능이 크게 저하되는 '제약 붕괴(constraint decay)' 현상이 관찰되었다.
• 유능한 설정은 기준선 대비 완전 사양 작업에서 평균 30포인트의 Assertion 통과율 하락을 보였으며, 일부 약한 설정은 0에 가까운 성능을 보였다.
• 프레임워크 민감도 분석 결과, Flask와 같이 최소한의 명시적 프레임워크에서는 에이전트가 성공하지만, FastAPI, Django와 같이 컨벤션 중심의 환경에서는 성능이 현저히 저하되는 차이가 드러났다.
• 오류 분석 결과, 부정확한 쿼리 구성 및 ORM 런타임 위반과 같은 데이터 계층 결함이 주요 근본 원인으로 식별되었다.

시사점

코딩 에이전트에게 있어 기능적 요구사항과 구조적 요구사항을 동시에 만족시키는 것은 여전히 중요한 미해결 과제이며, 이는 향후 LLM 기반 코드 생성 시스템의 실무 적용 가능성을 높이기 위해 해결해야 할 핵심 영역임을 시사한다.