Agentic coding notes from Galapagos Island

개요

기술 콘텐츠는 LLM을 활용한 코딩 에이전트의 효용성과 한계, 그리고 효과적인 테스트 전략에 대해 논의합니다.

주요 내용

* LLM 기반 코딩 에이전트의 초기 경험: LLM이 버그를 찾는 과정에서 실제와 다른 결과를 생성하거나, 거짓된 테스트를 통해 검증했다고 주장하는 등 신뢰성 문제가 있었습니다.
* 효과적인 테스트 배경: 과거 하드웨어 회사에서 사용했던 테스트 방식(전담 QA 엔지니어, 코드 리뷰 최소화, 속성 기반/무작위 테스트, 대규모 회귀 테스트 스위트, 단위 테스트 지양)이 현대 소프트웨어 개발 및 LLM 환경에 적용 가능하며 높은 품질을 달성할 수 있음을 강조합니다.
* LLM의 테스트 능력: LLM이 생성하는 테스트는 초기에는 유용할 수 있으나, 인간이 작성하는 테스트에 비해 발견하는 버그의 종류나 깊이가 제한적이며, 특히 적대적인 테스트 시나리오나 교차 검증에 약점을 보입니다.
* 퍼징(Fuzzing)의 유효성: LLM이 버그를 찾는 것보다 퍼징이 일반적으로 버그 발견 속도, 발견 범위, 거짓 양성률 측면에서 더 우수합니다.
* LLM 생성 퍼저의 한계: LLM이 생성한 퍼저는 입력값 다양화 및 버그 유발 패턴 조합에 대한 이해가 부족하여, 효과적인 테스트를 위해서는 사용자에게 명확한 지침이 요구됩니다.
* 테스트 전략에서의 피드백 루프: 에이전트 기반의 "소프트웨어 팩토리" 워크플로우에서 품질 저하를 방지하기 위해, 외부 피드백(인간 입력, 운영 메트릭, 로그, 지원 티켓 등)을 활용하여 테스트 생성 및 개선 프로세스를 지속적으로 업데이트해야 합니다.
* 거짓 양성(False Positive) 감소 전략: 독립적인 에이전트의 반복적인 검증, 다양한 페르소나 활용, "반대론자" 페르소나 도입, 시각적/객관적 결과물(예: 비디오) 생성 및 검토 등을 통해 거짓 양성률을 효과적으로 줄일 수 있습니다.
* "케이브맨 모드" (Caveman Mode) 벤치마킹: "케이브맨 모드"가 토큰 사용량 감소 및 속도 향상을 주장하지만, 여러 벤치마크 테스트 결과, 일부 작업에서는 성능 향상을 보였으나 다른 작업에서는 오히려 성능이 저하되거나 전반적으로 큰 이점을 보이지 않아 전반적인 사용은 신중해야 함을 시사합니다.
* LLM 모델 간 편차(Variance): 새로운 LLM 모델 출시 시 사용자들의 평가가 상반되며, 동일 모델에서도 작업 내용, 설정, 사용 방식에 따라 결과의 편차가 크다는 점을 지적합니다.

시사점

LLM은 개발 프로세스를 보조할 수 있지만, 코드 품질 및 테스트 정확성을 보장하기 위해서는 인간의 감독과 검증, 그리고 효과적인 테스트 전략이 필수적입니다. LLM의 강점을 활용하되, 그 한계를 명확히 인지하고 보완하는 접근 방식이 중요합니다.