The short leash AI coding method for beating Fable

개요

AI 코딩 에이전트를 활용하여 보안이 중요한 시스템에서 고품질 소프트웨어를 작성하는 "숏 리쉬(short leash)" 방법론은 숙련된 소프트웨어 개발자가 AI의 성능을 향상시키면서 품질을 유지하는 데 초점을 맞춘다.

주요 내용

* 기존 AI 코딩 접근 방식의 문제점:
* AI 에이전트가 초기 아이디어와 다르게 작동하거나 "궤도를 벗어나" 원치 않는 작업을 수행할 수 있다.
* 수십억 개의 병렬 에이전트를 사용하는 복잡한 시스템을 설명하는 방식은 실제 코드베이스에 대한 이해를 구축하는 것을 방해하며, 품질 저하를 초래할 수 있다.
* AI가 생성한 코드(Fable 5 등)는 효율성이 떨어지고 미흡할 수 있으며, 이는 특히 훈련 데이터가 적은 틈새 분야에서 두드러진다.
* "숏 리쉬(Short Leash)" AI 코딩 방법론:
* 이 방법론은 전문 소프트웨어 개발자에게 적합하며, 프론티어 모델이 아니어도 Fable을 능가하는 결과를 얻을 수 있다.
* 계획 단계: 작업을 조사하고, 진행 상황을 추적하며, 대규모 작업을 단계로 나누는 계획을 수립한다.
* "YOLO" 모드 금지: AI가 스스로 결정하고 실행하도록 방치하지 않는다.
* AI의 "게임 시간" 방지: 개발자는 AI 작업 중에 항상 참여해야 한다.
* 변경 사항 검토: AI 코딩 에이전트는 제안된 변경 사항의 diff를 표시하며, 개발자는 이를 꼼꼼히 분석한다.
* 지속적인 개발자 참여: 개발자는 자신을 루프에서 제외하지 않고 항상 코드베이스에 대한 이해를 유지한다.
* AI 제어: diff를 사용하여 AI를 "숏 리쉬"에 묶고, 원치 않는 작업이 예상될 경우 권한을 거부한다.
* 잦은 개입: AI가 "궤도를 벗어나"지 않도록 필요에 따라 자주 개입한다.
* 커밋: 각 하위 작업이 완료될 때마다 커밋하여 이전 작업의 손실을 방지한다.
* AI 리뷰 활용: 모든 Pull Request(PR)에 AI 리뷰를 적용하여 린터처럼 일반적인 실수를 빠르게 포착하고, 사람은 더 높은 수준의 문제와 방향성 변화를 감지한다.
* AI 리뷰에 필요한 컨텍스트: AI는 이슈, PR 설명, 코드베이스, 변경 사항에 충분한 컨텍스트를 가져야 한다.
* 최신 모델 사용: 리뷰에는 사용 가능한 최신 및 최고 모델을 사용해야 한다.
* AI 사용 공개: PR 설명에는 사용된 AI 모델을 명확하게 공개해야 한다.
* AI 지원 PR의 책임: AI를 사용하여 생성된 PR의 작성자는 해당 코드를 완전히 이해해야 하며, 마치 타인의 PR을 검토하듯이 라인별로 검토한 후 승인해야 한다.

시사점

"숏 리쉬" 방법론은 AI 코딩 에이전트를 효과적으로 제어하고 활용하여 개발자의 생산성을 높이면서도 소프트웨어 품질을 최고 수준으로 유지할 수 있음을 보여준다. AI 지원 PR에 대한 철저한 인간 검토와 공개는 투명성과 신뢰성을 확보하는 데 필수적이다.