Why I Stopped Chasing the Newest LLM (And What I Run Instead)

개요

최신 LLM을 맹목적으로 추격하는 대신, 실제 사용 사례에 최적화된 고정된 모델 스택을 유지함으로써 생산성을 향상시킨 경험을 공유합니다.

주요 내용

* 모델 업그레이드 반복의 비효율성: 새로운 LLM이 출시될 때마다 다운로드, 설정, 벤치마킹에 시간을 소비하지만, 대부분의 업그레이드는 실제 작업 생산성에 큰 변화를 주지 못했습니다.
* 안정적인 로컬 모델 스택: 4개월 이상 변경하지 않은 주요 로컬 LLM 스택은 다음과 같습니다.
* Mac Mini M4: Qwen 3.5 9B (오케스트레이션, 라우팅, 빠른 채팅), Granite 3.2 8B (작성, 편집, 요약)
* Windows PC (RTX 3060): Qwen 3 Coder 30B (코드 생성, 리팩토링), DeepSeek R1 8B (추론, 디버깅, 분석)
* Ubuntu box: DeepSeek R1 (대규모 추론 작업)
* MinCPM-V: 비전 작업 (소비자 하드웨어에서 합리적으로 실행)
* 모델 선정 이유: 각 모델은 특정 작업에서의 성능, 하드웨어 제약, 비용 효율성 등을 고려하여 선정되었습니다. 예를 들어, Qwen 3.5 9B는 대부분의 작업에서 빠르고 정확하며, Qwen 3 Coder 30B는 멀티 파일 프로젝트 처리에 적합합니다.
* 업그레이드를 통해 놓치는 부분: 최신 클라우드 기반 모델에 비해 코드 생성, 매우 긴 컨텍스트 작업, 고급 멀티모달 기능 등에서 5-10% 정도의 성능 차이가 있을 수 있으나, 특정 작업에 한해 클라우드 API를 활용하여 보완합니다.
* 작업 라우팅 시스템: 15줄의 Python 코드로 작성된 간단한 라우팅 시스템을 통해 작업 유형에 따라 적절한 로컬 모델 또는 클라우드 API로 자동 전달됩니다. 이를 통해 전체 작업의 약 15%만 클라우드를 사용합니다.
* 비용 효율성: 로컬 모델 스택을 사용함으로써 월 약 37달러의 비용으로, 기존 클라우드 사용료 187달러 대비 연간 1,400달러 이상을 절감했습니다. 추가적으로 속도 제한 없음, 벤더 종속성 없음, 개인 정보 보호, 오프라인 작업 등의 이점이 있습니다.
* 업그레이드 결정 기준:
* 일상 작업에서 눈에 띄는 실질적인 성능 향상이 있는 경우
* 기존 두 개 이상의 모델을 대체할 수 있는 모델이 출시될 때
* 보안 또는 안정성 개선이 명확한 경우
* 교훈: 최신 LLM을 쫓는 것보다, 실제 프로젝트에 사용 가능하고 지속적으로 결과물을 생성하는 모델이 가장 유용하며, 빌드하는 시간이 벤치마킹하는 시간보다 더 생산적이고 즐겁습니다.

시사점

맹목적인 최신 기술 추구보다는, 자신의 워크플로우와 하드웨어 환경에 최적화된 안정적인 모델 스택을 구축하고 이를 효과적으로 활용하는 것이 실제 생산성 향상에 더 큰 기여를 할 수 있습니다.