Ask HN: Has anyone replaced Claude/GPT with a local model for daily coding?

개요

로컬 LLM을 일상 코딩에 활용하여 Claude/GPT와 같은 대규모 모델을 대체할 수 있는지에 대한 HN 사용자들의 논의는 데이터 프라이버시, 비용 효율성, 그리고 성능 사이의 균형을 탐구합니다.

주요 내용

* 데이터 프라이버시 및 비용 효율성: 일부 사용자는 데이터 프라이버시와 LLM의 자유로운 사용을 위해 Qwen과 같은 로컬 모델을 선호하며, Pi 코딩 하네스를 컨테이너화 및 샌드박싱하여 완전히 오프라인으로 실행합니다. Mac Studio (128GB RAM) 또는 MacBook (36GB RAM)에서 Qwen3.6 35b (3B 활성 파라미터)를 사용하여 빠른 속도를 달성하며, 복잡한 작업에는 Qwen3.5 122b (10B 활성 파라미터)를 사용하지만 속도가 느려집니다.
* 로컬 모델의 성능 특성: 로컬 모델은 Claude와 같은 대규모 모델에 비해 사용자의 명확하고 정확한 지시가 중요하며, 가정을 남겨두면 아키텍처 관점에서 최적이 아닌 쉬운 경로를 선택하는 경향이 있습니다. 또한, 루프에 자주 빠지고 편집 도구 호출을 잘못 처리하는 경우가 많아 많은 토큰을 소비하고 재시도하기보다는 파일을 다시 읽는 경향을 보입니다.
* 로컬 모델 vs. 대규모 모델 비교: Agentic Qwen3.6 35b는 안내가 필요한 주니어 개발자에 비유되는 반면, Claude Opus는 아키텍처에 대해 함께 고민하는 시니어 개발자에 비유됩니다. 로컬 모델은 Claude Opus 대비 5배의 속도 향상을 제공하며, 이는 무료라는 점을 고려할 때 상당한 이점입니다.
* 로컬 모델 활용 사례 및 권장 모델: Qwen 3.6 35B-A3B가 코딩 작업에 가장 많이 사용되는 모델로 언급되며, 채팅 및 번역 작업에는 Gemma 4 31B, 오디오 작업에는 Gemma 4 12B가 사용됩니다.
* 기술적 문제 및 해결 방안:
* 컨텍스트 재처리 문제: Qwen 하이브리드 모델이 프롬프트 캐싱을 처리하지 않고 매 턴마다 전체 컨텍스트를 다시 처리하는 문제가 발생할 수 있습니다. 이는 llama.cpp 최신 버전 업데이트 및 Qwen 3.6부터 지원되는 preserve_thinking 옵션을 활성화하여 해결될 수 있습니다.
* 편집 도구 오류: Mismatched whitespace, 긴 함수 파일로의 변환 시도 실패 등이 발생하며, sed와 같은 도구를 활용하여 후행 공백을 제거하는 방식으로 개선할 수 있습니다.
* 하드웨어 및 런타임: Strix Halo 128 GiB 통합 메모리 노트북, Mac Studio, 7900XTX GPU와 llama.cpp (ROCm 또는 Vulkan) 조합이 언급되며, Vulkan이 ROCm보다 약간 더 빠르다는 경험이 공유되었습니다.
* AI 회의론 및 미래 전망: 일부 사용자는 여전히 AI에 회의적이며, 코드의 장기적인 지속 가능성보다는 빠른 개발 속도와 재구성을 통한 이해 증진을 강조합니다. 미래에는 Opus와 유사한 수준의 능력을 가진 오픈소스 모델이 등장할 것으로 예상되지만, 여전히 대규모 클라우드 모델과의 성능 격차는 존재할 것으로 보입니다.
* 기타 논의:
* 하네스 및 샌드박싱: Pi 코딩 하네스를 샌드박싱하여 네트워크 접근을 제한하고 특정 폴더만 마운트하는 방식이 언급되었습니다.
* 퀀트화 및 성능: Q8 퀀트화가 루프를 줄이고 전체 작업 완료 시간을 단축하는 데 도움이 된다는 의견이 있으며, F16 K와 Q8 V 조합이 루프를 제거하는 데 효과적이라는 경험도 공유되었습니다.
* 하네스 관리: petsitter와 같은 도구가 에이전트의 실패를 처리하는 데 유용하며, harness가 메시지를 변경하지 않도록 append-only 방식을 유지하는 것이 중요합니다.

시사점

로컬 LLM은 데이터 프라이버시와 비용 측면에서 상당한 이점을 제공하며, 특정 작업에서는 이미 최신 클라우드 모델에 필적하는 성능을 보여줍니다. 다만, 로컬 모델의 효과적인 활용을 위해서는 사용자의 명확한 지시, 적절한 모델 선택, 그리고 기술적 문제 해결 노력이 중요하며, 향후 로컬 LLM의 발전 가능성이 높습니다.