8GB to 70B: A Real Hardware Guide for Local LLMs

개요

로컬 LLM(Large Language Model) 실행은 데이터 프라이버시 및 비용 관리에 매력적이지만, VRAM 용량, 모델 크기, 최적화 기법 등 하드웨어적 제약에 대한 현실적인 이해가 필요하다.

주요 내용

* VRAM: 로컬 LLM의 핵심이자 용량 한계: LLM을 로컬에서 실행하려면 모델 가중치를 GPU VRAM에 로드해야 하며, 모델 크기가 커질수록 VRAM 요구량도 증가한다. 7B 모델은 FP16 포맷에서 약 14GB, 70B 모델은 최대 140GB가 필요할 수 있다. 실제 사용에서는 양자화(Quantization) 등을 통해 7B 모델은 5-6GB, 13B 모델은 8-10GB, 70B 모델은 40-50GB의 VRAM으로도 실행 가능하다. VRAM 용량 외에도 메모리 대역폭은 추론 속도에 영향을 미친다.
* 양자화: 메모리 절약과 품질 트레이드오프: 양자화는 모델 가중치를 더 적은 비트로 표현하여 모델 크기와 VRAM 요구량을 줄이는 기법이다. 4-bit 양자화를 통해 70B 모델을 약 40GB VRAM으로 실행할 수 있다. GGUF 형식의 Q4_K_M과 같은 양자화 수준은 성능과 품질 간 균형을 제공하지만, 민감하거나 창의적인 작업에서는 출력 품질 저하 가능성이 있다.
* 속도 요인: CPU, 스토리지, 추론 엔진: GPU와 VRAM 외에도 모델 로딩, CPU 토큰 처리, 추론 엔진 작동 방식이 전체 성능에 중요하다. HDD 대비 NVMe SSD는 모델 로딩 시간을 최대 70% 단축할 수 있다. llama.cpp와 같은 하이브리드 CPU/GPU 추론 엔진에서는 CPU 코어 수와 속도가 추론 속도에 직접적인 영향을 미친다. llama.cpp, vLLM 등 다양한 추론 엔진이 존재하며, 사용자의 하드웨어와 사용 사례에 따라 선택이 달라진다.
* 하드웨어 선택 및 예산 계획: "적당한" 접근 방식: 로컬 LLM 하드웨어 선택은 예산과 실행하려는 모델 크기에 비례한다.
* 엔트리 레벨 (8-12GB VRAM): 7B 모델을 Q4_K_M과 같은 압축 형식으로 원활하게 실행할 수 있다.
* 미드 레인지 (16-24GB VRAM): 13B 모델을 편안하게 실행하고 일부 30B 모델을 시도할 수 있다. 중고 RTX 3090 등이 가격 대비 성능이 우수할 수 있다.
* 하이엔드 (48GB+ VRAM): 70B 이상 모델 실행을 위해 전문가용 카드나 여러 GPU의 VRAM을 결합해야 하며, 비용이 크게 증가한다.
중고 시장 탐색은 비용 절감에 도움이 될 수 있다.
* 실용적 적용 및 최적화 팁:
* Ollama: 로컬 LLM 실행을 위한 간편한 인터페이스를 제공하며, 단일 명령으로 모델 다운로드 및 실행, API 연동이 가능하다.
* llama.cpp: 더 낮은 수준의 제어 및 최적화 옵션을 제공하며, GGUF 모델을 직접 실행할 수 있다. CPU 코어를 활용한 컴파일 시간 단축 및 GPU 레이어 지정 등 다양한 최적화가 가능하다.
* 시스템 모니터링 및 자원 관리: journald를 이용한 시스템 로그 확인, cgroup을 이용한 LLM 서비스 자원 소비 제한이 시스템 안정성에 중요하다. auditd는 파일 접근 및 시스템 콜 모니터링에 유용하다.
* 매개변수 조정: 배치 크기(batch size)와 컨텍스트 창(context window) 크기는 성능에 영향을 미치며, 프로젝트 요구 사항과 하드웨어 용량에 맞게 조정해야 한다.

시사점

로컬 LLM 실행은 하드웨어 제약이 존재하지만, VRAM, 양자화, CPU, 스토리지 등 다양한 요소를 이해하고 "적당한" 접근 방식을 통해 효율적인 솔루션을 구축할 수 있으며, 지속적인 최적화와 점진적인 하드웨어 업그레이드가 가능하다.