AI At Home Part 1: A Box Of Scraps

개요

개인은 가정 내 AI 데이터 센터 구축을 목표로, 중고 서버 하드웨어 및 그래픽 카드(GPU)를 활용하여 저렴하게 AI 컴퓨팅 시스템을 직접 제작하는 과정을 설명한다.

주요 내용

* AI 기술의 발전과 개인화된 AI 시스템의 필요성: 트랜스포머 대규모 언어 모델(LLM)은 소프트웨어 개발 분야의 혁신이며, AI 코딩 에이전트가 중요해지고 있다. 타인의 통제를 받는 클라우드 기반 AI 서비스에 대한 의존성보다 개인 소유의 AI 시스템을 선호한다.
* 저렴한 GPU 확보: AI 워크로드에 적합한 GPU는 가격이 높기 때문에, 클라우드 게이밍 실패로 인해 중고 시장에 풀린 AMD V620 GPU(32GB VRAM)를 저렴하게 구매했다. 이 GPU는 AI 작업에 최적화되지 않았고 소프트웨어 지원이 부족하지만, 물리적인 접근과 커스터마이징이 가능하다는 장점이 있다.
* 중고 부품을 활용한 시스템 구축: 2017년 X299 플랫폼 메인보드, 구형 Intel Core i9 10900X CPU, salvaged RAM 및 SSD, 1600W 파워 서플라이를 사용하여 4개의 GPU를 장착할 수 있는 시스템을 구성했다.
* GPU 냉각 문제 해결: 서버용 GPU는 자체 팬이 없어 외부 냉각이 필요하다. 3D 프린팅으로 80mm 서버 팬을 장착할 수 있는 커스텀 슈라우드를 제작하여 GPU 발열을 관리했다.
* 소프트웨어 설정 및 초기 테스트: BIOS에서 Resizable BAR 및 MMIO High Size 설정을 통해 4개의 GPU를 인식시켰다. Ubuntu 24.04 환경에서 llama.cpp를 설치하고 Gemma4 모델을 테스트했으며, 이후 Deepseek V4 Flash 모델을 성공적으로 로드했다.
* 팬 제어 시스템 구축: 메인보드 자체 팬 제어 기능의 한계로 인해, Arduino Nano 기반의 커스텀 팬 컨트롤러를 제작했다. AI 모델이 GPU 온도를 읽어 팬 속도를 조절하는 스크립트를 작성하여 적용했다.
* 업데이트 및 FAQ: SilverStone RM4A 케이스, AMD V620 GPU, Supermicro C9X299-PGF 메인보드, Intel Core i9-10900X CPU, EVGA 1600W PSU, Arctic S8038-10K 팬 등 사용된 주요 부품과 가격 정보를 공유했다. 상용 솔루션 대비 비용 효율성과 학습 효과를 강조했다.

시사점

개인적인 AI 데이터 센터 구축은 상용 솔루션에 비해 비용 효율적이며, 하드웨어와 소프트웨어에 대한 깊이 있는 이해와 제어 능력을 제공한다. 이 프로젝트는 기존의 버려지거나 저평가된 하드웨어를 재활용하여 고성능 AI 컴퓨팅 환경을 구축할 수 있는 가능성을 보여준다.