StemDeck, a free, open-source and local AI stem separator

개요

StemDeck은 MP3, WAV, FLAC, OGG/Opus, MP4, M4A 파일 또는 YouTube URL을 최대 6개의 오디오 스템(보컬, 드럼, 베이스, 기타, 피아노, 기타)으로 분리하는 무료 오픈소스 데스크톱 애플리케이션이다. 모든 처리가 사용자의 로컬 컴퓨터에서 이루어지며, 별도의 계정이나 구독 없이 사용할 수 있다.

주요 내용

* 기능: 오디오 파일을 최대 6개 스템으로 분리하고, DAW(Digital Audio Workstation) 스타일의 멀티트랙 믹서에서 재생, 음소거, 솔로, 레벨 조정, 웨이브폼 확대/축소, 루핑, 개별 스템 또는 커스텀 믹스 내보내기가 가능하다.
* 로컬 처리: 모든 오디오 처리 및 분석은 사용자의 로컬 기기에서 이루어지며, 어떠한 데이터도 외부로 전송하거나 저장하지 않는다. YouTube URL 지원은 사용자가 처리할 권리가 있는 콘텐츠에 한정된다.
* 오픈소스 및 무료: Moises, LALAL.AI와 같은 클라우드 기반 스템 분리 도구와 달리 계정, 할당량, 업로드, 구독이 필요 없는 무료 대안을 제공한다.
* 기술 스택: Python 3.12, FastAPI, Demucs(htdemucs_6s), yt-dlp, FFmpeg, librosa, Tauri v2, Web Audio API 등을 사용하여 개발되었다.
* 설치: macOS 및 Windows용 사전 빌드 설치 파일을 제공하며, GitHub 릴리스에서 다운로드할 수 있다. Python이나 시스템 종속성 없이 독립적으로 실행된다.
* 사용자 인터페이스: 스템 선택, 웨이브폼 편집, 믹서 컨트롤, VU 미터, BPM, 키, 스케일, LUFS 등의 오디오 분석 정보를 제공한다.
* 커스터마이징 및 확장: 환경 변수를 통해 Demucs 장치, 모델, 작업 디렉토리 등을 설정할 수 있으며, 소스 코드를 직접 빌드하여 커스터마이징하거나 개선할 수 있다.

시사점

StemDeck은 로컬 환경에서 프라이버시를 유지하며 오디오 스템 분리를 원하는 개인 사용자, 연구자, 실험자를 위한 실용적인 도구이다. 상용 제품과 비교했을 때 일부 고급 기능이나 폴리싱은 부족할 수 있으나, 핵심 기능을 무료로 제공하며 사용자의 데이터 프라이버시를 최우선으로 고려한다는 점에서 의미가 있다.