Implementation of GPT-2 in pure CMake

개요

순수 CMake로 구현된 GPT-2 모델이 Q16.16 정수 연산을 사용하여 실행됩니다.

주요 내용

* GPT-2 모델을 CMake에서 직접 실행하기 위한 전체 모델 체크포인트(model.safetensors, vocab.json, merges.txt) 다운로드 방법이 제시됩니다.
* tools/gen_full.py 스크립트를 사용하여 전체 모델을 CMake에서 사용할 수 있는 형식으로 변환합니다.
* cmake -P gpt2_full.cmake -DPROMPT="Hello" -DN=2 명령을 통해 프롬프트("Hello")와 생성할 토큰 수(2)를 지정하여 GPT-2 모델을 실행하는 방법을 보여줍니다.
* 간단한 토이 모델을 위한 tools/gen_tables.py와 tools/gen_model.py 스크립트를 이용한 생성 과정도 설명됩니다.
* cmake -P gpt2.cmake 명령으로 토이 모델을 실행할 수 있습니다.
* 프로젝트의 라이선스는 BSD 3-Clause입니다.

시사점

이 구현은 외부 라이브러리나 Python 종속성 없이 순수 CMake 환경에서 LLM 모델을 실행할 수 있는 가능성을 보여주며, 임베디드 시스템이나 특정 환경에서 LLM을 활용할 수 있는 새로운 방법을 제시합니다.