Ternlight – 7 MB embedding model that runs in browser (WASM)

개요

Ternlight는 브라우저에서 WASM(WebAssembly)을 통해 실행되는 7MB 크기의 경량 임베딩 모델로, API 호출 없이 로컬 CPU에서 텍스트 임베딩을 처리합니다.

주요 내용

* 초소형 임베딩 모델: Ternlight는 7MB의 단일 파일로 구성되며, 여기에는 모델 엔진과 가중치가 포함됩니다.
* 브라우저 내 실행: WASM을 활용하여 별도의 API 호출이나 서버 없이 웹 브라우저 자체에서 직접 실행됩니다.
* 빠른 속도: 5MB 크기의 'mini' 버전은 CPU 환경에서 약 5ms 만에 임베딩을 생성할 수 있으며 GPU가 필요하지 않습니다.
* 간편한 사용: 단일 npm 패키지로 제공되어 설치가 용이하며, 모델 다운로드나 서버 설정 없이 바로 사용할 수 있습니다.
* 실시간 검색 기능: npm install @ternlight/base로 설치 후, embed 및 similar 함수를 사용하여 몇 줄의 코드로 의미 기반 검색을 구현할 수 있습니다.
* 실제 적용 사례: React 문서 검색 페이지에서 Ternlight의 5MB 'mini' 버전을 사용하여 브라우저 내에서 질문에 대한 검색 결과를 제공하는 데 활용되었습니다.

시사점

Ternlight는 API 의존성 없이 클라이언트 측에서 빠르고 효율적인 텍스트 임베딩 및 검색 기능을 제공함으로써, 개인 정보 보호 강화, 비용 절감, 오프라인 기능 지원 등 다양한 애플리케이션 개발에 새로운 가능성을 제시합니다.