How We Reduced LLM Latency by 89% and Token Usage by 91% in a Production Chrome Extension

개요

Simmark은 LLM 기반 북마크 정리 확장 프로그램 개발 과정에서 발생한 89%의 지연 시간 감소 및 91%의 토큰 사용량 절감이라는 주요 기술적 성과를 공유한다.

주요 내용

* 구조 최적화 이전 문제점: AI 기반 북마크 정리 도구 Simmark의 초기 구현에서 200개 북마크 처리 시 평균 62.74초의 지연 시간이 발생하여 사용자 경험을 저해했다.
* 요청/응답 페이로드 평탄화: LLM에 중첩된 JSON 트리 구조로 북마크를 전송하는 대신, 계층 구조를 평탄한 배열 구조로 변환하여 LLM의 컨텍스트 파싱 문제를 최소화하고 토큰 소비를 줄였다.
* 결정론적 로직 애플리케이션 계층 위임: LLM에게 품목 정렬 및 중복 ID 필터링과 같은 결정론적 작업을 맡기는 비효율성을 인지하고, 해당 로직을 백엔드 애플리케이션 계층으로 이관했다.
* 최적화 결과: 데이터 페이로드 재구조화 및 LLM과 백엔드 간 책임 분리를 통해 평균 응답 시간을 62.74초에서 6.78초로, 평균 출력 토큰을 25,403개에서 2,403개로 감소시켰으며, 처리 오류율을 16.7%에서 0.0%로 개선했다.

시사점

데이터 페이로드 구조 최적화 및 LLM과 애플리케이션 코드 간의 책임 분리가 LLM 기반 서비스의 성능과 효율성을 극적으로 향상시킬 수 있음을 입증했다.