DSpark: Speculative decoding accelerates LLM inference [pdf]

개요

DSpark는 LLM 추론 속도를 크게 향상시키는 새로운 개념의 추론 기법입니다. GPU에서 LLM 추론을 가속화하며, 기존의 방법론보다 더 효율적인 방식으로 작동합니다.

주요 내용

* Speculative Decoding의 원리: DSpark는 작은 "견인차(draft)" 모델을 사용하여 대규모 "참조(ground truth)" 모델이 생성할 가능성이 높은 토큰을 미리 예측합니다. 이 예측된 토큰들을 병렬로 실행하고, 작은 모델의 예측이 올바른지 큰 모델로 검증합니다.
* 성능 향상: 이 방식은 GPU에서의 LLM 추론 속도를 최대 3배까지 향상시킬 수 있습니다. 이는 대기 시간을 줄이고 처리량을 늘리는 데 기여합니다.
* 구현의 용이성: DSpark는 Transformer 아키텍처에 대한 수정 없이, 기존 LLM 추론 프레임워크에 통합될 수 있도록 설계되었습니다. 이는 새로운 LLM 모델을 개발하거나 기존 모델을 재훈련할 필요 없이 적용 가능함을 의미합니다.
* 병렬 처리 활용: GPU의 병렬 처리 능력을 적극적으로 활용하여, 여러 토큰을 동시에 생성하고 검증함으로써 추론 시간을 단축합니다.
* 다양한 LLM 지원: DSpark는 Llama 2, GPT-NeoX 등 다양한 LLM 모델에 적용될 수 있으며, 모델의 크기나 아키텍처에 관계없이 효과를 보입니다.
* 효율적인 검증: 작은 모델의 예측이 틀렸을 경우, 큰 모델은 단순히 해당 토큰부터 다시 시작하는 것이 아니라, 작은 모델이 예측한 시점까지의 계산을 재사용하여 효율성을 높입니다.

시사점

DSpark는 LLM 추론의 병목 현상을 해결하여 실시간 응용 프로그램에서의 LLM 활용성을 크게 증대시킬 수 있는 잠재력을 가집니다. 이는 LLM 기반 서비스의 비용 효율성을 높이고 사용자 경험을 개선하는 데 기여할 것으로 보입니다.