Dispersion loss counteracts embedding condensation in small language models

개요

작은 언어 모델(small language models)에서 발생하는 임베딩 응축(embedding condensation) 현상을 분석하고, 이를 완화하기 위한 분산 손실(dispersion loss)을 제안하여 모델의 일반화 성능 향상을 도모합니다.

주요 내용

* 임베딩 응축 (Embedding Condensation): 트랜스포머(Transformer) 모델의 각 레이어를 통과하면서 입력 토큰의 벡터 표현이 고차원 임베딩 공간에서 좁은 원뿔(narrow cone) 형태를 띠며 유사한 방향으로 집중되는 현상입니다.
* 작은 모델에서의 심화: 임베딩 응축은 큰 모델보다 작은 모델에서 더 두드러지게 나타납니다.
* 재현 가능성: 다른 요인(dataset, training settings 등)을 통제한 환경에서도 동일한 현상이 재현됩니다.
* 초기화 시 발생: 임베딩 응축은 모델 초기화 시점부터 나타나며, 사전 학습(pre-training)을 통해 완화됩니다.
* 지식 증류의 한계: 큰 모델로부터의 지식 증류(knowledge distillation)만으로는 임베딩 응축을 해결하지 못합니다.
* 분산 손실 (Dispersion Loss): 토큰 임베딩 벡터를 분산시켜 임베딩 응축의 효과를 상쇄하고, 표현 공간의 활용도를 높이는 새로운 학습 목표 함수입니다.
* 성능 향상: 분산 손실을 적용한 결과, 작은 모델의 성능 격차가 줄어들고 일반화 능력이 향상되는 것을 확인했습니다.

시사점

임베딩 공간의 기하학적 구조가 언어 모델 성능에 중요한 역할을 하며, 분산 손실과 같은 정규화 기법은 파라미터 수를 늘리지 않고도 작은 모델의 성능을 개선할 수 있는 잠재력을 가집니다.