Embeddings: Meaning as Numbers

개요

Embeddings는 단어, 토큰, 사용자 ID, 상품 등 이산적인 정보를 고차원 공간의 숫자로 표현하는 기술이며, 이를 통해 기계가 의미를 측정, 비교, 검색할 수 있게 합니다.

주요 내용

* Embeddings의 개념: Embeddings는 고차원 공간에서의 좌표로 표현되는 숫자 목록이며, 유사한 개념은 벡터 공간에서 가깝게 위치합니다. 이는 지도상의 위도, 경도와 유사하게 각 차원은 입력의 잠재적 특징을 나타냅니다.
* 단어를 숫자로 변환하는 과정: 텍스트는 토크나이저를 통해 토큰 ID로 분할되고, 이 ID는 Embedding Matrix에서 해당 토큰의 Embedding Vector를 찾는 데 사용됩니다. 이 과정은 신경망이 처리할 수 있는 밀집 벡터 시퀀스로 변환하는 Embedding Layer를 통해 이루어집니다.
* 유사한 단어가 유사한 벡터를 갖는 이유: distributional hypothesis에 따라 유사한 문맥에서 나타나는 단어는 유사한 의미를 가지며, 이는 모델이 학습하는 동안 벡터 공간에서 서로 가깝게 배치되도록 합니다. 현대 모델은 Word2Vec과 같은 방식을 통해 훈련 데이터에서 이러한 통계적 연관성을 학습합니다.
* Embeddings의 학습 방법: Word2Vec의 skip-gram 모델은 실제 단어 쌍과 무작위로 생성된 가짜 단어 쌍을 비교하여, 자주 함께 나타나는 단어의 Embedding Vector 간의 dot product를 최대화하는 방식으로 학습합니다. 이는 단어-문맥 간의 Pointwise Mutual Information (PMI) 행렬의 저차원 근사치와 동등합니다.
* 단어 이상의 정보를 위한 Embeddings 활용: 문장 전체를 대표하는 Sentence Embedding은 모든 토큰의 벡터를 평균하거나 특별한 토큰의 벡터를 사용하는 방식으로 생성됩니다. 이 Sentence Embedding은 코사인 유사도를 통해 다른 문장과의 의미적 유사성을 측정하는 데 사용됩니다.
* Embeddings의 활용 분야: Semantic Search에서는 쿼리를 Embedding Vector로 변환하여 저장된 문서나 구절의 Embedding과 비교하여 의미적으로 가장 가까운 것을 찾습니다. 추천 시스템에서는 사용자 및 상품의 Embedding을 사용하여 사용자 선호도를 예측하고, 대화형 AI에서는 이전 대화 내용을 Embedding으로 저장하여 관련 정보를 검색하는 데 사용됩니다.
* Embeddings의 장점: Embeddings는 단어, 문장, 사용자, 상품 등 이산적인 대상을 기하학적 공간에서의 거리로 유사성을 표현할 수 있게 하여, 언어 및 개인화 처리 시스템의 보편적인 기반 기술로 활용됩니다.

시사점

Embeddings는 인공지능 시스템이 복잡한 데이터를 수치적으로 표현하고 의미적 관계를 파악할 수 있게 하는 핵심 기술로, 검색, 추천, 대화형 AI 등 다양한 응용 분야에서 비약적인 발전을 가능하게 합니다.