Mapping Semantic Meaning Onto the Night Sky

개요

거대 언어 모델(LLM)의 작동 방식을 밤하늘의 은하에 비유하여 설명하며, 프롬프트, 온도(temperature), 컨텍스트(context)가 의미 공간에서의 탐색에 미치는 영향을 설명합니다.

주요 내용

* LLM의 의미론적 공간은 유한하지만 매우 방대하며, 각 은하는 언어의 특정 의미 영역에 해당합니다.
* 프롬프트는 LLM의 의미 공간 내 탐색 방향과 진입점을 설정하는 역할을 합니다.
* 온도(temperature)는 토큰(단어) 간의 이동 거리(도약 거리)를 조절하며, 낮은 온도는 가장 확률 높은 경로를 따라 결정론적인 출력을, 높은 온도는 덜 확률적인 경로를 탐색하여 창의적이지만 예측 불가능한 출력을 생성합니다.
* 컨텍스트(context)는 도약 거리를 변경하지 않고 의미 공간 내 탐색 방향을 제시하여 특정 영역에 머물도록 안내하며, 이동을 안내하는 역할을 합니다.
* 온도와 컨텍스트의 효과는 탐색 대상이 되는 "의미론적 은하"의 구조에 따라 달라집니다.
* 중심에 질량이 집중된 작은 은하(예: "프랑스의 수도는?")와 같이 구조가 단순하고 명확한 경우, 온도와 컨텍스트의 영향이 미미하며 결과가 거의 일정합니다.
* 중심 질량이 작고 광범위하게 분포된 큰 은하(예: "AI의 미래는...")와 같이 구조가 복잡하고 분기점이 많은 경우, 온도와 컨텍스트가 탐색의 다양성과 창의성에 큰 영향을 미칩니다.

시사점

이 은하수 비유는 LLM의 동작 방식을 이해하고 프롬프트 엔지니어링 시 온도와 컨텍스트를 효과적으로 활용하기 위한 실용적인 정신 모델을 제공하며, 특정 프롬프트에 대한 LLM의 반응 차이를 설명하는 데 유용합니다.