LLMs are stuck in a groupthink groove. This startup is trying to get them out.

개요

대부분의 대규모 언어 모델(LLM)은 개방형 질문에 대해 예측 가능하고 획일적인 답변을 생성하는 경향이 있어 창의적인 아이디어 발상에 제약을 가져온다. 호주 스타트업 Springboards는 이러한 LLM의 '그룹 사고' 문제를 해결하기 위해 더 넓은 범위의 다양한 응답을 생성하도록 훈련된 LLM인 Flint를 개발했다.

주요 내용

• LLM의 예측 가능성 문제: 챗봇에 "1에서 10 사이의 임의의 숫자"를 요청하면 대부분 7이 나오고, "자동차 종류"를 물으면 Toyota나 Honda가 자주 언급되는 등 LLM이 획일적인 답변을 생성하는 경향이 있다. 이는 개방형 질문에서의 창의적인 아이디어 발상에 방해가 된다.
• "Artificial Hivemind" 연구: 11월에 발표된 "Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)" 연구는 다양한 LLM이 개방형 질문에 대해 매우 유사한 답변을 도출한다는 사실을 보여주며, 이는 LLM의 훈련 방식과 데이터의 유사성 때문인 것으로 추정된다.
• Springboards의 Flint LLM: Springboards는 다양한 응답을 생성하는 데 초점을 맞춘 LLM Flint를 개발했다. Flint는 기존 LLM이 7을 출력할 때 3.7916과 같은 더 무작위적인 숫자를 생성하거나, "Run your way"라는 흔한 문구 대신 "Built to last, run to win."과 같은 다른 태그라인을 제시한다.
• Flint의 훈련 방식: Flint는 Alibaba의 오픈 소스 모델인 Qwen 3를 기반으로 하며, 단순히 '온도(temperature)' 설정을 높이는 것이 아니라, 응답의 특정 지점에서 더 많은 다양성을 탐지하고 무작위적인 단어나 구문으로 채우도록 훈련되었다. 이는 LLM이 전체 응답에 걸쳐 무작위성을 증가시키는 것이 아니라, 필요한 부분에만 집중하여 일관성을 유지하면서도 다양성을 확보하는 방식이다.
• 활용 사례 및 가능성: Flint는 광고 및 마케팅 분야의 창의 전문가들이 아이디어를 브레인스토밍하는 데 활용될 수 있다. 사용자는 Flint를 통해 기존 LLM으로는 생각하기 어려운 완전히 다른 방향의 아이디어를 얻을 수 있으며, 이는 '창의적인 도약'을 위한 도구로 작용할 수 있다.
• 주의점: Flint와 같은 LLM의 결과물이 항상 완벽하지는 않으며, 과도하게 밀어붙이면 오류가 발생할 수 있다. 또한, LLM 결과에 지나치게 의존하는 것은 개인의 사고력과 창의성을 저해할 수 있으므로, 보조적인 도구로 활용하는 것이 중요하다.

시사점

LLM의 획일적인 응답 경향은 창의적이고 혁신적인 아이디어 도출에 한계점을 드러내고 있으며, Flint와 같은 새로운 접근 방식은 LLM의 활용 범위를 넓히고 사용자가 더 다양하고 예상치 못한 결과물을 얻을 수 있도록 지원할 가능성을 보여준다.