Beating GPT-5.6 Sol on retrieval with 100x cheaper open models

개요

Castform과 Neon은 기존의 데이터베이스 내 데이터를 활용하여 오픈소스 LLM을 최적화하는 새로운 접근 방식을 제시하며, 이를 통해 GPT-4.6 Sol과 같은 최신 모델에 필적하거나 능가하는 성능을 훨씬 저렴한 비용으로 달성할 수 있습니다.

주요 내용

• 기존 LLM 활용의 한계: 최신 LLM 모델은 뛰어난 성능을 보이지만, 멀티턴 검색 워크플로우에서 높은 비용과 지연 시간 문제가 발생하여 실용성이 떨어집니다.
• 오픈소스 모델의 잠재력: 작고 오픈소스인 모델은 비용 효율성이 높지만, 기본 성능이 최신 모델에 비해 부족합니다.
• RL (Reinforcement Learning) 후훈련의 중요성: RL 후훈련을 통해 오픈소스 모델의 성능을 향상시켜 최신 모델과의 격차를 줄일 수 있습니다.
• Castform의 역할: Castform은 개발자가 머신러닝 및 GPU에 대한 전문 지식 없이도 오픈소스 모델을 RL 후훈련할 수 있도록 지원하며, 기존 데이터를 활용하여 학습 가능한 작업(task), 환경(environment), 보상 함수(reward function)를 생성합니다.
• Neon과의 통합: Neon의 Lakebase Search와 결합된 Castform 파이프라인은 데이터 저장, 합성 데이터 생성, RL 훈련, 그리고 최종 모델 추론까지 모든 단계를 지원합니다.
• 핵심 기능: Castform은 문서를 기반으로 질문-답변 쌍을 생성하고, 에이전트가 사용할 도구와 보상 함수를 정의하여 모델이 올바른 정보 검색, 출처 인용, 정확한 답변 제공 등을 학습하도록 유도합니다.
• 실시간 모니터링 및 디버깅: Castform은 RL 훈련 과정에 대한 완전한 가시성을 제공하여 보상 개선 과정을 모니터링하고, 개별 작업/프롬프트에 대한 모델 성능을 분석하여 문제를 디버깅할 수 있습니다.
• Neon의 동적 확장성: Neon의 동적 컴퓨팅 확장 기능은 RL 훈련 시 발생하는 높은 트래픽을 효율적으로 처리하며, 유휴 시간에는 컴퓨팅 자원을 축소하여 비용을 절감합니다.
• 상태 저장 에이전트 훈련: Neon의 브랜칭 및 타임슬라이스 쿼리 기능은 상태 저장 에이전트 훈련을 위한 격리된 환경을 제공하여, 수천 개의 에이전트 롤아웃을 효율적으로 관리할 수 있습니다.

시사점

Castform과 Neon의 통합 솔루션은 기업이 자체 데이터를 활용하여 저렴하고 빠른 오픈소스 LLM을 개발하고, 이를 통해 GPT-5.6 Sol과 같은 최첨단 모델과의 성능 경쟁에서 우위를 점할 수 있는 실질적인 방안을 제시합니다.