Writer introduces new AI model and upgraded harness to contain token costs

개요

Writer가 새 AI 모델 Palmyra X6와 비용 절감을 위한 업그레이드된 에이전트 하니스(harness)를 출시하며, AI 배포 비용 절감이라는 업계의 요구에 부응하고 있다.

주요 내용

  • Writer는 Z.ai의 오픈소스 모델 GLM-5.2를 기반으로 한 새로운 플래그십 모델인 Palmyra X6를 출시했으며, 이는 더 낮은 가격으로 배포 준비가 된 기능을 제공하도록 설계되었다.
  • Writer는 Palmyra X6와 하니스 인프라 변경 사항을 결합하면 고객의 기본 작업 비용을 최대 50%까지 절감할 수 있을 것으로 추정한다.
  • 회사는 복잡하고 다단계인 작업을 더 빠르고 적은 토큰으로 실행하는 데 중점을 두며, 하니스 최적화를 중요한 수단으로 보고 있다.
  • Writer 연구진의 최근 논문에 따르면, 하니스 효율성의 작은 변화가 모델 선택보다 비용을 절감하는 더 신뢰할 수 있는 방법일 수 있으며, 테스트 결과 평균 40%의 비용 절감을 보였다.
  • Writer의 에이전트 하니스는 모든 모델에 걸쳐 효율성을 배가시키는 구성 요소로, 향후에도 지속적으로 작동할 수 있다.
  • Palmyra X6는 Writer의 다른 모델과 함께 사용하거나 Azure 또는 Amazon Bedrock을 통해 가져온 외부 모델과 함께 사용할 수 있어, 고객 경험은 모델에 구애받지 않는다.
  • CEO May Habib은 기업들이 AI 벤치마크 추구에 지쳤으며, 비용 안정화를 원하지만, 기존 AI 랩들은 이를 제공하지 못하고 있다고 지적한다.
  • Habib은 AI 랩들이 기업이 AI로부터 혜택을 얻도록 돕는 방법을 깊이 이해하지 못하고 있으며, 토큰 사용을 늘리는 재정적 동기가 있다고 비판한다.

시사점

Palmyra X6 모델과 하니스 최적화는 AI 모델의 비용 효율성을 높여 기업들의 AI 도입 부담을 줄여줄 수 있으며, 이는 AI 랩에 대한 신뢰도가 낮아지는 추세 속에서 중요한 대안을 제시한다.

원문 읽기 →
원문을 불러오는 중...

댓글

GitHub Discussions