Probably raises $9M to build a more reliable kind of AI

개요

Probably는 LLM의 환각(hallucination) 및 사실 오류 문제를 해결하기 위해 9백만 달러의 시드 펀딩을 유치한 AI 스타트업으로, 99.99%의 정확도를 목표로 하는 정밀 시스템을 구축하고 있습니다.

주요 내용

• 환각 및 오류 방지: LLM의 강력한 성능에도 불구하고 발생하는 환각 및 사실 오류를 방지하여 사용자에게 도달하지 못하도록 하는 것을 목표로 합니다.
• 정밀한 검증 시스템: LLM의 첫 번째 답변을 결정론적(deterministic) 검증 시스템을 통해 확인하고, 데이터셋과 일치하지 않는 결과는 되돌립니다.
• 하네스 엔지니어링의 중요성: 검증 시스템이라는 "데이터 사이언스 메크 슈트(data science mech suit)"를 통해 LLM의 성능 요구 사항을 낮추고, 컨텍스트를 정제하여 모호성을 줄이는 데 집중합니다.
• 작은 모델 활용 및 비용 절감: 정교한 검증 시스템 덕분에 최첨단 모델보다 몇 단계 낮은, 더 작은 AI 모델을 사용할 수 있어 로컬 하드웨어에서도 실행 가능하며 토큰 비용을 크게 절감합니다.
• 확장 가능한 엔진: 데이터 과학 도구 외에도 회계, 의료 서비스 등 정밀도가 중요한 다양한 사용 사례에 동일한 엔진을 확장 적용할 계획입니다.

시사점

Probably의 접근 방식은 LLM의 신뢰성을 크게 향상시키고 AI 도입에 대한 비용 부담을 줄여, 기존 AI 연구가 간과했던 실용적인 정확도 개선에 대한 새로운 가능성을 제시합니다.