Building Food Metadata with LLM Juries

개요

DoorDash는 LLM 심사 시스템, 컨텍스트 최적화 에이전트, 분산 컴퓨팅, AI 기반 주석 생성을 포함하는 AI 기반 레스토랑 메타데이터 플랫폼을 개발하여 복잡하고 비정형적인 음식 데이터를 효율적이고 정확하게 처리합니다.

주요 내용

* LLM 심사 시스템: 다수의 LLM 평가자가 각 제안된 태그를 독립적으로 판단하고, 투표 및 집계를 통해 단일 합의 결정을 도출함으로써 기존 인간 검토자 대비 약 20%의 주석 정확도를 향상시켰습니다.
* 컨텍스트 최적화 에이전트: 강화 학습에서 영감을 받은 자율 루프를 통해 실패 신호를 활용하여 프롬프트의 컨텍스트를 반복적으로 개선하며, 수동으로 프롬프트를 조정하는 것에 비해 10배 빠른 개발 속도와 20% 이상의 모델 정밀도 향상을 달성했습니다.
* 분산 컴퓨팅: 수백만 개의 항목에 대한 LLM 추론을 대규모로 수행하여, 데이터를 수일 내에 처리 가능하게 함으로써 이전의 1개월 이상 소요되던 백필 시간을 단축했습니다.
* AI 기반 주석 생성: 전문화된 생성 및 평가 에이전트를 사용하여 고품질의 학습 데이터를 효율적으로 생성 및 검증함으로써, 프론티어 LLM 품질에 필적하는 모델을 기존 추론 비용의 10% 수준으로 학습시켰습니다.
* 메타데이터 플랫폼의 전반적인 흐름: 메뉴 업데이트 수집 및 중복 제거 → AI 생성기를 통한 메타데이터 생성 → 구조적 유효성 검사 → LLM 심사 시스템을 통한 품질 모니터링 및 컨텍스트 엔지니어링 개선 → 판매자 재정의 메커니즘을 포함합니다.
* 고품질 데이터의 중요성: 프롬프트 후보를 채점하는 데 사용되는 평가 데이터셋의 품질이 최적화 방향을 결정하며, 실패 사례가 성공 사례보다 더 많은 신호를 제공합니다.
* AI 기반 주석의 효율성: 소규모로 미세 조정된 모델은 LLM 대비 추론 비용을 약 90% 절감하면서도 동등한 성능을 달성합니다.
* LLM 대규모 추론 최적화: 중복 제거, Spark 분산, 배치 처리, 결과 재매핑을 통해 대규모 생성 작업을 효율적이고 고처리량의 프로세스로 전환하여 백필 시간을 1개월 이상에서 수일로 단축했습니다.
* 고객 경험 향상: 구조화된 메타데이터는 고객 검색 및 발견, 필터링, 개인화, 분석 지표 생성 등 다양한 다운스트림 애플리케이션의 기반 역할을 합니다.

시사점

이 AI 기반 메타데이터 플랫폼은 DoorDash의 아이템 및 스토어에 대한 깊고 의미론적인 이해를 가능하게 하여, 생성형 AI를 고부하 프로덕션 환경에서 안정적이고 비용 효율적으로 배포할 수 있음을 입증하였으며, 향후 개인화된 경험을 위한 강력한 데이터 기반을 구축했습니다.