AIchain Pool: Parallel Calls Instead of Sequential

개요

AIchain의 Pool 기능은 LLM 호출 시 발생하는 순차적 지연 문제를 해결하기 위해 여러 작업을 동시에 실행하여 처리 속도를 획기적으로 개선하는 병렬 처리 모델을 제공합니다.

주요 내용

* 순차적 LLM 호출의 비효율성: 기존의 반복문(loop)을 사용한 LLM 호출 방식은 각 문서 처리가 순차적으로 이루어져 총 처리 시간이 문서 수에 비례하여 증가하며, 독립적인 작업임에도 불구하고 대기열로 인해 불필요한 지연이 발생합니다.
* Pool 기능의 병렬 처리: Pool은 하나의 Skill 또는 Chain과 입력 목록을 받아 모든 작업을 동시에 실행하며, 이는 Array.map()처럼 각 요소가 병렬로 LLM과 상호작용하는 것과 유사합니다.
* 기존 로직 유지 및 결과 관리: Pool은 기존 Skill 로직을 변경하지 않고 래핑하여 사용 가능하며, pool.run()은 입력 순서와 동일한 순서로 결과를 반환하여 추적이 용이하고, pool.status를 통해 완료 및 실패 건수를 파악할 수 있습니다.
* 동시성 제어 (max_flows): LLM 제공업체의 API 속도 제한(rate limit)을 준수하기 위해 max_flows 매개변수를 통해 동시에 실행되는 최대 호출 수를 제어할 수 있으며, 이를 통해 병목 현상 없이 효율적인 병렬 처리가 가능합니다.
* 실패 처리: Pool은 개별 작업의 실패가 전체 작업 중단을 초래하지 않도록 각 항목별로 독립적인 성공/실패 상태를 관리하며, 실패한 항목만 재처리하여 전체 작업의 재시작 부담을 줄입니다.
* Chain과의 통합: Pool은 Skill뿐만 아니라 Chain을 runner로 받아들여 다단계 워크플로우 역시 병렬로 처리할 수 있으며, 이를 통해 웹 페이지 가져오기, Markdown 변환, 요약 등의 복잡한 파이프라인을 여러 URL에 대해 동시에 실행할 수 있습니다.

시사점

AIchain의 Pool 기능은 LLM 작업의 처리 속도를 크게 향상시켜, 대규모 데이터셋 처리나 복잡한 다단계 파이프라인 실행 시간을 수십 분의 일로 단축시킴으로써 개발 생산성 향상 및 운영 비용 절감에 기여합니다.