What We Learned Building Heym for Production AI Workflows

개요

Heym은 LLM, 에이전트, RAG, 브라우저 자동화 등을 중심으로 구축된 AI 네이티브 워크플로우 자동화 플랫폼으로, 프로덕션 AI 워크플로우 구축의 복잡성을 해결하기 위한 최신 릴리스를 통해 RAG 동기화, 다중 인스턴스 실행, OIDC SSO, 실행 검사, 브라우저 자동화 개선 등 실질적인 기능들을 강화했습니다.

주요 내용

* RAG 동기화 강화: RAG 및 Vector Store 노드에 Upsert 및 Delete 작업을 추가하여 문서 ID를 기반으로 RAG 인덱스를 동기화할 수 있게 되었으며, 이는 RAG를 일회성 작업이 아닌 동기화 워크플로우로 전환시킵니다.
* 다중 워커 인스턴스를 통한 워크플로우 분산: 가변적인 AI 워크플로우의 부하를 분산하기 위해 여러 인스턴스에 백그라운드 실행을 분배할 수 있으며, PostgreSQL을 통해 워크로드를 관리하고 특정 워크플로우는 메인 인스턴스에 고정시킬 수 있습니다.
* 기존 ID 제공업체와의 OpenID Connect (OIDC) SSO 통합: Keycloak, Okta, Microsoft Entra ID 등 다양한 OIDC 제공업체와 연동하여 사용자 인증을 처리하며, 워크플로우 자체의 자격 증명과는 별개의 보안 경계를 설정합니다.
* 실행 타임라인을 통한 실행 상세 정보 검사: 워크플로우 실패 시, 실행 타임라인 내에서 상태, 지속 시간, 재시도 횟수, LLM 추적 정보, 오류, 노드 출력 등 상세 정보를 바로 확인할 수 있어 디버깅을 용이하게 합니다.
* AI 기반 브라우저 자동화 기능 개선: Playwright 노드에서 자연어 지침을 Playwright 액션으로 변환하고, 실패 시 자동 복구 및 스크린샷 갤러리 기능 등을 제공하며, AI 생성 액션을 저장하고 재활용할 수 있습니다.
* 실무적 AI 워크플로우 구축 관련 엔지니어링 교훈: 거버넌스, 샌드박싱, 명세화 등 AI 에이전트의 복잡하고 어려운 측면에 대한 탐구를 통해, 관리 가능한 실질적인 제어 메커니즘의 중요성을 강조합니다.

시사점

Heym은 AI 워크플로우의 시각적이고 빠른 개발과 명시적인 운영을 결합하여, 복잡성을 개발자나 운영자가 의사결정을 내려야 하는 지점에서 가시화함으로써 프로덕션 AI 워크플로우의 신뢰성과 관리 가능성을 높입니다.