Decoding the new AI lingo: Loops, harnesses, squads, hill climbing… oh my!

개요

AI 기술 발전과 함께 등장한 새로운 개발자 용어들을 GitHub 팟캐스트 내용을 바탕으로Loop engineering, Ralph loops, Squads, Fleets, Harnesses, Hill climbing, Forward deployed engineer, Closed models, Open weights, Open source models 등의 개념을 정리하고 그 의미와 중요성을 설명합니다.

주요 내용

* Loop engineering: 에이전트에게 개별 작업을 수동으로 프롬프트하는 것을 넘어, 예약된 스케줄에 따라 실행되거나 특정 이벤트에 반응하는 등 반복 가능한 시스템을 설계하는 것을 의미합니다. 이는 AI 기반의 자동화된 작업 관리와 유사합니다.
* Ralph loops: 제품 요구사항 문서나 명세서에서 상세한 작업을 에이전트에게 부여하고, 작업이 완료될 때까지 계속 반복적으로 수행하도록 하는 루프의 한 구현 방식입니다. 대규모 작업을 계획-실행-확인 주기로 분해하는 데 유용할 수 있으나, 각 반복마다 추가적인 토큰, 컨텍스트, 컴퓨팅 자원이 소모되어 비효율적일 수 있습니다.
* Squads, Fleets, Multi-agent workflows: 루프가 워크플로우를 정의한다면, 'squads'와 'fleets'는 여러 에이전트가 워크플로우에 참여하는 방식을 설명합니다. Squad는 다양한 역할을 가진 에이전트 그룹으로, 실제 팀 구성을 반영할 수 있습니다. Fleet은 여러 에이전트가 동시에 작업을 병렬적으로 수행하는 것을 의미합니다.
* Harnesses: 모델 자체의 출력 외에, 모델을 워크플로우에서 유용하게 만드는 주변 시스템 전반을 의미합니다. 여기에는 도구, 권한, 메모리, 컨텍스트, 오케스트레이션 등이 포함되며, 모델의 행동을 안내하는 역할을 합니다. Harness engineering은 이러한 시스템을 설계하고 개선하는 작업을 뜻합니다.
* Hill climbing: 에이전트와 하네스를 점진적으로 개선하는 과정을 설명하는 용어입니다. 평가(evals)를 사용하여 에이전트의 출력을 측정하고, 결과가 개선될 때까지 하네스를 조정하거나, 에이전트가 특정 작업을 수행할 때 유용한 결과물을 생성하는지 확인하고 도구를 조정하는 방식 등이 포함됩니다.
* Forward deployed engineer: 고객 대면 엔지니어, 영업 엔지니어, 솔루션 엔지니어 등 AI 도구, 워크플로우, 에이전트 등을 기존 시스템에 통합하도록 지원하는 고객 중심 역할을 의미합니다.
* Closed models, Open weights, Open source models: AI 모델 배포 및 접근 방식의 차이를 설명합니다. Closed models는 API 또는 호스팅된 제품을 통해 접근하며, 모델 가중치나 훈련 데이터에 직접 접근할 수 없습니다. Open weights models는 모델 가중치를 공개하여 다운로드 및 실행이 가능하지만, 데이터셋과 훈련 방법은 공개되지 않을 수 있습니다. Open source models는 모델, 코드, 데이터, 훈련 과정 모두 공개되어 검사, 재사용, 수정이 가능합니다.

시사점

새로운 AI 관련 용어들은 AI 기술을 활용한 개발 방식의 진화와 실무적 적용의 다양성을 반영하며, 개발자들은 이러한 용어의 명칭보다는 그 기반이 되는 반복 가능한 워크플로우 설계, 작업 검증, 인간의 개입 정도, 모델 의존성, 시스템 개선 방안 등의 근본적인 원칙에 집중해야 합니다.