Konsey: a multi-LLM council where a model can't verify its own output

개요

Konsey는 단일 LLM이 자체 출력을 검증하는 데 발생하는 이해 상충 문제를 해결하기 위해 여러 LLM 제공자를 협의체 형태로 운영하는 MIT 라이선스의 CLI 오케스트레이션 도구입니다.

주요 내용

• 작동 방식: 독립적인 제공자들이 계획을 수립하고, 적대적 비평가가 이 계획을 공격하며, 다른 제공자가 최종 결과를 검증하는 방식으로 작동합니다. 핵심 규칙은 출력을 생성한 모델이 스스로를 검증할 수 없다는 것입니다.
• 9단계 루프: Plan → Critique → Synthesize → Execute → Verify → Decide의 9단계 루프를 가지며, 모든 과정은 DuckDB에 append-only 형태로 기록되어 감사 추적을 제공합니다.
• 벤더 중립성: Claude, Codex, Gemini 등 다양한 LLM 제공자를 지원하며, Ollama 또는 llama.cpp를 이용한 로컬 모델도 사용할 수 있습니다. 설정 변경만으로 쉽게 제공자를 전환할 수 있습니다.
• 로컬 우선: 완전히 오프라인으로 실행 가능하며, 민감 정보(PHI)나 규제 대상 작업에 적합합니다.
• 계층적 안전 기능: 엄격, 중간, 약함 수준의 안전 설정을 제공하며, 비밀 정보 및 PHI 스캔 기능을 포함합니다.
• 챗 커넥터: Telegram, Notion, Slack, WhatsApp 등 다양한 채팅 플랫폼과 연동되며, 모든 채널에서 동일한 위험 관문(risk gate)을 적용합니다.

시사점

Konsey는 LLM의 자기 검증 문제를 해결하고, 다양한 LLM 제공자를 유연하게 활용하며, 로컬 환경에서의 프라이버시와 보안을 강화하는 새로운 접근 방식을 제시합니다.