Building 60 MCP Servers Using the Five Elements Framework: What We Learned

개요

tancoai.com 팀은 60개 이상의 MCP (Model Context Protocol) 서버와 Skill을 구축하는 과정에서 'Five Elements Framework'를 개발했으며, 이 프레임워크는 Skill의 신뢰성을 향상시키고 개발 프로세스의 효율성을 증대시키는 데 중점을 둡니다.

주요 내용

- 문제점: 초기 Skill 개발은 간단한 테스트를 통과하면 출시했지만, 실제 사용 로그에서 트리거 실패, 컨텍스트 부족, 포맷 불일치, 피드백 부재 등 '작동은 하지만 뭔가 잘못된' 증후군을 겪었습니다. 100개 이상의 실패한 Skill 구현 분석 결과, 트리거 불일치(67%), 검색 문제(54%), 추론 오류(43%), 출력 형식 문제(31%) 등이 발생했으며, 피드백 메커니즘은 0%였습니다.
- Five Elements Framework:
1. Trigger: Skill이 올바른 순간에 활성화되는지 측정하며, '발화해야 함'과 '발화하지 않아야 함' 입력 코퍼스로 정밀도와 재현율을 90% 이상으로 유지합니다.
2. Retrieval: Skill이 외부 컨텍스트를 정확하게 검색하는지 측정하며, 테스트 케이스에서 알려진 관련 컨텍스트를 제공하는 비율(Hit Rate)을 측정합니다.
3. Reasoning: Skill의 의사 결정 로직이 타당한지 10-20개의 테스트 케이스와 적대적 사례를 통해 측정하며, 프롬프트, 컨텍스트, 제약 조건의 조합이 중요함을 강조합니다.
4. Output: Skill의 응답 형식이 신뢰할 수 있는지 스키마 테스트를 통해 측정하며, 100%의 출력이 선언된 스키마를 준수해야 합니다.
5. Feedback: Skill의 성능 개선 추세를 측정하며, Skill별 정확도, 실제 사용 패턴, 실패 클러스터링을 추적하여 객관적인 개선 지표를 확보합니다.
- 프레임워크의 작동 방식: Five Elements Framework는 각 요소가 서로 연관된 시스템으로, Trigger 실패는 Retrieval 기회를 막고, Retrieval 실패는 Reasoning에 잘못된 데이터를 제공하며, Output 실패는 Feedback 수집을 방해합니다. Feedback은 다른 네 가지 요소를 개선하는 데 활용됩니다.
- 60개 서버 구축 경험: 초기 10개 Skill은 프레임워크 없이 개발되어 문제가 많았으나, 프레임워크 개발 후 10개 Skill 재구축과 60개 이상 Skill 구축이 빨라졌습니다. 각 요소별 통과 기준(Trigger >= 90%, Retrieval >= 85%, Reasoning >= 90%, Output = 100%)을 충족해야 출시가 가능해졌습니다.
- 주요 실패 지점 (Fact-Checking Skill - 辩真): 이 Skill은 초기 Retrieval 문제로 정확도가 70%였으나, Retrieval 파이프라인 개선 후 92%로 향상되었습니다. 이는 모델이나 프롬프트 구조가 아닌, 컨텍스트 검색의 질이 중요함을 보여줍니다.
- 구축 과정의 어려움: 봇 트래픽과 실제 사용자 트래픽 분리, 방대한 문서화 부채, 업스트림 API 변경으로 인한 유지보수 부담, 프레임워크 적용의 번거로움으로 인한 출시 지연 등이 있었습니다.
- 핵심 교훈: 최고의 정확도 향상은 더 나은 모델이나 프롬프트가 아닌, Trigger와 Retrieval에서 왔습니다. Feedback부터 시작하여 측정 가능한 것을 꾸준히 추적하는 것이 중요합니다. 소규모 개발에는 애드혹 테스트로 충분하지만, 10개 이상 개발 시 구조화된 접근 방식이 필요하며 50개 이상은 체계적인 관리가 필수적입니다.

시사점

Five Elements Framework는 Skill의 신뢰성, 견고성, 유지보수성을 체계적으로 관리하여 대규모 Skill 시스템 구축 시 발생할 수 있는 잠재적 문제를 예방하고, 지속적인 개선을 위한 객관적인 지표를 제공합니다.