I Built a Local-First Alternative to LangSmith After Spending $200 Debugging a Pipeline I Couldn't See | Shivnath Tathe

개요

opensmith는 개발자가 로컬 환경에서 LLM 파이프라인을 디버깅하고 모니터링할 수 있도록 설계된 오픈 소스 도구입니다.

주요 내용

* 로컬 우선 설계: LangSmith와 달리 opensmith는 모든 데이터 처리를 로컬 머신에서 수행하여 클라우드 서비스로 민감한 프롬프트나 파이프라인 정보를 전송하지 않습니다.
* 간편한 설정 및 사용: pip install opensmith 명령어로 설치하고, @trace 데코레이터를 파이썬 함수에 추가하는 것만으로 LLM 파이프라인 추적을 시작할 수 있습니다.
* 추적 기능: 함수의 이름, 입력, 출력, 각 단계별 지연 시간(ms), 토큰 사용량, 예상 비용, 에러 발생 시 전체 스택 트레이스, 중첩 호출의 부모-자식 관계 등을 캡처합니다.
* 대시보드: localhost:7823에서 실행되는 웹 기반 대시보드는 실시간 WebSocket 업데이트, 검색, 필터링, 차트 기능을 제공하며 별도의 계정 없이 사용할 수 있습니다.
* LangSmith와의 비교: LangSmith가 클라우드 계정 설정 및 데이터 전송이 필요한 반면, opensmith는 완전한 로컬 환경에서 무료로 사용할 수 있으며 LangChain을 포함한 다양한 프레임워크와 호환됩니다.
* v0.1.5 업데이트: 토큰 예산 알림 기능, CLI 트레이스 필터링, 자동 포트 감지, opensmith init을 통한 설정 파일 생성, autopatch 기능을 통한 코드 수정 없는 추적 지원이 추가되었습니다.
* 지원 라이브러리: OpenAI, Anthropic, LiteLLM, Qdrant, ChromaDB, Pinecone 등 다양한 LLM 및 벡터 스토어 라이브러리를 지원합니다.

시사점

opensmith는 클라우드 서비스에 대한 의존성 없이 LLM 파이프라인의 투명성을 확보하고 디버깅 효율성을 높여 개발 비용 절감 및 개발 프로세스 개선에 기여할 수 있습니다.