Mistral Patent for "Code implemented tool calls"

개요

Mistral AI가 출원한 "Code implemented tool calls" 관련 특허는 대규모 언어 모델(LLM)이 도구 호출(tool calls)을 코드 블록으로 생성하고, 이를 샌드박스 환경에서 실행하며, 클라이언트와의 상호작용을 통해 도구 실행 결과를 LLM에 전달하는 방법을 제시한다.

주요 내용

• LLM 기반 코드 블록 생성: 사용자의 도구 호출 요청을 받아, LLM은 특정 프로그래밍 언어로 도구 호출을 캡슐화하는 코드 블록을 생성한다.
• 샌드박스 환경에서의 코드 실행: 서버는 생성된 코드 블록을 샌드박스 환경에서 실행한다.
• 보류 중인 도구 호출 처리: 코드 블록 실행 중 보류 중인 도구 호출이 발생하면, 실행을 일시 중단한다.
• 클라이언트로의 도구 호출 전달: 보류 중인 도구 호출은 클라이언트로 전송되어 실행된다.
• 결과 수신 및 코드 블록 재개: 클라이언트로부터 도구 호출의 첫 번째 결과를 받은 후, 서버는 코드 블록 실행을 재개하고 해당 결과를 코드 블록 내에서 대체한다.
• 최종 결과 반환: 실행된 코드 블록의 최종 결과를 LLM에게 반환한다.

시사점

이 특허는 LLM이 외부 도구를 활용하는 과정을 보다 효율적이고 안전하게 관리할 수 있는 메커니즘을 제공하며, 복잡한 외부 도구 연동 시나리오에서 LLM의 활용성을 증대시킬 수 있는 기반 기술을 제안한다.