I Gave My OpenClaw Agent a Physical Body

개요

OpenClaw AI 에이전트가 물리적인 로봇 팔을 성공적으로 제어하며, 물체 인식, 집기, 그리고 다른 AI 모델 훈련까지 수행하는 실험 결과를 보여준다.

주요 내용

* OpenClaw 에이전트의 물리적 로봇 팔 제어: OpenClaw 에이전트가 LeRobot 101이라는 사전 제작된 오픈소스 로봇 팔을 설정하고, 물체를 보고 집는 데 성공했다.
* AI를 활용한 로봇 개발의 용이성: 과거에는 전문적인 기술이 필요했던 로봇 훈련 및 제어가 AI 모델 덕분에 간소화될 가능성을 보여준다.
* AI 코딩과 로보틱스의 결합 (Code as Policy): AI 코딩 능력이 로봇 제어에 적용되어, 기존의 신뢰할 수 있지만 일반화하기 어려운 엔지니어링 방식과, 일반화는 잘 되지만 아직 신뢰성이 떨어지는 비전-언어-행동 모델 간의 간극을 메울 수 있다.
* LeRobot 101 활용: HuggingFace의 오픈소스 프로젝트인 LeRobot 101은 저렴하게 로보틱스 실험을 시작할 수 있도록 지원하며, 사람이 조작하는 컨트롤러 팔과 카메라가 달린 팔로 구성된다.
* OpenClaw와 Codex를 활용한 프로그래밍: OpenClaw와 Codex의 도움을 받아 빨간 공을 인식하고 집는 간단한 프로그램을 코딩했으며, Codex는 로봇 연결 설정, 관절 위치 보정, 그리고 인식 및 집기 스크립트 작성 등 복잡한 작업을 수행했다.
* AI 모델 훈련 지원: OpenClaw는 사용자를 안내하고 모델의 오류율을 검증하며 로봇 팔 제어를 위한 AI 모델 훈련 과정을 지원했다.
* Code as Policy의 발전: 2022년 연구에서 처음 제시된 'code as policy' 접근 방식은 AI 코딩 능력의 급속한 발전과 함께 많은 연구실에서 주목받고 있다.
* CaP-X 벤치마크와 CaP-Gym 환경: 로봇 코딩 모델의 성능을 측정하는 CaP-X 벤치마크는 Gemini가 다른 모델보다 로봇 프로그래밍에 더 효과적일 수 있음을 시사하며, CaP-Gym은 시뮬레이션 및 실제 로봇 제어를 위한 환경을 제공한다.
* CaP-Agent0 프레임워크: 이 프레임워크는 코딩 모델의 성능을 향상시켜 직접적인 로봇 동작 제어 모델을 능가하는 결과를 보여주기도 한다.
* Code as Policy의 상용화 및 접근성 확대: Nvidia와 협력하여 'code as policy' 접근 방식을 더 많은 로봇 소프트웨어 도구와 호환되도록 만들고 있으며, 이를 통해 일반 사용자가 로봇 분야에 더 쉽게 접근할 수 있도록 하는 것이 목표이다.

시사점

AI 코딩 능력과 물리적 로봇의 결합은 로보틱스 분야의 혁신을 가속화하고, 기술적 장벽을 낮춰 누구나 로봇을 제어하고 활용할 수 있는 미래를 열어줄 잠재력을 가지고 있다.