𝗪𝗵𝗮𝘁 𝗶𝗳 𝐫𝐞𝐥𝐢𝐚𝐛𝐥𝐲 𝗮𝘂𝘁𝗼𝗺𝗮𝘁𝗶𝗻𝗴 𝘆𝗼𝘂𝗿 𝗱𝗮𝘁𝗮 𝘀𝗰𝗶𝗲𝗻𝗰𝗲 𝐭𝐚𝐬𝐤𝐬 𝘄𝗮𝘀 𝐟𝐢𝐧𝐚𝐥𝐥𝐲 𝘄𝗶𝘁𝗵𝗶𝗻 𝗿𝗲𝗮𝗰𝗵?!

개요

OpenDataSci는 데이터 과학 및 머신러닝 작업을 위한 자율 에이전트로, EDA부터 최종 평가까지 전체 개발 수명 주기를 자동화하며, Anthropic Claude Sonnet 4.6을 사용하여 Kaggle 경연에서 0.95의 AUC 점수를 기록했습니다.

주요 내용

• OpenDataSci는 데이터 과학 작업의 반복적인 과정(프롬프트, 대기, 검토, 수정)을 자동화하고, 세션 종료 후에도 학습 내용을 기억하여 인간-AI 협업의 병목 현상을 해소합니다.
• Kaggle 경연에서 OpenDataSci는 어떤 힌트나 안내 없이 독립적으로 실행되었으며, 3천 개 이상의 팀과 3만 6천 개 이상의 제출물 중 상위 30%에 해당하는 0.95 AUC를 달성했습니다.
• 최고 성적을 거둔 제출물은 OpenDataSci보다 0.004 높은 AUC를 기록했으나, 이는 다양한 모델 패밀리, 딥러닝, 400개 이상의 피처, 광범위한 AutoML, 186개의 앙상블 모델 등 상당한 수동 작업과 시간을 요구했습니다.
• OpenDataSci는 안전한 로컬 샌드박스 내에서 계획, 코드 작성, 실행을 자율적으로 수행하며, 자체 검토 및 수정을 통해 사용자에게 전달하기 전에 오류를 줄입니다.
• 이 에이전트는 세션 간 데이터 기억, 실행별 학습을 통해 성능을 향상시키고, 병렬 실험 및 앙상블 실행이 가능하며, 토큰 효율성과 품질을 위한 고급 컨텍스트 관리 기능을 갖추고 있습니다.
• 미리 정의된 데이터 과학 및 머신러닝 관련 기술을 내장하고 있으며, 사용자는 사용자 정의 기술을 추가하여 에이전트의 역량을 확장할 수 있습니다.
• Anthropic, OpenAI, Bedrock, Vertex AI, Ollama, vLLM 등 주요 LLM 제공업체와 호환되며, OpenAI 호환 서버에서도 작동합니다.
• 사용자는 목표만 설정하면 되며, 데이터 과학 지식 없이도 OpenDataSci가 작업을 수행합니다.

시사점

OpenDataSci는 데이터 과학 및 머신러닝 워크플로우의 복잡성을 추상화하여, 개발자들에게 반복적인 작업을 자동화하고 더욱 창의적이고 전략적인 작업에 집중할 수 있는 가능성을 제공합니다.