Rebuilding the data stack for AI

개요

AI 기술 도입의 장애물로 기업 데이터 인프라의 통합, 관리, 목적 적합성 부족이 부각되며, 이는 AI의 효율성과 신뢰성에 직접적인 영향을 미친다.

주요 내용

• 기업 AI의 핵심은 데이터 품질: 소비자용 AI와 달리 기업용 AI는 조직 내 데이터의 품질과 접근성에 크게 의존하며, 데이터가 파편화되어 있으면 AI 시스템은 신뢰할 수 있는 결과를 생성하기 어렵다.
• AI를 위한 데이터 재구성 필요성: AI 시스템의 효과적인 작동을 위해 데이터는 개방형 포맷으로 통합되고, 정밀하게 관리되며, 모든 기능 부서에 접근 가능해야 한다.
• 데이터 인프라의 진화: 기존의 사일로화된 SaaS 플랫폼과 분산된 대시보드에서 벗어나, 구조화 및 비구조화 데이터를 통합하고 실시간 컨텍스트를 유지하며 엄격한 액세스 제어를 시행할 수 있는 통합된 개방형 데이터 아키텍처로의 전환이 요구된다.
• AI 활용의 전략적 접근: AI 이니셔티브를 격리된 혁신 프로젝트가 아닌, 비즈니스 성과와 직접적으로 연계하고 거버넌스 프레임워크를 통해 결과를 측정하고 불필요한 프로젝트는 신속하게 중단하는 전략적 접근이 중요하다.
• 행동 시스템(System of Action)으로의 전환: AI는 단순한 실행 또는 참여 시스템을 넘어, 워크플로우와 거래를 관리할 수 있는 자율적인 운영자가 되어 '행동 시스템'으로 진화할 것이며, 이를 위한 준비된 데이터 기반이 승패를 가를 것이다.
• Databricks의 Lakehouse 및 Lakebase: Databricks는 분석을 위한 Lakehouse와 AI 에이전트 및 앱을 위한 OLTP 데이터베이스인 Lakebase를 제공하여, 기업이 모든 데이터를 위한 단일 시스템을 구축하도록 지원한다. Lakebase는 별도의 컴퓨팅과 스토리지, 서버리스 아키텍처를 통해 AI 기반 애플리케이션에 필요한 신속성과 비용 효율성을 제공한다.
• 가치 측정 및 거버넌스의 중요성: AI 투자의 상업적 가치 확보는 최우선 과제이며, 명확한 성과 지표 설정, 데이터 수명 주기 전반에 걸친 거버넌스 및 보안 프로토콜 구축이 AI 프로젝트의 성공과 확장 가능성에 필수적이다.
• 에이전트 스롤(Agent Sprawl) 및 거버넌스: AI 에이전트의 확산은 사용자 혼란, 비용 증가, 보안 문제 등을 야기할 수 있으므로, 에이전트의 성능, 피드백 루프, 실행 비용 등을 추적하고 관리할 수 있는 효과적인 거버넌스 체계가 필요하다.
• AI를 활용한 거버넌스 강화: AI 기술 자체를 활용하여 데이터 검색, 액세스 관리, 의미론적 정의 등 거버넌스 프로세스를 자동화하고 가속화할 수 있다.

시사점

기업은 AI 도입의 성공을 위해 단편화된 정보를 통합하고 관리하여 전략적 자산으로 전환해야 하며, 이를 통해 더 나은 의사 결정과 새로운 운영 방식을 구현할 수 있다.