Local AI needs to be the norm

개요

현대 소프트웨어 개발에서 클라우드 기반 AI 모델에 대한 API 호출 의존성은 애플리케이션을 불안정하게 만들고 개인 정보 침해 가능성을 높이며, 궁극적으로는 근본적으로 취약한 소프트웨어를 생성한다.

주요 내용

* 개발은 클라우드 호스팅 AI 모델에 대한 API 호출에 의존하는 경향이 있으며, 이는 서버 장애나 신용카드 만료 시 애플리케이션 작동 중단으로 이어질 수 있다.
* 로컬 디바이스의 컴퓨팅 성능, 특히 Neural Engine은 상당한 발전을 이루었음에도 불구하고, 대부분 유휴 상태로 남아 클라우드 서버 응답을 기다리는 데 사용된다.
* 사용자 콘텐츠를 제3자 AI 제공업체로 스트리밍하는 것은 데이터 보유, 동의, 감사, 침해, 정부 요청, 학습 등과 관련된 모든 복잡성을 야기하여 제품의 본질을 변화시킨다.
* 네트워크 연결, 외부 공급업체 가동 시간, 속도 제한, 계정 청구, 백엔드 상태 등에 대한 의존성이 추가되어 기능이 분산 시스템으로 변모하고 비용이 발생한다.
* Brutalist Report의 On-Device Summaries와 같은 사례는 Apple의 로컬 모델 API를 사용하여 서버 연결 없이 요약을 생성하며, 이는 개인 정보 보호와 데이터 보안을 강화한다.
* Apple은 개발자가 내장된 로컬 AI 모델을 쉽게 활용할 수 있도록 지원하는 도구를 제공하며, 이는 SystemLanguageModel 및 LanguageModelSession과 같은 API를 통해 이루어진다.
* 로컬 모델은 사용자가 보고 있는 콘텐츠의 요약, 분류, 추출, 재작성 또는 정규화와 같이 특정 작업에 뛰어나며, 이를 통해 사용자의 데이터를 로컬에 안전하게 유지할 수 있다.
* Apple의 Generable 프로토콜 및 @Guide 속성을 사용하면 자연어 지침을 통해 구조화된 데이터(예: Swift struct)를 생성할 수 있어, UI가 처리하기 용이하고 예측 가능한 동작을 보장한다.
* 로컬 AI는 "AI의 참신함"을 넘어 "신뢰할 수 있는 하위 시스템"으로서의 AI 구현을 가능하게 하며, 이는 사용자 데이터 보안 및 신뢰 구축에 기여한다.

시사점

로컬 AI는 데이터 프라이버시를 강화하고, 애플리케이션의 안정성을 높이며, 분산 시스템의 복잡성을 줄여 사용자에게 신뢰할 수 있는 기능을 제공함으로써 소프트웨어 개발의 패러다임을 전환할 잠재력을 가진다.