Reimagining the mouse pointer for the AI era

개요

AI 시대에 맞춰 마우스 포인터를 재해석하며, 사용자가 모든 도구에서 AI와 자연스럽게 협업할 수 있도록 기존의 'AI 창으로 내가 가는' 방식에서 'AI가 사용자의 흐름 속으로 들어오는' 방식으로 전환하는 새로운 접근 방식을 제안합니다.

주요 내용

* AI와 사용자 간의 협업 방식 개선: 현재 AI 도구가 별도의 창에서 작동하여 사용자가 정보를 드래그하는 불편함이 있지만, 새롭게 개발 중인 AI 기반 포인터는 사용자가 현재 작업 중인 모든 애플리케이션에서 AI의 도움을 받을 수 있도록 합니다.
* 핵심 상호작용 원칙 4가지:
* 흐름 유지 (Maintain the flow): AI 기능이 특정 앱에 국한되지 않고, 사용자가 작업 중인 곳 어디서든 작동하여 'AI 우회'를 방지합니다. 예를 들어 PDF에서 요약하여 이메일에 바로 붙여넣거나, 통계 표에서 파이 차트를 요청할 수 있습니다.
* 보여주고 설명하기 (Show and tell): 복잡한 텍스트 프롬프트 대신, 포인터 주변의 시각적 및 의미론적 맥락을 AI가 포착하여 사용자의 의도를 더 직관적으로 이해하도록 돕습니다.
* "이것"과 "저것"의 힘 활용 (Embrace the power of "This" and "That"): 일상 대화처럼 "이것을 수정해줘", "저것을 저기로 옮겨줘"와 같이 맥락과 포인터를 활용하여 복잡한 요청을 자연스러운 약어로 처리할 수 있습니다.
* 픽셀을 실행 가능한 개체로 변환 (Turn pixels into actionable entities): AI가 단순히 포인터 위치뿐만 아니라 사용자가 가리키는 대상을 인지하여, 이미지나 영상 속 정보를 사진 속 메모를 할 일 목록으로, 영상 속 식당 정보를 예약 링크로 바꾸는 등 즉각적인 상호작용을 가능하게 합니다.
* Google 제품에 적용: 이러한 원칙들은 Chrome 브라우저와 Googlebook 노트북 경험에 통합되어, 웹페이지의 특정 부분을 선택하여 Gemini에게 질문하거나, 시각화 요청을 하는 등 새로운 인터페이스를 제공합니다.
* 실험 및 향후 계획: Google AI Studio에서 AI 기반 포인터 실험을 체험할 수 있으며, Google Labs의 Disco를 포함한 다양한 플랫폼으로 테스트를 확장할 계획입니다.

시사점

본 연구는 AI가 인간의 행동에 적응하는 기술 개발을 목표로 하며, 이를 통해 AI와의 협업이 더욱 직관적이고 원활해지는 미래를 제시하고, 현재 Chrome 및 Googlebook 등 실제 제품에 이러한 개념을 적용하여 사용자 경험을 혁신하고 있습니다.