We still don’t know how people are really using AI

개요

AI 사용 방식에 대한 독립적인 분석을 제공하는 AI Observatory 프로젝트는 주요 AI 기업들의 보고서만으로는 알 수 없는 실제 AI 대화의 다양한 측면을 조명합니다.

주요 내용

* AI 기업들은 자체 사용자 데이터를 기반으로 보고서를 발표하지만, 이는 선택적으로 공개된 정보만을 담고 있어 독립적인 검증이 어렵습니다.
* AI Observatory는 사용자 동의를 얻어 수집된 7개의 기존 데이터셋에서 2023년부터 2025년까지의 실제 AI 대화 데이터를 집계 및 분석하여, 연구자와 정책 결정자가 생성형 AI의 사용 방식을 독립적으로 평가할 수 있는 플랫폼을 제공합니다.
* AI Observatory의 분석 결과, AI 사용 방식은 모델별로 상당한 차이를 보이며 시간이 지남에 따라 변화하는 것으로 나타났습니다.
* 주요 AI 기업 보고서에서 간과되거나 의도적으로 제외되는 개인적이고 민감한 사용 사례(예: 건강, 관계, 성인/불법 주제, 괴롭힘, 성적 콘텐츠)가 AI Observatory의 데이터에서는 훨씬 더 높은 비율로 나타났습니다.
* 시간이 지남에 따라 WildChat 데이터셋에서는 AI와의 대화가 더 길고 복잡해지고, 스몰토크가 증가했으며, AI의 자기 공개는 감소했습니다.
* 민감한 내용(유해하거나 제한된 콘텐츠)을 포함하는 대화는 빈도가 줄어드는 경향을 보였는데, 이는 플랫폼의 보안 장치 강화와 관련 있을 수 있습니다.
* 모델별로 정보 검색, 코딩, 소셜 및 역할극, 숙제 지원 등 특정 사용 패턴이 나타났으며, Grok과 Gemini는 정보 검색에, Grok은 특히 뉴스 및 정치 정보에 많이 사용되었지만 허위 정보도 집중되는 경향을 보였습니다.
* 동일한 모델의 다른 버전에서도 대화 길이 및 반복성 등 사용 패턴의 차이가 발견되었으나, 기업 보고서에서는 이러한 미묘한 차이를 잘 포착하지 못했습니다.
* AI Observatory는 85,633개의 대화 턴(사용자 프롬프트 및 AI 응답)을 24,521개의 대화에서 집계했으며, 이는 5,000명의 사용자가 2023년부터 2025년까지 52개의 다른 모델과 상호작용한 데이터를 포함합니다.
* AI Observatory의 데이터셋은 자발적으로 제공된 소스에서 파생되었기 때문에 민감한 사용 사례를 과소대표할 가능성이 있으며, 이로 인해 결과가 모든 AI 사용을 대표하지는 않을 수 있다는 점을 연구진은 주의하고 있습니다.
* AI 기업들이 자체 데이터를 분석가에게 공유하지 않는 경향 때문에, AI Observatory와 같은 독립적인 연구는 기업의 자체적인 서술을 넘어서는 실제 AI 사용 현황을 파악하는 데 중요합니다.

시사점

AI Observatory 프로젝트는 AI 기업의 독점적인 데이터 및 보고서에만 의존하여 AI의 이점과 위험에 대한 중대한 결정을 내리는 현재의 상황에 대한 독립적인 대안을 제시하며, AI 사용에 대한 투명성과 정확한 이해를 증진시킬 잠재력을 가지고 있습니다.