Who decides what AI tells you? Campbell Brown, once Meta’s news chief, has thoughts

개요

Campbell Brown은 Meta의 전 뉴스 총괄로서 AI가 정보 소비 방식을 재편하는 과정에서 발생할 수 있는 문제점을 인지하고, 이를 해결하기 위해 자신의 회사 Forum AI를 설립하여 고위험 주제에 대한 AI 모델의 성능을 평가하고 있습니다.

주요 내용

* Forum AI의 설립 배경: ChatGPT 출시 후 정보 흐름의 핵심이 될 AI가 정확하지 않다는 점과, 자신의 자녀들이 잘못된 정보에 노출될 것을 우려하여 설립되었습니다.
* Forum AI의 평가 대상: 지정학, 정신 건강, 금융, 채용 등 명확한 정답이 없고 복잡하며 미묘한 맥락을 가진 "고위험 주제"를 평가합니다.
* 평가 방식: 세계적인 전문가들이 벤치마크를 설계하고, AI 판사가 이를 평가하는 방식으로 모델의 성능을 대규모로 측정합니다.
* 주요 인재 영입: Niall Ferguson, Fareed Zakaria, Tony Blinken, Kevin McCarthy, Anne Neuberger 등 각 분야의 최고 전문가들을 영입했습니다.
* AI 판사 목표: 인간 전문가와의 90% 수준의 합의를 달성하는 것을 목표로 하며, 현재 해당 수준에 도달했습니다.
* AI 모델의 문제점:
* Gemini가 중국 공산당 웹사이트를 출처로 삼아 중국과 관련 없는 기사를 생성하는 사례.
* 대부분의 모델에서 좌편향적인 정치적 편향이 관찰됨.
* 맥락 누락, 관점 간과, 논점 왜곡 등 미묘한 실패 사례가 다수 존재.
* 과거 경험을 통한 교훈: Meta에서 참여했던 사실 확인 프로그램이 사라진 경험을 통해, 참여율 최적화가 사회에 부정적인 영향을 미치고 정보 접근성을 저해했음을 강조합니다.
* AI의 미래 방향: AI가 사용자가 원하는 것을 제공하거나, 진실되고 정직한 정보를 제공하는 두 가지 방향으로 나아갈 수 있다고 봅니다.
* 기업의 역할: AI를 신용 결정, 대출, 보험, 채용 등에 사용하는 기업은 법적 책임을 고려하여 AI가 정확하게 작동하기를 원할 것이므로, 기업이 AI 진실성 확보의 중요한 동맹이 될 수 있다고 주장합니다.
* 규제 및 감사 현황의 한계: 현재 시장이 단순한 체크리스트 감사 및 표준화된 벤치마크에 만족하고 있으며, 이는 실제 평가에 부적합하다고 지적합니다. 뉴욕시의 AI 감사법 사례를 통해 규제의 허점을 지적합니다.
* 실질적 평가의 중요성: 일반적인 평가로는 파악하기 어려운 엣지 케이스(edge cases)를 처리하고 실질적인 문제를 해결하기 위해 도메인 전문성이 필수적이며, 이는 시간과 노력을 요구합니다.

시사점

Campbell Brown의 Forum AI는 AI가 정보 전달의 핵심으로 부상하는 시대에 정확성과 신뢰성을 확보하기 위한 실질적인 해결책을 제시하며, 특히 고위험 분야에서의 AI 성능 평가와 검증에 대한 중요성을 강조하고 있습니다.