Kids outlearn AI—and we still don’t know why

개요

어린이들이 대규모 언어 모델(LLM)보다 훨씬 적은 데이터로 언어를 학습하는 현상은 AI 모델의 효율성을 높이고 인간의 인지 발달을 이해하는 데 중요한 단서를 제공합니다.

주요 내용

* 데이터 효율성 격차: LLM은 인간의 언어 습득에 필요한 것보다 수십만 배 더 많은 데이터를 필요로 하며, 이는 어린이와 기계 간의 '데이터 효율성 격차'를 보여줍니다.
* AI 모델의 발전과 한계: LLM은 규모를 키우고 더 많은 데이터를 학습하는 방식으로 발전해왔지만, 인터넷에 존재하는 데이터의 한계로 인해 이러한 성장 방식에는 곧 한계가 올 수 있습니다.
* 어린이 학습 방식의 시사점: 어린이의 언어 학습 방식을 역공학하여 더 적은 데이터로 학습하는 AI 모델을 개발하면, AI 훈련 효율성을 높이고 소수 언어 커뮤니티 지원 등의 이점을 얻을 수 있습니다.
* 언어 습득 이론: 어린이의 언어 습득 능력은 노엄 촘스키의 생득설(언어 본능)과 B.F. 스키너의 경험설(환경적 학습) 간의 논쟁을 다시 불러일으키며, AI 모델 연구는 이러한 이론 검증에 기여할 수 있습니다.
* BabyLM 챌린지: 'BabyLM'과 같은 챌린지는 개발학적으로 타당한 규모의 데이터셋(1억 단어)으로 언어 모델을 훈련시켜 어린이 학습과의 유사성 및 차이점을 탐구하고, 기존의 커리큘럼 학습 방식이 예상만큼 효과적이지 않음을 보여주었습니다.
* 다중 모달 학습의 필요성: 텍스트 기반 학습을 넘어, 어린이의 실제 경험처럼 감각(시각, 청각)을 통한 다중 모달 학습이 데이터 격차 해소에 중요할 수 있으며, SAYCam, BabyView와 같은 프로젝트를 통해 아동의 영상 데이터를 활용하려는 시도가 있습니다.
* 능동적 탐색과 사회적 학습: 어린이의 능동적인 탐색, 호기심, 사회적 상호작용을 통한 학습 방식은 수동적인 데이터 수집 방식과는 다르며, 미래 AI 모델 설계에 중요한 영감을 줄 수 있습니다.
* AI 연구의 민주화 및 소수 언어 지원: 데이터 효율성 연구는 더 적은 자원으로도 좋은 모델을 훈련할 수 있게 하여 AI 연구의 민주화를 촉진하고, 체코어, 노르웨이어 등 영어 외 소수 언어에 대한 LLM 개발 가능성을 열어줍니다.
* 인간 인지 이해: LLM은 인간의 뇌와는 근본적으로 다르지만, 비교 심리학에서 동물 연구를 통해 인간을 이해하듯, LLM을 '언어적 실험 쥐'로 삼아 인간의 언어 학습 및 정보 처리 방식을 이해하는 데 도움을 줄 수 있습니다.

시사점

어린이의 뛰어난 데이터 효율성 학습 능력은 AI 모델의 근본적인 효율성 향상과 인간의 인지 및 언어 발달 과정에 대한 깊이 있는 이해를 가능하게 할 잠재력을 지니고 있습니다.