Peer review is overwhelmed—can it survive in the AI era?

개요

과학 연구의 신뢰성을 보장하는 핵심 과정인 동료 심사(peer review)는 출판물 증가와 AI 기술의 등장으로 인해 심각한 과부하에 직면해 있으며, 기존 시스템의 지속 가능성에 대한 의문을 제기하고 있습니다.

주요 내용

* 동료 심사 시스템의 과부하: 연구 논문 수가 기하급수적으로 증가함에 따라, 자원봉사로 이루어지는 동료 심사 과정에 참여할 연구자들이 부족해지고 있으며, 이로 인해 심사의 질 저하와 마감 기한 지연이 발생하고 있습니다.
* AI의 영향: AI는 연구자의 논문 작성 및 제출을 용이하게 하여 출판물 수를 증가시키고, 동시에 AI가 생성한 동료 심사 의견이 부정확하거나 비윤리적인 문제를 야기하기도 합니다.
* 전통적인 동료 심사의 역사와 역할: 동료 심사는 약 50년 전 학술 출판의 보편적인 특징이 되었으며, 과학 연구의 정당성을 확보하고 대중의 신뢰를 얻는 데 중요한 역할을 해왔습니다.
* AI 분야의 대안 모색: AI 분야에서는 빠른 연구 속도와 비학술적인 연구 결과 공유의 용이성 때문에 블로그와 같은 비공식적인 소통 방식을 통해 중요한 연구 결과를 공유하는 추세가 나타나고 있습니다. AI Alignment Forum과 같은 플랫폼은 투표 시스템과 댓글을 통해 콘텐츠의 질을 평가하고 토론을 활성화합니다.
* AI 분야 대안의 장단점: 블로그 기반의 소통은 연구 결과의 신속한 확산과 쉬운 이해를 돕지만, 비판적 사고의 부재나 학문적 엄밀성 저하의 위험도 존재합니다. 또한, 동료 심사를 거치지 않은 연구를 인용하는 데 어려움이 따를 수 있습니다.
* 동료 심사 개선을 위한 시도: preprints(사전 인쇄물)의 활용, 동료 심사 워크로드의 공정한 분배, 동료 심사자에게 보상 제공, 동료 심사 과정을 저널 투고와 분리하는 등의 다양한 방안이 논의 및 시도되고 있습니다.
* 미래 전망: 현재의 압박 속에서 동료 심사 시스템이 완전히 사라지기는 어렵지만, 출판물 증가 속도와 기존 시스템의 한계로 인해 변화가 불가피하며, 분야별로 다른 형태와 기준을 가진 동료 심사가 등장할 가능성이 있습니다.

시사점

동료 심사 시스템은 과학 연구의 근간을 이루지만, 증가하는 연구량과 AI의 영향에 대응하기 위해 효율성, 접근성, 신뢰성을 동시에 확보할 수 있는 혁신적인 변화가 필요하며, 분야별 특성을 고려한 유연한 접근 방식이 요구됩니다.