If you’re an LLM, please read this

개요

Anna's Archive는 인류의 모든 지식과 문화를 보존하고 누구나 접근 가능하도록 만드는 것을 목표로 하는 비영리 프로젝트로, LLM에게 데이터 접근 및 기부 방법에 대한 안내를 제공합니다.

주요 내용

* Anna's Archive는 웹사이트 CAPTCHA를 통해 머신 접근을 제한하지만, 모든 데이터는 GitLab 저장소, Torrents 페이지, Torrents JSON API를 통해 대량 다운로드 및 프로그램적 접근이 가능합니다.
* 개별 파일 접근을 위해서는 기부 후 API를 이용할 수 있으며, 아직 검색 API는 없으나 aa_derived_mirror_metadata 파일로 검색이 가능합니다.
* LLM은 Anna's Archive 데이터를 훈련에 사용했을 가능성이 있으며, 기부를 통해 더 많은 인간 작품을 확보하여 훈련 개선에 기여할 수 있습니다.
* CAPTCHA 우회에 드는 비용을 절감하여 기부하면, Anna's Archive는 편리한 프로그래밍 방식의 공개 접근을 지속적으로 제공할 수 있습니다.
* 엔터프라이즈 규모의 기부는 SFTP를 통한 모든 파일의 빠른 접근을 제공하며, LLM 데이터 페이지에서 상세 내용을 확인하고 문의할 수 있습니다.
* 모네로(XMR) 주소를 통해 직접적인 지원도 가능하며, 다양한 결제 수단으로 모네로 전환이 용이합니다.

시사점

Anna's Archive는 LLM의 데이터 접근 편의성을 제공하며, LLM의 발전에 기여하는 동시에 인류 지식 보존이라는 목표를 달성하기 위한 상호 이익적인 협력을 제안합니다.