Accelerating researchers and developers building multilingual AI with a new open dataset

개요

GitHub가 공개한 멀티링구얼 리포지토리 데이터셋은 README, 이슈, 풀 리퀘스트 등에서 비영어권 자연어 콘텐츠가 포함된 공개 GitHub 리포지토리를 발견하는 데 도움을 주는 메타데이터 데이터셋이다.

주요 내용

* 데이터셋 구성: 8천만 개 이상의 분류 행과 4천만 개 이상의 리포지토리를 포함하며, 각 공개 리포지토리별로 README, 가장 많이 논의된 이슈, 가장 많이 논의된 풀 리퀘스트에 대한 언어 분류(fastText, gcld3, lingua-py 사용, 0.5 이상의 신뢰도 기준)와 함께 리포지토리 메타데이터(생성 타임스탬프, 디스크 사용량, 스타 수, 포크 수, 주요 프로그래밍 언어, 라이선스, 이슈/풀 리퀘스트 수, 스냅샷 날짜)를 제공한다.
* 데이터셋의 활용: 특정 언어로 된 개발자 문서나 협업이 포함된 리포지토리 발견, 비영어권 개발자 커뮤니티가 이슈, 풀 리퀘스트, README를 어떻게 사용하는지 연구, 언어에 걸쳐 잘 작동해야 하는 AI 코딩 도구, 문서 생성기, 코드 리뷰 보조 도구의 평가 세트 구축, 개발 도구 및 AI 기능에 대한 언어 지원 확장을 장려하는 데 사용될 수 있다.
* 언어 분포 특성: 데이터셋 구축 과정에서 README, 이슈, 풀 리퀘스트 간 언어 분포가 다르다는 점이 확인되었는데, 예를 들어 이슈 텍스트에서는 한국어가 가장 흔한 비영어권 언어였으나 README에서는 다섯 번째로 흔했다. 포르투갈어는 3백만 개 이상의 리포지토리로 비영어권 README 목록에서 가장 많았다.
* 주의사항: 언어 식별의 어려움(짧은 텍스트, 코드 스니펫, 혼합 언어 등), 분류기의 커버리지 및 보정 차이로 인해 이 데이터셋은 언어 식별의 정답 벤치마크가 아닌 투명한 발견 도구로 간주되어야 하며, 리포지토리 소유자나 기여자, 커뮤니티에 대한 민감한 속성을 추론하는 데 사용되어서는 안 된다.
* 데이터셋의 의의: AI 시스템 구축 및 평가에 사용되는 온라인 텍스트에서 많은 유럽 언어가 여전히 과소 대표되고 있어 AI 도구가 일부 개발자, 언어, 커뮤니티에만 잘 작동하는 위험을 줄이기 위해 개발자 콘텐츠와 같은 고유한 데이터 소스의 멀티링구얼 신호를 분석하기 쉽게 만들어 AI 개발 전반에 걸친 언어 표현을 연구하고 덜 포용적인 AI 도구를 개선하는 데 기여한다.

시사점

이 데이터셋은 개발자 협업에 사용되는 언어 데이터의 다양성을 탐구하고, AI 개발에서 언어적 포용성을 증진하며, 오픈 소스 AI 커뮤니티에서 멀티링구얼 개발자 경험을 지원하는 연구 및 도구 개발에 활용될 수 있다.