하버드 대학교, 대규모 무료 AI 학습 데이터셋 공개
2024-12-18
하버드 대학교는 마이크로소프트와 오픈AI와의 협력을 통해 약 100만 권의 퍼블릭 도메인 서적을 포함하는 대규모 AI 학습 데이터셋을 공개했습니다. 하버드 대학교의 Institutional Data Initiative에서 만든 이 데이터셋은 이전에는 대기업만 접근할 수 있었던 고품질 학습 데이터에 중소기업과 개인 연구자들이 접근할 수 있도록 함으로써 "공정한 경쟁 환경"을 조성하는 것을 목표로 합니다. 리눅스와 같은 영향력을 가지고 다양한 장르, 시대, 언어를 아우르는 이 리소스는 AI 모델 개발을 촉진할 것입니다. 하지만 기업들은 모델 차별화를 위해 추가적인 라이선스 데이터가 필요합니다.