Apertus: 완전히 공개된 다국어 대규모 언어 모델

Apertus는 700억 및 80억 매개변수를 가진 완전히 공개된 다국어 대규모 언어 모델(LLM)로 1000개 이상의 언어와 긴 컨텍스트를 지원합니다. 완전히 준수하는 공개 교육 데이터로 15조 토큰을 학습하여 비공개 모델과 비슷한 성능을 달성했습니다. 새로운 xIELU 활성화 함수와 AdEMAMix 최적화기를 사용하며, 지도 학습 미세 조정과 QRPO 정렬을 거쳤습니다. 가중치, 데이터 및 교육 세부 정보는 공개적으로 제공되며, 데이터 소유자의 옵트아웃 동의를 존중하고 교육 데이터를 암기하는 것을 방지합니다. transformers 라이브러리에 통합되어 다양한 배포 방법을 지원합니다. 강력하지만 출력의 잠재적인 부정확성과 편향에 유의해야 합니다.