Apertus : Un grand modèle linguistique multilingue entièrement ouvert

Apertus est un grand modèle linguistique (LLM) multilingue entièrement ouvert, doté de 70 milliards et 8 milliards de paramètres, prenant en charge plus de 1000 langues et un contexte long. Entraîné sur 15 billions de jetons de données ouvertes et entièrement conformes, il atteint des performances comparables à celles des modèles à code fermé. Apertus utilise une nouvelle fonction d'activation xIELU et l'optimiseur AdEMAMix, subissant un réglage fin supervisé et un alignement QRPO. Ses poids, ses données et les détails de son entraînement sont disponibles publiquement, en respectant le consentement de retrait des propriétaires de données et en évitant la mémorisation des données d'entraînement. Intégré à la bibliothèque transformers, Apertus prend en charge diverses méthodes de déploiement. Bien que puissant, les utilisateurs doivent être conscients des imprécisions et des biais potentiels de sa sortie.