Apertus: Ein vollständig offenes, mehrsprachiges großes Sprachmodell

Apertus ist ein vollständig offenes, mehrsprachiges großes Sprachmodell (LLM) mit 70 Milliarden und 8 Milliarden Parametern, das über 1000 Sprachen und lange Kontexte unterstützt. Es wurde mit 15 Billionen Token vollständig konformer, offener Daten trainiert und erreicht eine vergleichbare Leistung wie Modelle, die hinter verschlossenen Türen trainiert wurden. Apertus verwendet eine neue xIELU-Aktivierungsfunktion und den AdEMAMix-Optimierer und wurde mit überwachtem Feintuning und QRPO-Ausrichtung trainiert. Gewichte, Daten und Trainingsdetails sind öffentlich verfügbar und respektieren das Opt-out-Einverständnis der Datenbesitzer und vermeiden das Auswendiglernen von Trainingsdaten. Apertus ist in die Transformers-Bibliothek integriert und unterstützt verschiedene Bereitstellungsmethoden. Trotz seiner Leistungsfähigkeit sollten Benutzer mögliche Ungenauigkeiten und Verzerrungen in der Ausgabe beachten.