Apertus: Un Modelo de Lenguaje Grande Multilingüe Totalmente Abierto

Apertus es un modelo de lenguaje grande (LLM) multilingüe totalmente abierto con 70 mil millones y 8 mil millones de parámetros, que admite más de 1000 idiomas y contexto largo. Entrenado con 15 billones de tokens de datos abiertos y totalmente conformes, alcanza un rendimiento comparable a los modelos de código cerrado. Apertus utiliza una nueva función de activación xIELU y el optimizador AdEMAMix, pasando por un ajuste fino supervisado y alineación QRPO. Sus pesos, datos y detalles de entrenamiento están disponibles públicamente, respetando el consentimiento de exclusión de los propietarios de los datos y evitando la memorización de los datos de entrenamiento. Integrado en la biblioteca transformers, Apertus admite varios métodos de implementación. Si bien es potente, los usuarios deben ser conscientes de posibles imprecisiones y sesgos en su salida.