Apertus: Um Modelo de Linguagem Grande Multilíngue Totalmente Aberto

Apertus é um modelo de linguagem grande (LLM) multilíngue totalmente aberto com 70 bilhões e 8 bilhões de parâmetros, suportando mais de 1000 idiomas e contexto longo. Treinado em 15 trilhões de tokens de dados abertos e totalmente conformes, ele atinge desempenho comparável a modelos de código fechado. Apertus usa uma nova função de ativação xIELU e o otimizador AdEMAMix, passando por ajuste fino supervisionado e alinhamento QRPO. Seus pesos, dados e detalhes de treinamento estão publicamente disponíveis, respeitando o consentimento de exclusão de dados do proprietário e evitando a memorização de dados de treinamento. Integrado à biblioteca transformers, o Apertus suporta vários métodos de implantação. Embora poderoso, os usuários devem estar cientes de possíveis imprecisões e vieses em sua saída.