ModernBERT : Un remplacement révolutionnaire pour BERT
2024-12-19
Answer.AI et LightOn présentent ModernBERT, une famille de modèles uniquement encodeurs de pointe qui surpassent BERT en vitesse et en précision. ModernBERT intègre de nombreuses avancées récentes de la recherche sur les LLM, avec une longueur de contexte étendue (8192 jetons), un traitement plus rapide et des performances supérieures sur diverses références. Ses capacités de récupération de code particulièrement robustes ouvrent de nouvelles applications telles que la recherche de code à grande échelle et des fonctionnalités IDE améliorées. ModernBERT est un remplacement direct pour les modèles BERT et est disponible sur Hugging Face.