ModernBERT: Ein revolutionärer Ersatz für BERT

2024-12-19

Answer.AI und LightOn präsentieren ModernBERT, eine Familie hochmoderner Encoder-only-Modelle, die BERT in Geschwindigkeit und Genauigkeit übertreffen. ModernBERT integriert zahlreiche Fortschritte aus der jüngsten LLM-Forschung, mit einer erweiterten Kontextlänge (8192 Token), schnellerer Verarbeitung und überlegener Leistung in verschiedenen Benchmarks. Seine besonders starken Code-Retrieval-Fähigkeiten eröffnen neue Anwendungen wie die groß angelegte Codesuche und verbesserte IDE-Funktionen. ModernBERT ist ein direkter Ersatz für BERT-Modelle und ist auf Hugging Face verfügbar.