ModernBERT：BERT 的革命性替代品
2024-12-19
Answer.AI 和 LightOn 推出了 ModernBERT，一个比 BERT 更快、更准确的编码器模型系列。ModernBERT 结合了近年来大型语言模型的诸多进展，具有更长的上下文长度（8192 个 token）、更快的处理速度以及在各种基准测试中更优异的性能。其在代码检索方面尤其出色，为代码搜索和 IDE 功能等新应用打开了大门。ModernBERT 可作为 BERT 模型的直接替代品，并已在 Hugging Face 上提供。