ModernBERT:BERT 的革命性替代品
Answer.AI 和 LightOn 推出了 ModernBERT,一个比 BERT 更快、更准确的编码器模型系列。ModernBERT 结合了近年来大型语言模型的诸多进展,具有更长的上下文长度(8192 个 token)、更快的处理速度以及在各种基准测试中更优异的性能。其在代码检索方面尤其出色,为代码搜索和 IDE 功能等新应用打开了大门。ModernBERT 可作为 BERT 模型的直接替代品,并已在 Hugging Face 上提供。
阅读更多