ModernBERT：BERTに取って代わる革命的な代替モデル
2024-12-19
Answer.AIとLightOnは、ModernBERTを発表しました。これは、速度と精度においてBERTを凌駕する、最先端のエンコーダーのみのモデルファミリーです。ModernBERTは、近年のLLM研究における多くの進歩を取り入れ、拡張されたコンテキスト長（8192トークン）、高速処理、そして様々なベンチマークにおける優れた性能を誇ります。特に強力なコード検索機能により、大規模コード検索や強化されたIDE機能などの新しいアプリケーションへの道が開かれます。ModernBERTはBERTモデルの直接的な代替品として、Hugging Faceで利用可能です。
AI
エンコーダーモデル