Sentence Transformersによる400倍高速な静的埋め込みモデル

この記事では、最先端の埋め込みモデルよりもCPUで100～400倍高速に動作する静的埋め込みモデルをトレーニングする方法を紹介します。この方法は、デバイス上やブラウザ上での実行、エッジコンピューティング、低電力アプリケーション、組み込みアプリケーションなど、多くのエキサイティングなユースケースを可能にします。このレシピを使用して、非常に効率的な2つの埋め込みモデルをトレーニングしました。sentence-transformers/static-retrieval-mrl-en-v1（英語検索用）とsentence-transformers/static-similarity-mrl-multilingual-v1（多言語類似度タスク用）です。これらのモデルは、all-mpnet-base-v2やmultilingual-e5-smallなどの一般的なモデルよりもCPUで100～400倍高速でありながら、さまざまなベンチマークで少なくとも85％の性能を達成します。