Des modèles d'intégration statique 400 fois plus rapides avec Sentence Transformers
2025-01-15
Cet article de blog présente une méthode pour entraîner des modèles d'intégration statique qui s'exécutent de 100 à 400 fois plus rapidement sur CPU que les modèles d'intégration de pointe, tout en conservant la majeure partie de la qualité. Cela ouvre de nombreux cas d'utilisation intéressants, notamment l'exécution sur appareil et dans le navigateur, l'informatique de périphérie, les applications basse consommation et embarquées. Nous appliquons cette recette pour entraîner deux modèles d'intégration extrêmement efficaces : sentence-transformers/static-retrieval-mrl-en-v1 pour la recherche en anglais et sentence-transformers/static-similarity-mrl-multilingual-v1 pour les tâches de similarité multilingue.