Modelos de incrustación estática 400 veces más rápidos con Sentence Transformers
2025-01-15
Esta publicación de blog presenta un método para entrenar modelos de incrustación estática que se ejecutan de 100 a 400 veces más rápido en CPU que los modelos de incrustación de última generación, mientras se mantiene la mayor parte de la calidad. Esto desbloquea muchos casos de uso interesantes, incluida la ejecución en dispositivos y en el navegador, la computación perimetral, las aplicaciones de baja potencia e integradas. Aplicamos esta receta para entrenar dos modelos de incrustación extremadamente eficientes: sentence-transformers/static-retrieval-mrl-en-v1 para recuperación en inglés y sentence-transformers/static-similarity-mrl-multilingual-v1 para tareas de similitud multilingüe.