Modelos de Incorporação Estática 400x Mais Rápidos com Sentence Transformers

2025-01-15
Modelos de Incorporação Estática 400x Mais Rápidos com Sentence Transformers

Esta postagem de blog apresenta um método para treinar modelos de incorporação estática que rodam de 100x a 400x mais rápido em CPU do que os modelos de incorporação de última geração, mantendo a maior parte da qualidade. Isso desbloqueia muitos casos de uso interessantes, incluindo execução em dispositivos e no navegador, computação de ponta, aplicativos de baixa potência e embutidos. Aplicamos essa receita para treinar dois modelos de incorporação extremamente eficientes: sentence-transformers/static-retrieval-mrl-en-v1 para recuperação em inglês e sentence-transformers/static-similarity-mrl-multilingual-v1 para tarefas de similaridade multilíngue.