Utilização de GPU Próxima a 100% para Incorporação de Milhões de Documentos com Daft
2025-08-17
A equipe Daft atingiu uma utilização de GPU próxima a 100% ao incorporar milhões de documentos de texto usando o modelo Qwen3-Embedding-0.6B. Este post de blog detalha um pipeline de processamento de dados em três etapas: divisão de texto, geração de incorporação e processamento distribuído, fornecendo exemplos de código. Posteriormente, eles melhoraram o desempenho em 3x sem depender da utilização máxima da GPU.
Desenvolvimento
processamento de texto em larga escala