Près de 100% d'utilisation du GPU pour l'intégration de millions de documents avec Daft
2025-08-17
L'équipe Daft a atteint une utilisation du GPU proche de 100% lors de l'intégration de millions de documents texte à l'aide du modèle Qwen3-Embedding-0.6B. Cet article de blog détaille un pipeline de traitement de données en trois étapes : le découpage de texte, la génération d'intégrations et le traitement distribué, en fournissant des exemples de code. Ils ont ensuite amélioré les performances de 3x sans dépendre de l'utilisation maximale du GPU.
Développement
traitement de texte à grande échelle