Daftによる数百万件の文書埋め込みにおけるGPU利用率ほぼ100％

Daftチームは、Qwen3-Embedding-0.6Bモデルを使用して数百万件のテキスト文書を埋め込む際に、ほぼ100％のGPU利用率を達成しました。このブログ記事では、テキストのチャンク化、埋め込みの生成、分散処理の3つのステップからなるデータパイプラインの詳細とコード例を示しています。その後、最大限のGPU利用率に頼ることなく、パフォーマンスを3倍に向上させました。