最も狂気的なAVX-512命令を使った最速のフレーズ検索アルゴリズム

この記事では、著者がAVX-512命令、特にマイナーな`vp2intersectq`命令を利用して、非常に高速なフレーズ検索アルゴリズムを作成した過程について説明しています。320万件の文書を含むMS MARCOデータセットでMeilisearchと比較したベンチマークテストでは、最大1600倍のパフォーマンス向上を達成しました。アルゴリズム設計、インデックス最適化、SIMD最適化、AMDとIntel CPUのマイクロアーキテクチャの違い、コードアライメントなど、さまざまな側面について詳細に解説されています。