Der schnellste Phrasensuche-Algorithmus mit der verrücktesten AVX-512-Instruktion

Dieser Blogbeitrag beschreibt die Entwicklung eines extrem schnellen Phrasensuche-Algorithmus mithilfe von AVX-512-Instruktionen, insbesondere der obskuren `vp2intersectq`. Im Vergleich zu Meilisearch auf einem MS MARCO-Datensatz mit 3,2 Millionen Dokumenten wurden Performance-Verbesserungen von bis zu 1600x erzielt. Der Autor behandelt detailliert das Algorithmusdesign, die Indexoptimierung, SIMD-Optimierungen, mikroarchitektonische Unterschiede zwischen AMD- und Intel-CPUs, Codeausrichtung und vieles mehr.