가장 미친 AVX-512 명령어를 사용한 최고속 구절 검색 알고리즘
2025-01-26
이 블로그 게시물에서는 저자가 AVX-512 명령어, 특히 잘 알려지지 않은 `vp2intersectq` 명령어를 활용하여 매우 빠른 구절 검색 알고리즘을 만든 과정을 자세히 설명합니다. 320만 개의 문서가 포함된 MS MARCO 데이터셋에서 Meilisearch와 비교한 벤치마크 테스트 결과 최대 1600배의 성능 향상을 달성했습니다. 알고리즘 설계, 인덱스 최적화, SIMD 최적화, AMD와 Intel CPU의 마이크로아키텍처 차이, 코드 정렬 등 다양한 측면을 꼼꼼하게 다룹니다.
더 보기
개발
구절 검색