SIMD를 사용한 합성곱 최적화에서 얻은 교훈: 분기 예측과 컴파일러의 함정

저자는 SIMD 명령어를 사용하여 합성곱 연산을 최적화하려고 시도했지만 성능 저하 문제에 직면했습니다. 초기 구현에서는 SIMD 로드, FMA 명령어 및 루프 최적화 기법을 사용했지만 벡터화되지 않은 구현보다 두 배 이상 느렸습니다. 디버깅 결과, CPU의 분기 예측 실패를 유발하는 과도한 분기 명령어와 AVX 명령어 집합의 적절한 사용을 방해하는 컴파일러의 인라인 함수 크기 제한이 문제임을 알게 되었습니다. 최종적으로 분기를 줄이고, 루프를 분할하고, 컴파일러의 인라인 속성을 적절히 사용함으로써 저자는 성능을 기대치까지 향상시킬 수 있었습니다. 이 사례 연구는 현대 CPU 아키텍처의 복잡성과 성능 최적화에서 주의해야 할 세부 사항을 보여줍니다.