Éliminer le bruit dans les tests de performance CI : la percée des CodSpeed Macro Runners
Créer des portes de performance en CI pour éviter des régressions importantes a été un défi en raison du bruit dans les runners hébergés. Cet article explore la mesure de ce bruit à l'aide de différentes suites de benchmarking. Les résultats sur GitHub Actions ont montré un coefficient de variation de 2,66 %, entraînant un taux de faux positifs de 45 % pour une porte de performance de 2 %. Les CodSpeed Macro Runners, s'exécutant sur des instances cloud bare-metal avec une stabilité améliorée, ont considérablement réduit ce bruit. Les Macro Runners ont atteint une variance moyenne de 0,56 %, réduisant le taux de faux positifs à 0,04 %. Cela permet des portes de performance plus précises, détectant des régressions subtiles sans submerger les contributeurs avec de fausses alertes.