Rauschen in CI-Leistungstests eliminieren: Der Durchbruch von CodSpeed Macro Runners
Das Erstellen von Performance-Gates in CI, um signifikante Regressionen zu verhindern, war aufgrund von Rauschen in gehosteten Runnern eine Herausforderung. Dieser Artikel untersucht die Messung dieses Rauschens mithilfe verschiedener Benchmarking-Suiten. Die Ergebnisse auf GitHub Actions zeigten einen Variationskoeffizienten von 2,66 %, was zu einer falsch-positiven Rate von 45 % für ein Performance-Gate von 2 % führte. Die CodSpeed Macro Runners, die auf Bare-Metal-Cloud-Instanzen mit verbesserter Stabilität laufen, haben dieses Rauschen drastisch reduziert. Die Macro Runners erreichten eine durchschnittliche Varianz von 0,56 %, wodurch die falsch-positive Rate auf 0,04 % gesenkt wurde. Dies ermöglicht präzisere Performance-Gates, die subtile Regressionen erkennen, ohne Mitwirkende mit Fehlalarmen zu überfordern.
Mehr lesen