Eliminando o Ruído nos Testes de Desempenho de CI: A Inovação dos CodSpeed Macro Runners

Criar gates de desempenho em CI para evitar regressões significativas tem sido um desafio devido ao ruído em runners hospedados. Este artigo explora a medição desse ruído usando várias suítes de benchmarking. Os resultados no GitHub Actions mostraram um coeficiente de variação de 2,66%, levando a uma taxa de falsos positivos de 45% para um gate de desempenho de 2%. Os CodSpeed Macro Runners, rodando em instâncias de nuvem bare-metal com estabilidade aprimorada, reduziram drasticamente esse ruído. Os Macro Runners alcançaram uma variância média de 0,56%, reduzindo a taxa de falsos positivos para 0,04%. Isso permite gates de desempenho mais precisos, detectando regressões sutis sem sobrecarregar os colaboradores com falsos alarmes.