Eliminando el Ruido en las Pruebas de Rendimiento de CI: El Avance de CodSpeed Macro Runners

Crear puertas de rendimiento en CI para evitar regresiones significativas ha sido un desafío debido al ruido en los runners alojados. Este artículo explora la medición de este ruido utilizando varias suites de benchmarking. Los resultados en GitHub Actions mostraron un coeficiente de variación del 2,66%, lo que lleva a una tasa de falsos positivos del 45% para una puerta de rendimiento del 2%. Los CodSpeed Macro Runners, que se ejecutan en instancias de nube bare-metal con estabilidad mejorada, redujeron drásticamente este ruido. Los Macro Runners lograron una varianza promedio del 0,56%, reduciendo la tasa de falsos positivos al 0,04%. Esto permite puertas de rendimiento más precisas, detectando regresiones sutiles sin abrumar a los colaboradores con falsas alarmas.