CI 성능 테스트의 노이즈 제거: CodSpeed Macro Runners의 돌파구

중대한 회귀를 방지하기 위해 CI에서 성능 게이트를 만드는 것은 호스팅된 러너의 노이즈로 인해 어려움이 있었습니다. 이 기사에서는 다양한 벤치마킹 스위트를 사용하여 이러한 노이즈를 측정하는 방법을 살펴봅니다. GitHub Actions의 결과는 2.66%의 변동 계수를 보여주었고, 이는 2% 성능 게이트에 대해 45%의 오탐율로 이어졌습니다. 향상된 안정성을 갖춘 베어메탈 클라우드 인스턴스에서 실행되는 CodSpeed의 Macro Runners는 이러한 노이즈를 크게 줄였습니다. Macro Runners는 0.56%의 평균 분산을 달성하여 오탐율을 0.04%로 낮췄습니다. 이를 통해 더욱 정확한 성능 게이트가 가능해져 기여자에게 잘못된 경고를 주지 않고 미묘한 회귀를 감지할 수 있습니다.