CI パフォーマンステストにおけるノイズの除去：CodSpeed Macro Runners のブレークスルー
2025-08-03
重大な回帰を防ぐために CI でパフォーマンスゲートを作成することは、ホストされたランナーにおけるノイズのために課題でした。この記事では、さまざまなベンチマークスイートを使用してこのノイズを測定することを検討しています。GitHub Actions の結果は、2.66% の変動係数を示し、2% のパフォーマンスゲートに対して 45% の偽陽性率につながりました。安定性が向上したベアメタルクラウドインスタンスで実行される CodSpeed の Macro Runners は、このノイズを大幅に削減しました。Macro Runners は 0.56% の平均分散を達成し、偽陽性率を 0.04% に低下させました。これにより、より正確なパフォーマンスゲートが可能になり、貢献者に誤検知を押し付けることなく、微妙な回帰を検出できます。
続きを読む
開発