形式手法における誤解を招くベンチマークの批判
2025-05-22
ある論文が、形式手法を適用してオペレーティングシステムのコードを検証する際に、誤解を招く統計データを使用している。著者は、単に「証明コード比」を比較するという欠陥のある方法を批判しており、それは仕様の完全性と複雑性を無視しているためである。本稿は、証明のサイズは仕様のサイズとほぼ2乗の関係にあり、仕様の複雑さはコードのサイズよりもはるかに重要であることを指摘している。検証済みの複数のシステムを分析することで、著者はコードサイズ、仕様サイズ、証明サイズを含むより包括的なデータを示し、検証コスト削減におけるモジュール化の役割を強調しているが、seL4のような複雑なシステムはモジュール化が困難であることにも言及している。最終的に、著者は研究コミュニティに対し、「証明コード比」という無意味な指標の使用をやめるよう求めている。
続きを読む
開発