Kritik an irreführenden Benchmarks in formalen Methoden

Ein Artikel verwendet irreführende Statistiken bei der Anwendung formaler Methoden zur Verifikation von Betriebssystemcode. Der Autor kritisiert die fehlerhafte Methodik, einfach „Proof-to-Code-Verhältnisse“ zu vergleichen, da dies die Vollständigkeit und Komplexität der Spezifikationen ignoriert. Der Artikel weist darauf hin, dass die Größe des Beweises eine annähernd quadratische Beziehung zur Größe der Spezifikation hat und die Komplexität der Spezifikation viel wichtiger ist als die Codegröße. Durch die Analyse mehrerer verifizierter Systeme präsentiert der Autor umfassendere Daten, einschließlich Codegröße, Spezifikationsgröße und Beweisgröße, und hebt die Rolle der Modularität bei der Reduzierung der Verifikationskosten hervor, merkt aber auch an, dass komplexe Systeme wie seL4 schwer zu modularisieren sind. Schließlich appelliert der Autor an die Forschungsgemeinschaft, die sinnlose Metrik des „Proof-to-Code-Verhältnisses“ nicht mehr zu verwenden.