Critique des benchmarks trompeurs dans les méthodes formelles
Un article utilise des statistiques trompeuses lors de l'application de méthodes formelles pour vérifier le code d'un système d'exploitation. L'auteur critique la méthodologie erronée consistant à comparer simplement les « ratios preuve-code », car elle ignore l'exhaustivité et la complexité des spécifications. L'article souligne que la taille de la preuve a une relation approximativement quadratique avec la taille de la spécification, et que la complexité de la spécification est beaucoup plus importante que la taille du code. En analysant plusieurs systèmes vérifiés, l'auteur présente des données plus complètes, incluant la taille du code, la taille de la spécification et la taille de la preuve, et souligne le rôle de la modularité dans la réduction des coûts de vérification, mais observe également que les systèmes complexes comme seL4 sont difficiles à modulariser. Enfin, l'auteur appelle la communauté de recherche à cesser d'utiliser la métrique sans signification de « ratio preuve-code ».
Lire plus