Crítica a Benchmarks Enigmáticos en Métodos Formales

Un artículo utiliza estadísticas engañosas al aplicar métodos formales para verificar código de sistema operativo. El autor critica la metodología fallida de simplemente comparar las 'razones prueba-código', ya que ignora la completitud y la complejidad de las especificaciones. El artículo señala que el tamaño de la prueba tiene una relación aproximadamente cuadrática con el tamaño de la especificación, y la complejidad de la especificación es mucho más importante que el tamaño del código. Al analizar varios sistemas verificados, el autor presenta datos más completos, incluyendo el tamaño del código, el tamaño de la especificación y el tamaño de la prueba, y destaca el papel de la modularidad en la reducción de los costes de verificación, pero también observa que los sistemas complejos como seL4 son difíciles de modularizar. Finalmente, el autor hace un llamamiento a la comunidad de investigación para que deje de usar la métrica sin sentido de 'razón prueba-código'.