Crítica a Benchmarks Enganosos em Métodos Formais

Um artigo utiliza estatísticas enganosas ao aplicar métodos formais para verificar código de sistema operacional. O autor critica a metodologia falha de simplesmente comparar as 'razões prova-código', pois ela ignora a completude e a complexidade das especificações. O artigo aponta que o tamanho da prova tem um relacionamento aproximadamente quadrático com o tamanho da especificação, e a complexidade da especificação é muito mais importante do que o tamanho do código. Ao analisar vários sistemas verificados, o autor apresenta dados mais completos, incluindo o tamanho do código, o tamanho da especificação e o tamanho da prova, e destaca o papel da modularidade na redução dos custos de verificação, mas também observa que sistemas complexos como o seL4 são difíceis de modularizar. Por fim, o autor apela à comunidade de pesquisa para parar de usar a métrica sem sentido de 'razão prova-código'.