형식적 방법에서 오해의 소지가 있는 벤치마킹에 대한 비판
2025-05-22
한 논문이 형식적 방법을 적용하여 운영 체제 코드를 검증하는 과정에서 오해의 소지가 있는 통계 자료를 사용하고 있다. 저자는 단순히 '증명 대 코드 비율'을 비교하는 결함 있는 방법론을 비판하는데, 이는 사양의 완전성과 복잡성을 무시하기 때문이다. 본 논문은 증명 크기가 사양 크기와 거의 제곱 관계에 있으며, 사양의 복잡성이 코드 크기보다 훨씬 중요함을 지적한다. 검증된 여러 시스템을 분석하여 저자는 코드 크기, 사양 크기, 증명 크기를 포함하는 더 포괄적인 데이터를 제시하고, 검증 비용 절감에서 모듈화의 역할을 강조하지만, seL4와 같은 복잡한 시스템은 모듈화가 어렵다는 점도 언급한다. 결론적으로 저자는 연구 커뮤니티에 '증명 대 코드 비율'이라는 무의미한 지표 사용을 중단할 것을 촉구한다.
더 보기
개발