부동소수점 비교의 함정: 알아야 할 것들
2025-05-15

이 글에서는 부동소수점 비교의 복잡성을 심도 있게 다룹니다. 저자는 정밀도의 한계와 누적되는 반올림 오차로 인해 단순한 등가 비교가 신뢰할 수 없다는 점을 강조합니다. 상대 오차(엡실론)와 ULP(Units in the Last Place)라는 두 가지 비교 방법을 자세히 설명하고 각각의 장단점을 분석합니다. 또한 0에 가까운 값에서는 상대 오차 비교 방법이 실패한다는 점을 지적하고 절대 오차를 결합한 개선 방안을 제시합니다. 마지막으로 `sin(π)` 계산 예시를 통해 catastrophic cancellation 현상과 부동소수점 표현 오차를 이용하여 π의 정밀도를 높이는 방법을 명확하게 설명합니다.
개발
정밀도