결정 트리: 기계 학습에서의 분할 정복 접근 방식

이 글은 기계 학습에서 결정 트리를 탐구하는 시리즈의 첫 번째 글입니다. 결정 트리는 일련의 질문을 기반으로 데이터를 재귀적으로 영역으로 분할하여 최종적으로 예측에 도달합니다. 이 기사에서는 결정 트리의 수학적 정의, 결정 트리의 종류(분류 트리와 회귀 트리), 일반적인 알고리즘(ID3, C4.5, CART), 목적 함수(지니 불순도, 엔트로피, 제곱 손실)를 명확하게 설명합니다. 또한 장점과 단점, 편향-분산 트레이드오프, "계단 효과", 결정 트리를 구축하는 데 사용되는 탐욕 알고리즘에 대해서도 살펴봅니다.