결정 나무

결정 트리 : 균일도(<->혼잡도)가 높은 데이터를 먼저 분할
균일도 측정 : 정보이득(=1-엔트로피)
엔트로피=다양한 데이터(혼잡도가 높다)
지니계수 : 1로갈수록 균일도가 높다

장점 : 변수 스케일링, 정규화 필요없음
단점 : 과적합

DecisionTreeClassifier/DecisionTreeRegressor 파라미터

min_samples_split(Default : 2) : 분할가능? 
min_samples_leaf(Default : 1)  : 말단노드 가능?
max_features(Default : None) : 고려할 변수개수, None이면 모든 변수사용,  sqrt=auto->루트(전체변수개수), log->log2(전체변수개수) 
max_depth(Default : None) : None이면 깊이무제한
max_leaf_nodes(Default : None) : 말단노드 최대개수
criterion(Default : gini) : entropy, log_loss
splitter(Default : best) : {“best”, “random”}
min_weight_fraction_leaffloat, default=0.0
min_impurity_decreasefloat, default=0.0
class_weightdict, list of dict or “balanced”, default=None
ccp_alphanon-negative float, default=0.0