9566

LGBM 하이퍼 파라미터 num_iterations(default : 100) : =n_estimator learning_rate(Default : 0.1) max_depth(Default : -1) min_data_in_leaf(Default : 20) num_leaves(Default : 31) boosting(Default : gbdt) bagging_fraction(Default : 1.0) feature_fraction(Default : 1.0) lambda_l2(Default : 0.0) lambda_l1(Default : 0.0) 'boosting_type': 'dart # ‘gbdt’, traditional Gradient Boosting Decision Tree. ‘dart’, Dropo..

XGB 파라미터 일반 파라미터 booster(Default : ) silent(Default : ) nthread(Default : ) 부스터 파라미터 eta(Default : ) num_boost_rounds(Default : ) min_child_weight(Default : ) gamma(Default : ) max_depth(Default : ) sub_sample(Default : ) colsample_bytree(Default : ) lambda(Default : ) alpha(Default : ) scale_pos_weight(Default : ) 학습 테스크 파라미터 objective(Default : ) binary:logistic(Default : ) multi:softprob(Defa..

파라미터 GBM 파라미터 loss(Default : ) learning_rate(Default : ) n_estimators(Default : ) subsample(Default : )

결정 트리 : 균일도(혼잡도)가 높은 데이터를 먼저 분할 균일도 측정 : 정보이득(=1-엔트로피) 엔트로피=다양한 데이터(혼잡도가 높다) 지니계수 : 1로갈수록 균일도가 높다 장점 : 변수 스케일링, 정규화 필요없음 단점 : 과적합 DecisionTreeClassifier/DecisionTreeRegressor 파라미터 min_samples_split(Default : 2) : 분할가능? min_samples_leaf(Default : 1) : 말단노드 가능? max_features(Default : None) : 고려할 변수개수, None이면 모든 변수사용, sqrt=auto->루트(전체변수개수), log->log2(전체변수개수) max_depth(Default : None) : None이면 깊이무제한..

LinearSVC from sklearn.svm import LinearSVC model = LinearSVC() LinearSVC 파라미터 # penalty = {‘l1’, ‘l2’}, 기본값=’l2’ # loss = {‘hinge’, ‘squared_hinge’}, 기본값=’squared_hinge’ # dual = bool, 기본값=True # tol = float, 기본값=1e-4 # C = float, 기본값=1.0 # multi_class = {‘ovr’, ‘crammer_singer’}, 기본값=’ovr’ # class_weight = {dict, ‘balanced’}, 기본값=None # fit_intercept = bool, 기본값=True # intercept_scaling = floa..

SVM from sklearn.svm import SVC model = SVC(C=10, gamma=1, random_state=1, probability=True) #gamma='auto' SVM 파라미터 # C=float, default=1.0 # kernel={‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’}, default=’rbf’ # degree=int, default=3 # gamma={‘scale’, ‘auto’} or float, default=’scale’ # 'rbf', 'poly','sigmoid'에 대한 커널계수 # coef0=float, default=0.0 #coef0는 모델이 높은 차수와 낮은 차수에 얼마나 영향을 끼치는지 정할 수 있..

랜덤포레스트 from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(max_depth=10, n_estimators=100) 랜덤포레스트 # n_estimators=int, default=100 # criterion={“gini”, “entropy”}, default=”gini” # min_samples_split={int, float} ,default=2 # min_samples_leaf={int, float}, default=1 # min_weight_fraction_leaf=float, default=0.0 # max_depth=int, default=None # max_features={“auto”, “s..

로지스틱 분류 from sklearn.linear_model import LogisticClassifier model = LogisticClassifier(solver="lbfgs", random_state=42) 로지스틱 분류 파라미터 penalty = {‘l1’, ‘l2’, ‘elasticnet’, ‘none’}, default=’l2’ dual = bool, 기본값 = 'False' # 1. liblinear 솔버를 사용하는 l2 패널티에 대해서만 구현 # 2. n_samples > n_features인 경우 dual=False를 선호 solver = {'newton-cg', 'lbfgs', 'liblinear', 'sag', 'saga'}, 기본값='lbfgs' # LIBLINEAR is a li..