SWE Julie's life

Kaggle 필사를 하다 보면 가장 흔하게 사용되는 모델들이 있다. 예를 들어 XGBoost와 lightGBM 모델이 그 예로 해당된다. 오늘은 이 두 모델이 근간을 두고 있는 앙상블에 대한 개념을 다시 짚고, Gradient Boosting 알고리즘에 대해 살펴볼 것이다. 앙상블에는 두 가지 타입이 있다. 1. 배깅(Bagging) 배깅은 독립된 모델들의 결과를 합산하여 다수결 투표(Voting)을 통해 결과를 산출하는 것이다. parallel ensemble이라고도 부른다. 위 이미지에서 왼쪽처럼 bootstrap된(=랜덤 복원샘플링) 데이터가 각 분류기에 input되고, 각각에 따른 결과물들을 한 데 결합하여(Aggregation) 중 다수가 추측한 결과대로 결과를 뽑는 것이다. ​ 2. 부스팅(B..