Julie의 Tech 블로그

요즘 흔하게 많이 사용되는 Catboost 모델에 대해서 정리하려고 한다. Catboost는 이름에서도 유추할 수 있듯 boosting 앙상블 기법을 사용하는 모델 중 하나이다. 논문에서는 이렇게 Catboost를 소개한다고 한다. "CatBoost is a high-performance open source library for gradient boosting on decision trees." ​ 이전에 앙상블과 Gradient Boosting 모델에 대해 정리한 글이 있는데 알고 읽으면 좀 더 도움이 된다. https://blog.naver.com/ilovelatale/222320553535 Boosting vs Bagging 다시 간단하게 정리하자면 앙상블의 기법 중에서는 Boosting과 Bag..

Kaggle 필사를 하다 보면 가장 흔하게 사용되는 모델들이 있다. 예를 들어 XGBoost와 lightGBM 모델이 그 예로 해당된다. 오늘은 이 두 모델이 근간을 두고 있는 앙상블에 대한 개념을 다시 짚고, Gradient Boosting 알고리즘에 대해 살펴볼 것이다. 앙상블에는 두 가지 타입이 있다. 1. 배깅(Bagging) 배깅은 독립된 모델들의 결과를 합산하여 다수결 투표(Voting)을 통해 결과를 산출하는 것이다. parallel ensemble이라고도 부른다. 위 이미지에서 왼쪽처럼 bootstrap된(=랜덤 복원샘플링) 데이터가 각 분류기에 input되고, 각각에 따른 결과물들을 한 데 결합하여(Aggregation) 중 다수가 추측한 결과대로 결과를 뽑는 것이다. ​ 2. 부스팅(B..

오늘은 Santender Customer Transaction Prediction 모델에서 우승팀 중 하나가 사용했던 lightGBM 모델의 논문을 살펴본 결과를 공유할 것이다. 모델이 뿌리를 두고 있는 앙상블 기법과 GBT 모델에 대해 간단히 살펴보고, lightGBM이 새로 도입한 두 가지 기법에 대해 알고리즘적으로 살펴볼 것이다. ​ 이 모델의 근간이 되는 GBM과 앙상블에 대해 정리된 글은 아래 링크에 있다. https://blog.naver.com/ilovelatale/222320553535 앙상블과 GBM(Gradient Boosting) 알고리즘 Kaggle 필사를 하다 보면 가장 흔하게 사용되는 모델들이 있다.예를 들어 XGBoost와 lightGBM 모델... blog.naver.com ..