[Ensemble] Bagging Algorithm

_ INTRO

앙상블 분류기는 학습 데이터를 사용하여 여러 개의 서로 다른 분류기를 만들고,

각 분류기의 판정 결과를 투표 방식 / 가중치 투표방식으로 결합하여 최종 예측을 내리는 방법이다.

 

이를 구현하는 대표적인 방법은 Bagging과 Boosting 방법이 있는데, 본 글에서는 Bagging을 먼저 알아보겠다.

 

 

---

What is Bootstrap ?

Bagging은 Bootstrap을 사용하는데, 이때 Bootstrap은

'pull oneself up by one's bootstrap'에서 유래된 것으로 '자신의 구두끈을 잡아당겨 울타리를 넘는다'라는 의미를 갖고 있었다.

이것이 약간 변형되어 '타인의 도움 없이 자신의 노력과 능력으로 가능한 작업'이라는 의미를 나타낸다.

 

배깅에서 Bootstrap은,

주어진 학습 데이터 집합에서 복원추출 (resampling with replacement)를 하여 여러 개의 서로 다른 학습 데이터 집합을 만들어내는 기법을 말한다.

 

 

What is Bagging ?

Bootstrap을 통해 여러 개의 학습 데이터 집합을 만들었으면, 각 학습 데이터 집합별로 분류기를 만든다.

그리고 이들의 투표 / 가중치 투표를 통해 최종 판정을 하는 방법이 '배깅' 방법이다. 즉, 배깅에서 핵심은 Bootstrap을 이용한 학습 데이터 집합과 이에 해당하는 분류기들의 생성이다.

 

가장 대표적인 배깅 알고리즘으로는 Random Forest가 있다.