Adore__

더보기 2023.01.02 오늘도 춥다. 버스를 타고 지하철을 타고 다시 걸어서 도서관에 왔다. 책을 읽고 싶은데 할 일이 너무 많다... 조금 지치지만 그래도 무언가 열심히 하고 있다는 것에 감사하다! _INTRO 저번 글에서는 앙상블 분류기를 구현하는 대표적인 방법 중 Bagging을 다루었었다. 이번에는 Boosting 기법에 대해 알아보도록 한다. What is Boosting ? Boosting이란 예측 데이터 분석의 오차를 줄이기 위해 사용되는 지도학습 방법이다. 단일 기계학습 모델은 훈련 데이터 집합의 정확도에 따라 예측 오차가 발생할 수 있다. ( 만약 아메리카노 이미지에 대해서만 모델을 훈련한 경우, 가끔 라떼를 아메리카노로 잘못 식별할 수 있다.) 부스팅은 이러한 여러 weak 모델을 ..

_ INTRO 앙상블 분류기는 학습 데이터를 사용하여 여러 개의 서로 다른 분류기를 만들고, 각 분류기의 판정 결과를 투표 방식 / 가중치 투표방식으로 결합하여 최종 예측을 내리는 방법이다. 이를 구현하는 대표적인 방법은 Bagging과 Boosting 방법이 있는데, 본 글에서는 Bagging을 먼저 알아보겠다. What is Bootstrap ? Bagging은 Bootstrap을 사용하는데, 이때 Bootstrap은 'pull oneself up by one's bootstrap'에서 유래된 것으로 '자신의 구두끈을 잡아당겨 울타리를 넘는다'라는 의미를 갖고 있었다. 이것이 약간 변형되어 '타인의 도움 없이 자신의 노력과 능력으로 가능한 작업'이라는 의미를 나타낸다. 배깅에서 Bootstrap은, ..

| Date: 0804.2022 ECG project -ing... ​ _INFO ​ SVMs, Support Vector Machines 는 머신러닝 알고리즘으로, 분류(classification)와 회귀(regression), 그리고 outlier detection에 사용되는 강력한 알고리즘 중 하나이다. SVM 분류기는 새로운 데이터 points를 주어진 카테고리 중 하나에 지정하기때문에, 비확률적인 2진법 선형 분류기 (non-probabilistic binary linear classifier) 처럼 보이기도 한다. ​ SVMs는 선형 분류기로 사용될 수 있지만, 추가적으로 kernel을 이용하여 비선형 분류가 가능하다. 즉, inputs 데이터들을 더 고차원적인 feature spaces에 m..

_INTRO ECG project를 진행하면서, XGBoost model을 사용하기로 했는데 그 이전에 모델에 대한 사전 지식을 얻고자 공부해보려 한다. XGBoost 인기는 계속해서 상승하고 있는데, Kaggle에서 매우 큰 성과를 이루면서 주목을 받고 있다. _What is XGBoost? XGBoost (Extreme Gradient Boost) 는 Gradient Boosted Decision Tree (GBDT) 계열의 지도학습 알고리즘으로, 다음과 같은 이점을 갖고있다. 병렬 처리 (Parallel tree boosting), 자동 가지치기 알고리즘 : 빠른 속도 과적합 규제 (Overfitting Regularization) 위한 parameter 추가 회귀 (Regression), 분류(C..