Adore__

Source: Boost course 'DL 기초다지기' 앞에서 배웠던 generalization 성능을 높이기 위해 regularization을 사용한다. 이것의 목적은 학습을 규제, 즉 방해하는 것이다. 이로서 model이 train data뿐만 아니라 test data에서도 잘 작동하도록 한다. 다음은 Regularization 도구들이다 ▪️ Early stopping training data를 학습하는 동시에 validation data를 사용하여 평가한다. 어느 순간 validation error가 증가하는 시점에 학습을 멈추는 방법이다. (당연히 training data 이외에 학습하지 않은 validation data가 필요하다. 이는 test data와 다르다. cross validati..

Source : Boostcourse '딥러닝 기초 다지기' Important Concepts in Optimization ▪️ Generalization 보통 training data를 학습시킬수록 training error는 줄어든다. 하지만 특정 시기부터는, test error는 증가한다. 즉, 새로운 데이터에 대한 성능이 떨어지는 것이다. 여기서 generalization은 이 test error와 training error 사이의 gap을 말한다. 주의할 점은, 무조건 generalization이 좋다고 해서 test 성능이 좋다는 것은 아니다. 만약 학습 데이터에 대한 성능 자체가 안좋다면 test error도 크다는 뜻이기때문이다. ▪️ Under-fitting vs. over-fitting..

함수 근사 모델 비선형 연산이 반복적으로 일어나는 모델 GoogLeNet , ResNet 과 같이 어떤 함수(이미지 분류, 이미지 생성)를 모방하는 방법 Linear Neural Networks 간단한 회귀 문제에서 선형 네트워크를 사용했을 때, 우리는 손실함수를 최소화할 수 있는 parameter를 찾아야 한다. 이를 효율적으로 하기 위해 손실함수가 줄어드는 방향으로 backc propagation을 실행하여 최적의 parameter 값을 찾는다. 즉, 어느 방향으로 이동해야 손실함수가 줄어드는지 확인한 후, 손실함수를 각각의 parameter로 미분한 방향에 대한 음수 방향으로(편미분한 값 빼주기) 파라미터를 업데이트 한다면 손실함수의 최저점을 찾을 수 있다. 여기서 적절한 stepsize를 찾는 것..

Intro 용어 설명 ▶ good deep learner로서 갖춰야할 3가지 요소는 무엇인가? 1) 구현실력 (pytorch, tensorflow) 2) 수학실력 (Linear Algebra, Probability) : 임성빈 교수님 수업을 병행하면 더 많은 시너지를 낼 수 있다. 3) 연구동향 파악 : 최근 연구 결과들을 많이 아는 것이 중요하다. 이 강의에서 다루는 것은 기본이 되는, 기초적인 논문을 다루기때문에 추가적으로 최근 논문들을 많이 읽어보는 것이 필요할 것 같다. ▶ Deep Learning의 Key Components 4가지 1) Data that the model can learn from 자연어 분류 (위키피디아 등의 말뭉치) 비디오 (유튜브의 수많은 비디오) 등, 해결하고자 하는 문..

더보기 2023.01.02 오늘도 춥다. 버스를 타고 지하철을 타고 다시 걸어서 도서관에 왔다. 책을 읽고 싶은데 할 일이 너무 많다... 조금 지치지만 그래도 무언가 열심히 하고 있다는 것에 감사하다! _INTRO 저번 글에서는 앙상블 분류기를 구현하는 대표적인 방법 중 Bagging을 다루었었다. 이번에는 Boosting 기법에 대해 알아보도록 한다. What is Boosting ? Boosting이란 예측 데이터 분석의 오차를 줄이기 위해 사용되는 지도학습 방법이다. 단일 기계학습 모델은 훈련 데이터 집합의 정확도에 따라 예측 오차가 발생할 수 있다. ( 만약 아메리카노 이미지에 대해서만 모델을 훈련한 경우, 가끔 라떼를 아메리카노로 잘못 식별할 수 있다.) 부스팅은 이러한 여러 weak 모델을 ..

_ INTRO 앙상블 분류기는 학습 데이터를 사용하여 여러 개의 서로 다른 분류기를 만들고, 각 분류기의 판정 결과를 투표 방식 / 가중치 투표방식으로 결합하여 최종 예측을 내리는 방법이다. 이를 구현하는 대표적인 방법은 Bagging과 Boosting 방법이 있는데, 본 글에서는 Bagging을 먼저 알아보겠다. What is Bootstrap ? Bagging은 Bootstrap을 사용하는데, 이때 Bootstrap은 'pull oneself up by one's bootstrap'에서 유래된 것으로 '자신의 구두끈을 잡아당겨 울타리를 넘는다'라는 의미를 갖고 있었다. 이것이 약간 변형되어 '타인의 도움 없이 자신의 노력과 능력으로 가능한 작업'이라는 의미를 나타낸다. 배깅에서 Bootstrap은, ..