목록전체 글 (47)
Adore__
Source: Boost course 'DL 기초다지기' 앞에서 배웠던 generalization 성능을 높이기 위해 regularization을 사용한다. 이것의 목적은 학습을 규제, 즉 방해하는 것이다. 이로서 model이 train data뿐만 아니라 test data에서도 잘 작동하도록 한다. 다음은 Regularization 도구들이다 ▪️ Early stopping training data를 학습하는 동시에 validation data를 사용하여 평가한다. 어느 순간 validation error가 증가하는 시점에 학습을 멈추는 방법이다. (당연히 training data 이외에 학습하지 않은 validation data가 필요하다. 이는 test data와 다르다. cross validati..
Source : Boostcourse '딥러닝 기초 다지기' Important Concepts in Optimization ▪️ Generalization 보통 training data를 학습시킬수록 training error는 줄어든다. 하지만 특정 시기부터는, test error는 증가한다. 즉, 새로운 데이터에 대한 성능이 떨어지는 것이다. 여기서 generalization은 이 test error와 training error 사이의 gap을 말한다. 주의할 점은, 무조건 generalization이 좋다고 해서 test 성능이 좋다는 것은 아니다. 만약 학습 데이터에 대한 성능 자체가 안좋다면 test error도 크다는 뜻이기때문이다. ▪️ Under-fitting vs. over-fitting..