Adore__

Source: Boost Course 'DL 기초다지기' Convolution ▪️ convolution 연산 convolution filter를 적용하고자 하는 image에 도장을 찍는 다고 생각하면 된다. 해당 위치에 있는 convolution filter 값과 image pixel 값을 곱해서 나온 전체 9개 값을 더해주면, 하나의 output이 나오게 된다. ▪️ 2D convolution 적용하고자 하는 filter에 따라서 해당 이미지가 blur가 될 수 있고, emboss나 outline이 될 수 있다. 만약 3x3 filter에서 각 값이 모두 1/9로 채워져 있다면, 이미지 한 pixel의 평균값이 output으로 나오기때문에 blur효과를 줄 수 있다. ▪️ RGB Image Convo..

Source: Boost course 'DL 기초다지기' 앞에서 배웠던 generalization 성능을 높이기 위해 regularization을 사용한다. 이것의 목적은 학습을 규제, 즉 방해하는 것이다. 이로서 model이 train data뿐만 아니라 test data에서도 잘 작동하도록 한다. 다음은 Regularization 도구들이다 ▪️ Early stopping training data를 학습하는 동시에 validation data를 사용하여 평가한다. 어느 순간 validation error가 증가하는 시점에 학습을 멈추는 방법이다. (당연히 training data 이외에 학습하지 않은 validation data가 필요하다. 이는 test data와 다르다. cross validati..

Source : Boostcourse '딥러닝 기초 다지기' Important Concepts in Optimization ▪️ Generalization 보통 training data를 학습시킬수록 training error는 줄어든다. 하지만 특정 시기부터는, test error는 증가한다. 즉, 새로운 데이터에 대한 성능이 떨어지는 것이다. 여기서 generalization은 이 test error와 training error 사이의 gap을 말한다. 주의할 점은, 무조건 generalization이 좋다고 해서 test 성능이 좋다는 것은 아니다. 만약 학습 데이터에 대한 성능 자체가 안좋다면 test error도 크다는 뜻이기때문이다. ▪️ Under-fitting vs. over-fitting..

함수 근사 모델 비선형 연산이 반복적으로 일어나는 모델 GoogLeNet , ResNet 과 같이 어떤 함수(이미지 분류, 이미지 생성)를 모방하는 방법 Linear Neural Networks 간단한 회귀 문제에서 선형 네트워크를 사용했을 때, 우리는 손실함수를 최소화할 수 있는 parameter를 찾아야 한다. 이를 효율적으로 하기 위해 손실함수가 줄어드는 방향으로 backc propagation을 실행하여 최적의 parameter 값을 찾는다. 즉, 어느 방향으로 이동해야 손실함수가 줄어드는지 확인한 후, 손실함수를 각각의 parameter로 미분한 방향에 대한 음수 방향으로(편미분한 값 빼주기) 파라미터를 업데이트 한다면 손실함수의 최저점을 찾을 수 있다. 여기서 적절한 stepsize를 찾는 것..

Intro 용어 설명 ▶ good deep learner로서 갖춰야할 3가지 요소는 무엇인가? 1) 구현실력 (pytorch, tensorflow) 2) 수학실력 (Linear Algebra, Probability) : 임성빈 교수님 수업을 병행하면 더 많은 시너지를 낼 수 있다. 3) 연구동향 파악 : 최근 연구 결과들을 많이 아는 것이 중요하다. 이 강의에서 다루는 것은 기본이 되는, 기초적인 논문을 다루기때문에 추가적으로 최근 논문들을 많이 읽어보는 것이 필요할 것 같다. ▶ Deep Learning의 Key Components 4가지 1) Data that the model can learn from 자연어 분류 (위키피디아 등의 말뭉치) 비디오 (유튜브의 수많은 비디오) 등, 해결하고자 하는 문..

_INTRO 이전 포스팅에서는 VGG16의 개념에 대해 다뤘다면, 이번에는 직접 python으로 구현하기 위해 Keras를 사용하는 방법을 알아보겠다. ​ ​ ​ ​ ​ _DATASET PREPARATION ​ Dogs vs Cats Dataset : https://www.kaggle.com/c/dogs-vs-cats/data ​ 위 링크로 들어가서 데이터셋을 다운로드 받자 (나는 project에 맞춰 ECG datasets를 사용했다) 다운로드를 완료했으면 다음 libaries를 import해준다. Sequential : Sequential model을 만들기 위해 사용한다. Sequential model은 모델의 모든 layers가 순차적으로 나열되었다는 뜻이다. ImageDataGenerator :..