Adore__

Source - [Attention is All you Need, NLPs, 2017] 논문 - [BoostCourse, '딥러닝 기초다지기'] Transformer RNN은 하나의 입력이 들어가고 또 다른 입력이 들어올 때, 이전 RNN에서 갖고있던 cell state가 반복해서 돌아가는 재귀적인 구조였다. 반면, Transformer는 재귀적인 구조가 아닌 Attention 구조를 활용한다. Attention 구조가 무엇인지는 차근차근 알아보자. 먼저 Transformer는 sequential data를 처리하고 encoding 하는 구조이기때문에 NLP 뿐만 아니라 이미지 분류, detection, 등 에서도 효과적으로 활용된다. 우리의 목적은 어떤 문장이 주어지면 다른 sequence로 바꾸는 것..

Source : [BoostCourse 딥러닝 기초 다지기]의 자료를 사용하였습니다. CNN은 입력 이미지를 내가 원하는 형태로 바꿔주는 것이었다. - classification: one-hot vector - detection : 각각의 영역에 있는 bounding box - semantic segmentation : 이미지의 픽셀별로 속하는 class 찾기 하지만 RNN은 입력 자체가 sequential data이다. sequential data를 처리함에 있어서 가장 큰 어려움은, 하나의 라벨로 정의될 수 없다는 것이다. 글자가 입력으로 들어올 때, 그 길이가 언제 끝날지 모른다. 내가 받아들여야 하는 입력의 차원을 알 수 없기때문에 CNN을 사용할 수 없다. 즉, 몇개의 입력이 들어오든 이 모델을..