Adore__

내 방향: 이론은 핵심적인 부분만! 코드로 작성하면서 하나씩 보충해가자 ▶ : 완료 ▶ : 진행 중 ▷ : 시작 전 Machine Learning 1) 선형대수 ▶ 인공지능을 위한 선형대수 : https://www.edwith.org/ai251/joinLectures/195088 ▶ 선형대수 전공수업 2) 알고리즘 ▶ Abdul Bari 유튜브 강의 : https://www.youtube.com/watch?v=0IAPZzGSbME&list=PLDN4rrl48XKpZkf03iYFl-O29szjTrs_O (개인적으로 최고다) ▶ 백준 문제 - class 별로 풀어보기 : https://solved.ac/class?class=1 - level 별로 풀어보기 : https://solved.ac/problems/..

Source - [Attention is All you Need, NLPs, 2017] 논문 - [BoostCourse, '딥러닝 기초다지기'] Transformer RNN은 하나의 입력이 들어가고 또 다른 입력이 들어올 때, 이전 RNN에서 갖고있던 cell state가 반복해서 돌아가는 재귀적인 구조였다. 반면, Transformer는 재귀적인 구조가 아닌 Attention 구조를 활용한다. Attention 구조가 무엇인지는 차근차근 알아보자. 먼저 Transformer는 sequential data를 처리하고 encoding 하는 구조이기때문에 NLP 뿐만 아니라 이미지 분류, detection, 등 에서도 효과적으로 활용된다. 우리의 목적은 어떤 문장이 주어지면 다른 sequence로 바꾸는 것..

Source : [BoostCourse '인공지능을 위한 선형대수' - 주재걸 교수님] 어떤 정방행렬이 주어졌을 때, eigendecomposition은 존재할 수도 있고, 없을 수도 있다. VDV(-1)에서 역행렬인 V가 없을 수 있기때문이다. 하지만 머신러닝에서 다루는 행렬은 대부분 symmetries positive (semi-)definite matrices이기때문에, eigendecomposition과 SVD가 모두 가능하다. symmetric positive definite matrix인 A가 들어온다. 이 행렬의 행은 특징값 (키, 몸무게, 나이...)을 가지고, 열은 data item (사람1, 사람2,..)을 가진다. 머신러닝에서는 AA(t)나 A(t)A를 가지고 알고리즘을 돌리는 경우가..