Adore__

Source : [BoostCourse '인공지능을 위한 선형대수' - 주재걸 교수님] 어떤 정방행렬이 주어졌을 때, eigendecomposition은 존재할 수도 있고, 없을 수도 있다. VDV(-1)에서 역행렬인 V가 없을 수 있기때문이다. 하지만 머신러닝에서 다루는 행렬은 대부분 symmetries positive (semi-)definite matrices이기때문에, eigendecomposition과 SVD가 모두 가능하다. symmetric positive definite matrix인 A가 들어온다. 이 행렬의 행은 특징값 (키, 몸무게, 나이...)을 가지고, 열은 data item (사람1, 사람2,..)을 가진다. 머신러닝에서는 AA(t)나 A(t)A를 가지고 알고리즘을 돌리는 경우가..

Source : [BoostCourse '인공지능을 위한 선형대수' - 주재걸 교수님] eigendecomposition 와 비교해서 살펴보면 상당히 비슷한 점이 있다. 한번 비교해보자 eigendecomposition은 Ax에서 A가 정사각행렬이었지만, SVD에서는 직사각행렬으로 허용범위가 넓어졌다. 또한 둘 다 A를 3개의 matrix로 분할하고, 조건이 있었다. eigendecomposition은 V가 가역행렬이고 D가 대각행렬이어야 한다. SVD는 U와 V transpose 는 각각 다 orthonormal matrix 이어야 한다. Sigma는 D와 마찬가지로 대각행렬이다. orthonormal 직교행렬 이란, 행렬의 모든 열벡터들이 길이가 1이고 서로 직교해야 한다. U의 column vect..

만약 행렬 A가 대각화가 가능하다면 (diagonalizable), 다음과 같은 식이 성립할 것이다. 여기서 D는 대각행렬, V는 가역행렬이어야 한다. 이 식을 살짝 바꿔서 A를 기준으로 만들어보자 이 꼴을 바로 A의 eigendecomposition이라고 한다. 주어진 A를 여러 개의 matrix 곱으로 나타내되, 이를 고유값 분해로 부르기위해서는 V와 D가 어떤 조건을 만족해야 한다. V는 가역행렬이고, D는 대각행렬이어야 한다. 음? 앞의 대각행렬의 조건과 같다. 따라서 A가 대각화가 가능하다면, 고유값분해가 가능하다는 것과 동치이다. 자 그러면 A가 고유값 분해가 가능하다고 가정하고, x의 선형변환을 A matrix로 설정해보자. A의 고유값 분해 식에 의해 Ax를 다음과 같이 바꿀 수 있다. 이..

Source : [BoostCourse '인공지능을 위한 선형대수' - 주재걸 교수님] 정규방정식, 즉 근사해를 구하는 방법은 크게 2가지로 나뉠 수 있다. 1. (A transpose * A)가 가역행렬일 경우 앞서 Least square에서 x^를 찾기 위해 출발했던 식은 아래 그램의 x^이었다. 이 x^를 minimize 하는 식을 구하면 결국에 Normal Equation 인 A transpose *(b-Ax) = 0와 같다. 따라서 A가 가역행렬일 경우, 위의 마지막 식처럼 근사해 x를 구할 수 있다. 2. (A transpose * A)가 가역행렬이 아닐 경우 역행렬이 없다는 것은 해가 무수히 많거나, 없는 경우 두 가지 중 하나이다. 하지만 보통 정규 방정식에서는 '해가 없는 경우'는 존재하..

Source : [BoostCourse '인공지능을 위한 선형대수' - 주재걸 교수님] 방정식의 개수(열벡터)가 변수보다 클 때, 보통 '해가 없다'라고 말한다. 방정식의 개수가 많아지면 하나의 열벡터는 엄청 광활한 dimension 안에 있다는 것이다. 여기서 해가 존재한다는 것은 이보다 적은 벡터의 span 공간 안에 b벡터가 들어가야한다는 것인데, 광활한 (예를 들어 100 dimension) 전체 공간에서 아주 작은 3개 벡터의 span 공간 안에 b 벡터가 딱 들어갈 확률은 그으윽히 작다. 이러한 경우 해는 어떻게 구해야할까? 단순히 해가 없네~라고 끝낼 수 없다. 근사적으로라도 해를 구해보자! 라는 게 Least Squares가 등장한 배경이다. 먼저 기본적인 내용을 살펴보자 Basis ▪️I..

Source: Steve Brunton (Youtube) https://www.youtube.com/watch?v=gXbThCXjZFM&list=RDCMUCm5mt-A4w61lknZ9lCsZtBw&index=5 Singular Value Decomposition = 특이값 분해 - Data Reduction : 고차원 input data를 저차원으로 줄여주는 차원 축소 기법이다 - Data-driven generalization of Fourier transform : 푸리에 변환의 일반화 기법 * 푸리에 변환이란? -> https://www.youtube.com/watch?v=Mc9PHZ3H36M - Facial Recognition, recommendation, 등에 사용됨 - 상업적 이용에 아주 중..