Adore__

Source : [BoostCourse '인공지능을 위한 선형대수' - 주재걸 교수님] eigendecomposition 와 비교해서 살펴보면 상당히 비슷한 점이 있다. 한번 비교해보자 eigendecomposition은 Ax에서 A가 정사각행렬이었지만, SVD에서는 직사각행렬으로 허용범위가 넓어졌다. 또한 둘 다 A를 3개의 matrix로 분할하고, 조건이 있었다. eigendecomposition은 V가 가역행렬이고 D가 대각행렬이어야 한다. SVD는 U와 V transpose 는 각각 다 orthonormal matrix 이어야 한다. Sigma는 D와 마찬가지로 대각행렬이다. orthonormal 직교행렬 이란, 행렬의 모든 열벡터들이 길이가 1이고 서로 직교해야 한다. U의 column vect..

만약 행렬 A가 대각화가 가능하다면 (diagonalizable), 다음과 같은 식이 성립할 것이다. 여기서 D는 대각행렬, V는 가역행렬이어야 한다. 이 식을 살짝 바꿔서 A를 기준으로 만들어보자 이 꼴을 바로 A의 eigendecomposition이라고 한다. 주어진 A를 여러 개의 matrix 곱으로 나타내되, 이를 고유값 분해로 부르기위해서는 V와 D가 어떤 조건을 만족해야 한다. V는 가역행렬이고, D는 대각행렬이어야 한다. 음? 앞의 대각행렬의 조건과 같다. 따라서 A가 대각화가 가능하다면, 고유값분해가 가능하다는 것과 동치이다. 자 그러면 A가 고유값 분해가 가능하다고 가정하고, x의 선형변환을 A matrix로 설정해보자. A의 고유값 분해 식에 의해 Ax를 다음과 같이 바꿀 수 있다. 이..

Source : [BoostCourse '인공지능을 위한 선형대수' - 주재걸 교수님] 정규방정식, 즉 근사해를 구하는 방법은 크게 2가지로 나뉠 수 있다. 1. (A transpose * A)가 가역행렬일 경우 앞서 Least square에서 x^를 찾기 위해 출발했던 식은 아래 그램의 x^이었다. 이 x^를 minimize 하는 식을 구하면 결국에 Normal Equation 인 A transpose *(b-Ax) = 0와 같다. 따라서 A가 가역행렬일 경우, 위의 마지막 식처럼 근사해 x를 구할 수 있다. 2. (A transpose * A)가 가역행렬이 아닐 경우 역행렬이 없다는 것은 해가 무수히 많거나, 없는 경우 두 가지 중 하나이다. 하지만 보통 정규 방정식에서는 '해가 없는 경우'는 존재하..