[인공지능을 위한 선형대수] Linear Independency

Source : BoostCourse [인공지능을 위한 선형대수_주재걸 교수님]

 

 

 

▪️벡터방정식의 해와 Span

벡터 방정식의 해가 있는가?를 생각하기 위해서는 먼저 Span에 대해 알아야한다.

Span이란? 재료벡터들의 선형결합으로 만들 수 있는 가능 모든 벡터들의 집합을 말한다.

 

이 평면에 있는 모든 점들이 선형결합의 결과이고 이 영역을 Span이라 한다

 

만약 벡터가 1개만 주어졌다면, span은 직선이 될 것이고 2개 주어졌다면 평면, 3개가 주어졌다면 3차원 영역이 될 것이다.

 

 

자 이제 그러면 벡터방정식의 해가 있을 것이냐?에 대한 질문으로 돌아와 보자

아래 그림을 보면 3개의 재료 벡터(a1,a2,a3) 와 또 다른 벡터 b가 있다.

a 벡터들 만들 수 있는 영역 span) 안에 b 벡터가 포함되어 있으면, a들의 선형결합으로 b를 표현할 수 있으므로 해가 존재한다.

 

 

하지만 b가 span 영역 밖에 있다면, 어떠한 선형결합으로도 b를 표현할 수 없다.

 

 

 

 

▪️Sum of Rank-1 outer product

행렬의 곱을 Ran-1 outer product의 합으로 바라보는 관점이다.

 

이는 ML에 중요하게 사용될 개념으로, Matrix를 행렬의 곱으로 분해한 후 더해주는 방식이다.

 

 

 

 

 

▪️ Linear Independency

앞에서 보았던 Span을 다시 확인해보자.

b벡터가 a1, a2, a3의 span 안에 포함되어 있을 때 해가 존재한다는 걸 알았다.

이제 여기서 해가 유일하게 1개 존재할 것인지, 혹은 무수히 많이 존재할 것인지 확인해보는 것이 독립성이다.

 

만약 해가 여러개 존재한다는 것은, 앞서 봤던 예시의 3개의 재료벡터로 평행사변형을 여러개 만들 수 있다는 것이다.

즉, 방정식을 만족하는 x값(a1,a2,a3의 계수)이 여러개 존재한다는 것이다. 이때 a1, a2, a3는 선형종속이다.

만약 a1, a2의 span 안에 a3가 포함된다면 이들은 서로 의존적이라고 말할 수 있다.

따라서 3개의 벡터로도 3차원 공간은 만들지 못하고, 계속해서 2차원인 평면만 여러개 만드는 것이다.

 

반면 a1, a2, a3가 서로의 span안에 들어가 있지 않다면 3차원 공간을 만들 수 있고, 이들은 선형 독립이라 한다.

 

그럼 퀴즈를 한번 내보겠다.

만약 3차원 공간상에 존재하는 4개의 벡터가 있다고 할 때, 이들은 선형 종속일까 독립일까?

답은 선형 종속이다. 이미 3개의 벡터만으로 3차원 span을 만들게 되면 나머지 1개의 벡터는 이 3차원 공간을 벗어날 수 없다.

따라서 마지막 1개 벡터는 반드시 3개 벡터들의 span안에 포함될 것이고, 이 4개의 벡터는 선형 종속이 된다.

 

이를 방정식과 미지수의 게수 관점에서 살펴보면,

미지수의 개수 (벡터의 개수) > 방정식의 개수 (차원의 개수) 이면, 무조건 해가 무수히 많이 존재하면 선형종속이 된다.

미지수의 개수 < 방정식의 개수 일 때는, 상황별로 다르다. 재료벡터들이 서로 상수의 배수로 표현이 가능한지 확인해봐야 한다.

 

 

 

 

 

▪️ Ax = 0벡터와 선형종속

 

만약 Ax = b에서 b가 0벡터이면, 재료벡터 상관 없이 무조건 x는 하나의 해를 갖는다. (모든 x값이 0이 되면 된다.)

이러한 유일해 이외에 다른 해가 더 존재한다면 -> 해가 무수히 많음 -> 선형 종속

모든 x가 0인 유일해만 존재한다 -> 선형독립

 

마찬가지로 Ax = b에 유일해를 가지려면, a1, a2, a3가 서로 선형 독립이어야 한다.