[인공지능을 위한 선형대수] Subspace, Basis, Dimension, Rank

Source : [BoostCourse 인공지능을 위한 선형대수 - 주재걸 교수님]

 

 

'닫혀 있다'라는 말은 무엇일까?

먼저 '곱셈'에 닫혀있다는 말은, S = {a,b,c,d,..} 가 있을 때 S의 어떤 두 원소의 곱으로도 다른 원소를 표현할 수 있는 것을 말한다.

 

곱셈에 닫혀있다

 

▪️Subspace 부분공간

 

이를 벡터의 부분집합으로 옮겨서 생각해보면, S 집합 안에 여러 벡터들이 있을 때, 어떤 벡터들의 선형결합으로도 다른 원소벡터를 표현할 수 있으면 이 집합은 '선형결합'에 닫혀 있다.

공간의 부분 집합으로 S = {[1,2,3],[5,4,2]} 이 있을 때, Subspace의 조건은 모든 원소 벡터들이 선형 결합에 닫혀있어야한다.

 

만약 선형결합으로 표현하지 못하는 하나의 원소벡터라도 있으면 이는 '닫혔다'라고 말할 수 없다.

선형결합에 닫혀있다.

 

 

 

 

▪️Basis 기저

 

어떤 한 평면(부분공간 H)이 있다고 하자. 여기서 우리는 basis (기저벡터)를 찾아볼 것이다.

1) 만약 어떤 두 벡터의 선형결합만으로 이 공간 H를 모두 포함할 수 있고 (span 가능)

2) 이 두 벡터가 서로 선형 독립이면,  (서로 중복을 허용하지 않음)

이 두 벡터는 이 부분공간의 basis라고 할 수 있다.

 

반대로 이제는 기저벡터가 주어졌을 때, 부분공간 H를 찾아보자.

이 기저벡터의 선형 결합으로 어떤 평면을 fully span하게 된다면, 이는 부분공간 H가 될 수 있다.

문제는 이러한 기저벡터가 유일하냐?  답은 아니다. 또 다른 기저벡터로 동일한 영역 H를 만들 수 있기때문이다.

=> 기저벡터는 유일하지 않다!

 

그렇다면 서로 다른 기저벡트를 사용했을 때 무엇이 달라지느냐?

그건 바로 기저벡터에 곱해지는 가중치 값이다.

빨강과 초록 벡터 모두 고정된 subspace를 표현할 수 있지만, 그 가중치 값이 다르다.

 

 

 

▪️Dimension 차원

 

Subspace의 기저벡터의 개수 이다.

기저벡터는 유일하지 않지만, 어떤 한 subspace의 기저벡터 개수, 즉 차원은 유일하다.

 

standard basis vector : [1 0 0] [0 1 0] [0 0 1]

위에서 말했듯이 기저벡터는 유일하지 않고 단순히 가중치 값만 달라진다고 했다.

따라서 가장 간단한 기저벡터인 standard basis vector를 사용하고 여기에 가중치 값만 달리하면 어떠한 3차원 부분공간도 표현할 수 있다.

 

 

 

 

▪️Rank

column space의 차원을 말한다.

rank A = dim (Colum A)

 

아래 표를 보면, 열의 갯수는 특징의 개수와 같다. 만약 v1, v2, v3, v4의 span이 v1 span과 같다고 하자.

이런 경우 '키'의 정보만으로 모든 요소들이 설명이 된다. 키가 170에서 180으로 커졌을 때, 몸무게도 동일한 비율로 증가하게 된다.

즉, 몸무게가 주는 부과적인 정보가 없다는 것이다.

 

이처럼 열벡터가 100개가 넘어도, 이것의 차원인 Rank 가 5뿐이라면 ML에 사용되는 특징 종류는 5개밖에 되지 않는다.

ML에서 나머지 정보는 학습에 사용되는 추가적인 요소가 되지 않기때문이다.

 

키와 몸무게의 증가 비율이 같을 때, 몸무게 정보는 필요 없다.