부분공간의 기저와 차원

학습목표

 앞서 배운 선형독립과 선형종속의 개념과 특징에 이어 이번 강의에서는 벡터공간에서의 부분공간의 개념과 부분공간의 기저(Basis)와 차원(Dimension), 그리고 행렬의 계수(Rank)의 개념까지 알아보겠습니다.

핵심 키워드

• 부분공간(Subspace)
• 기저(Basis)와 차원(Dimension)
• 계수(Rank)

학습하기

 이번에는 Subspace에 대해 알아보죠. 결론적으로는 Span과 거의 비슷합니다. R^3의 부분집합을 생각해보면 [1,2,3], [5,2,3] 뭐 여러 개가 있겠죠. Subspace는 이러한 Subset에서 조건을 추가한 것 뿐입니다. 그 조건이, Closed under linear combination. 선형 결합에 닫혀있다라는 겁니다. 여기서 닫혀있다-라는 개념은, Subspace내의 벡터들을 아무리 선형결합해서 새로운 벡터를 만들어 낸다 한들, 그건 다시 Subspace안의 또다른 어떤 벡터라는 말이겠죠.

 기저(Basis)의 정의는 2가지 조건을 만족하는 Subspace의 벡터들의 집합입니다. 그 조건이라함은, 해당 벡터들의 Span은 Subspace전체가 되어야한다, 둘째로는 기저의 모든 구성 벡터들은 선형독립이어야한다. 결국 기저를 제외한 나머지 벡터들은 기저와 그 계수의 곱으로써 표현되겠습니다.

 기저(Basis)는 유일하지 않습니다. 생각해보면 당연하겠죠. 아래 그림상의 초록색 평면을 Subspace라고 할 때, 저런 평면을 Span할 수 있는 벡터 2개의 조합이 1개 뿐일까요? 아니죠 굉장히 다양하겠죠.

 다만, 그런 기저를 구성하는 벡터의 개수는 유일합니다. 이건 차원과 관련된 문제에요. 기저를 구성하는 벡터의 개수는 사실상 Subspace의 차원(Dim)수와 같게됩니다. 추가로, 이런 기저를 구성하는 가장 단순한 벡터가 뭘까요. 2Dim을 기준으로하면, [1,0] 과 [0,1]이 될 수 있겠죠. 길이가 1이고, 서로 직교하는 아름다운 형상입니다. 이런 벡터들을 스탠다드 벡터라고 칭합니다.

 Col space라는 건, 어떤 매트릭스의 Columns로 Span된 Subspace를 의미합니다. 아래 그림과 같은 경우, Col A의 차원은 2가 되겠죠.

 여기까지 이해를 했다면, 아래 그림도 굉장히 당연한 수식이 됩니다. 기저를 구성하는 벡터의 개수는 Subspace의 차원과 같았다를 생각해보면 되겠죠.

 그리고 이제 Rank 라는 개념이 있는데요. 이건 Col space의 차원을 의미합니다. 기저를 구성하는 벡터의 개수로 생각하셔도 되구요. 조금더 실용적으로는, 저희가 다룰 데이터셋에서 Feature, 그러니까 테이블(Matrix A)의 한 열이 Col이니까, 이런 Columns의 Basis를 구성하는 벡터들의 개수가 해당 테이블의 Rank인거죠. 추후 배울 RFE의 Pivot의 개수이면서, Rank의 수만큼 Basic variable을 가질겁니다. 이상입니다.