고유벡터와 고유값

학습목표

 고유값 분해는 이미 널리 알려지고 다양한 분야에서 쓰이고 있는 주성분분석(PCA: Principal Componet Analysis) 등의 주요 머신러닝 알고리즘에서 중요하게 쓰이는 개념입니다. 이번 강의에서는 고유값 분해를 배우기 위한 첫 단계인 고유벡터와 고유값의 개념에 대해 배워보도록 하겠습니다.

핵심 키워드

• 고유벡터와 고유값(Eigenvectors and Eigenvalues)

학습하기

 이번엔 고유벡터(Eigenvector)에 대해 알아봅시다. 아래와 같이 Ax = rx를 만족하는 벡터 x와, 스칼라 r를 생각해봅시다. 이러한 값들이 각각 고유벡터, 고유값이 됩니다.

 이러한 내용이 기하학적으로 어떤 역활을 하게 되는지 생각해봅시다. 기본적으로 Ax 는 x라는 벡터를 A matrix만큼 Transformation시키는 역활을 수행합니다. 그런데 이런 Ax의 결과가 rx와 같다는 말은, 어떤 스칼라 r이, A matrix가 수행하는 Transformation과 같은 역활을 수행하게 된다는 말입니다. 

 그럼, 똑같은 역활을 하는 건데, 각각 계산해내는게 무슨 소용이느냐. 연산을 생각해보시면 되겠죠. 고유벡터로 Transformation을 시행하기 위해서는, 아래의 그림을 기준으로 했을 때, 총 4번의 연산이 필요한데 반해, 고유값은 총 2번의 연산으로도 충분하죠. 이건 Matrix가 커질수록 차이가 커질테구요. 값을 저장한다는, 그런 메모리적 의미에서도 훨씬 효율적이죠. 고등학교 때 배웠던 연산 중 회전 연산이 있죠. [ [cos sin], [-sin cos] ] 이렇게 생겼는데, 컴퓨터 그래픽적으로, 이런 회전 연산 등이 모두 행렬연산인데, 이런 행렬연산을 조금이라도 쉽고, 빠르게 진행할 수 있는 일종의 트릭을 저희는 알게된 셈입니다.

 그럼 이런 고유벡터와 고유값을 어떻게 계산해낼 것인가-에 대해 생각해보겠습니다. Ax=rx -> (A-rI)x=0 를 유도할 수 있는데, 여기서 고유벡터 x는, non-zero vector라는 조건이 있는데, 당연한 것이, x가 영벡터라면, Ax=rx는 항상 성립하기 때문이겠죠. 쨋든, 때문에 (A-rI)는 역행렬을 가져선 안되겠죠. 역행렬을 가지면 그냥 양변에 곱해줌으로써 x=0가 될테니까요. 그렇게 역행렬을 가지지 않는다는 말은, A-rI가 선형의존이라는 말이 되겠습니다. 

 가령 아래의 예시를 보죠. A에서 8I를 빼면, [[-6,6], [5,-5]]이고, 이건 선형의존입니다. 때문에, 8은 A의 고유값이며, 이에 해당하는 고유벡터는 c*[1,1]라는 것을 계산할 수 있습니다.