Least Squares와 그 기하학적 의미

학습목표

 이번 강의에서는 지난 시간 소개한 Least Squares Problem의 복습과 함께 Least Squares Problem의 기하학적 의미에 대해 살펴보는 시간을 갖도록 하겠습니다.

핵심 키워드

• Over-determined System
• 최소제곱법(Least Squares)

학습하기

 앞서 정량화된 Error를 최소화하는 어떤 솔루션을 구하고자 하는, Least squares problem에 대해 학습했었습니다. 주어진 라벨 벡터와, 예측된 벡터를 뺀 것의 Norm을 최소화한다는 것이, 그 핵심이었죠.

 이런 최소제곱법(Least Squares)의 기하학적 해석을 해봅시다. Ax = b라는 식에서, Col of A로 Span되는 공간이 아래 그림의 초록색 평면이 되겠죠. 그리고 b는 그 Span된 공간에 포함되지 않는 벡터입니다. 이를 Col A의 선형결합으로 가장 근사하게 표현하고자 하는게 저희의 목적입니다. Ax = b^을 만족하는 b^을 찾는 문제가 되는거죠. 그리고 그런 b^과 b를 연결한 벡터는 필연적으로 Span된 공간에 수직일 수 밖에 없습니다. 거리가 최소화되어야하니까요. 결국 b^이라는 건, b가 A라는 공간에 내린 수선의 발이라고 생각하시면 됩니다.

 더 정확하게는, b-b^=b-Ax^이 모든 Col A들과 각각 수직이라는 뜻입니다. 이를 확인하려면, 일일히 모든 Col A와 계산을 할 것이 아니라, b-b^이, A를 구성하는 Basis와 수직이라는 것만 보이면 충분하겠죠. 내적이 분배법칙이 적용되기에 당연합니다. 그리고 이러한 식은 다시, A^T(b-Ax^) = 0라는 결과를 낳게되죠.

 때문에, 이런 Least squares problem이 주어졌을 때, 우린 아래와 같은 정규방정식, Normal equation을 생각해볼 수 있습니다. A^T*A는 항상 Square matrix가 되기 때문에, 이러한 Matrix가 Invertible하다면, 그 역행렬을 양변에 곱해줌으로써, 바로 솔루션을 계산할 수 있겠죠. 이상입니다.