머신러닝 (118) 썸네일형 리스트형 영공간과 직교여공간 학습목표 이번 시간에서는 고유값과 고유벡터의 개념과 이를 구하는 과정을 벡터 공간과 결부시켜 더 깊히 이해하기 위해 새로운 벡터 공간의 개념을 배워보도록 하겠습니다. 핵심 키워드 영공간(Null Space) 직교여공간(Orthogonal Complement) 학습하기 이제 영공간,Null space라는 것에 대해 배워봅시다. 저희가 Matrix와 Space라는 단어를 배울 때, Col A로 Span된 Subspace 등을 배웠었죠. Null space라는 건, Ax = 0의 모든 솔루션들의 집합을 의미합니다. Null A라고도 표기합니다. 여기서 저희가 접근할 방법은, A와 x의 내적을 했을 때, 0이 나온다는 부분을 보고, 아, A와 x가 서로 수직이구나. 를 생각해내는 겁니다. 더 정확하게는, A를 .. 고유벡터와 고유값 학습목표 고유값 분해는 이미 널리 알려지고 다양한 분야에서 쓰이고 있는 주성분분석(PCA: Principal Componet Analysis) 등의 주요 머신러닝 알고리즘에서 중요하게 쓰이는 개념입니다. 이번 강의에서는 고유값 분해를 배우기 위한 첫 단계인 고유벡터와 고유값의 개념에 대해 배워보도록 하겠습니다. 핵심 키워드 고유벡터와 고유값(Eigenvectors and Eigenvalues) 학습하기 이번엔 고유벡터(Eigenvector)에 대해 알아봅시다. 아래와 같이 Ax = rx를 만족하는 벡터 x와, 스칼라 r를 생각해봅시다. 이러한 값들이 각각 고유벡터, 고유값이 됩니다. 이러한 내용이 기하학적으로 어떤 역활을 하게 되는지 생각해봅시다. 기본적으로 Ax 는 x라는 벡터를 A matrix만큼 T.. 그람-슈미트 직교화와 QR 분해 학습목표 이번에는 임의의 행렬을 직교기저(Orthogonal Basis)를 가지는 행렬로 변환하는 그람-슈미트 직교화에 대해 배워보겠습니다. 핵심 키워드 그람-슈미트 직교화(Gram-Schmidt Orthogonalization) QR분해(QR Factorization) 학습하기 이제 Orthnogonal projection의 마지막입니다. 마지막에 말씀드렸듯, Feature vector들이 직교하지 않으면, 정보가 중복되게 됩니다. 그럼 저희는, 이걸 어떤 후처리를 통해서 직교하도록 만들어주면 좋겠죠. 이를 직교화(Orthogonalization)이라고 합니다. x1=[3,6,0], x2=[1,2,2]라는 두 벡터를 생각해봅시다. 두 벡터를 내적해보면 15이니까, 이건 서로 직교하지 않습니다. 이를 어.. Orthogonal Projection 2 학습목표 이번 강의에서는 지난 시간에 이어서 Orthogonal Projection을 구체적인 예시와 함께 더 깊이 다뤄보는 시간을 가지겠습니다. 핵심 키워드 정사영(Orthogonal Projection) 학습하기 Orthogonal projection을 계산할 때, 주어지던 Basis vector들이 Orthonormal하다는 가정을 한 번 해봅시다. 그렇게 되면, 아래와 같은 수식을 적어나갈 수 있겠죠. 주의할 점은, 벡터간의 내적과, 행렬간의 곱을 잘 구분하시면서 진행하셔야한다는 것이겠죠. 쨋든, 이렇게 정리해나가면, 최종적으로 b^ = U*U^T*b라는 결과가 도출됩니다. 그리고 이는 선형변환이 되는 셈이죠. 즉, A = U = [u1, u2]가 Orthonormal columns일 때, A^T.. Orthogonal Projection 1 학습목표 이번에는 Orthogonal Projection 관점에서 Least Squares Problem을 접근해보도록 하겠습니다. 이를 위해 선형대수에서 중요한 개념인 Orthogonal Projection을 아래의 주요 개념들과 함께 이해하는 시간을 가져보겠습니다. 핵심 키워드 Orthogonality와 Orthonormality 직교기저(Orthogonal Basis)와 정규직교기저(Orthonormal Basis) 정사영(Orthogonal Projection) 학습하기 Least Square를 잘 이해하는 또다른 시선으로, Projection 이라는 개념을 한 번 이야기해보죠. Projection은 사영-의 개념이죠. 계속해서 보셨던 b^이라는 건, b의 수선의 발이었죠. 이런 수선의 발이라는 .. 정규방정식 학습목표 이번 강의에서는 Least Sqaures Problem을 푸는 방법 중 하나인 정규방정식을 배워보도록 하겠습니다. 그리고 그 해를 유도하는 두 가지 방법을 살펴보는 시간을 가지겠습니다. 핵심 키워드 정규방정식(Normal Equation) 학습하기 앞선 강의에서 말씀드렸듯이, b^이라는 건 b의 A공간에 대한 수선의 발이었습니다. 그리고 아래의 Normal eqaution을 만족하는 x^이, 저희가 계속 말하는 Least squared error를 최소화하는 x^이 됩니다. 정확히 동치인거죠 사실. 만약 아래의 수식에서 C=A^T*A가 Invertible하다면 굉장히 쉽죠. 그냥 역행렬을 양변에 곱해줌으로써, x^을 계산할 수 있습니다. 그리고, 이러한 정규방정식을 Least square err.. Least Squares와 그 기하학적 의미 학습목표 이번 강의에서는 지난 시간 소개한 Least Squares Problem의 복습과 함께 Least Squares Problem의 기하학적 의미에 대해 살펴보는 시간을 갖도록 하겠습니다. 핵심 키워드 Over-determined System 최소제곱법(Least Squares) 학습하기 앞서 정량화된 Error를 최소화하는 어떤 솔루션을 구하고자 하는, Least squares problem에 대해 학습했었습니다. 주어진 라벨 벡터와, 예측된 벡터를 뺀 것의 Norm을 최소화한다는 것이, 그 핵심이었죠. 이런 최소제곱법(Least Squares)의 기하학적 해석을 해봅시다. Ax = b라는 식에서, Col of A로 Span되는 공간이 아래 그림의 초록색 평면이 되겠죠. 그리고 b는 그 Span된.. Least Square Problem 소개 학습목표 이번 강의에서는 Least Squares Problem에 대한 소개와 함께 앞으로 Least Squares를 배우는데 필요한 개념들을 배워보도록 하겠습니다. 벡터와 관련된 이 개념들은 선형대수에 있어 중요한 개념이니 꼭 알고 가시면 좋을 것 같습니다. 핵심 키워드 내적(Inner Product, Dot Product) 벡터의 길이(Vector Norm) 단위벡터(Unit Vector) 직교벡터(Orthogonal Vectors) 학습하기 앞서 배웠던 Over-determinded Linear System을 떠올려봅시다. 방정식의 수가 변수의 수보다 많을 경우에는, 적은 수의 변수로 많은 상황을 설명할 수 있어야한다는 뜻이니까, 해가 존재할 수 없었습니다. 이러한 연산을 위해 Matrix equa.. 이전 1 ··· 3 4 5 6 7 8 9 ··· 15 다음
