본문 바로가기

분류 전체보기

(125)
Least Square Problem 소개 학습목표 이번 강의에서는 Least Squares Problem에 대한 소개와 함께 앞으로 Least Squares를 배우는데 필요한 개념들을 배워보도록 하겠습니다. 벡터와 관련된 이 개념들은 선형대수에 있어 중요한 개념이니 꼭 알고 가시면 좋을 것 같습니다. 핵심 키워드 내적(Inner Product, Dot Product) 벡터의 길이(Vector Norm) 단위벡터(Unit Vector) 직교벡터(Orthogonal Vectors) 학습하기 앞서 배웠던 Over-determinded Linear System을 떠올려봅시다. 방정식의 수가 변수의 수보다 많을 경우에는, 적은 수의 변수로 많은 상황을 설명할 수 있어야한다는 뜻이니까, 해가 존재할 수 없었습니다. 이러한 연산을 위해 Matrix equa..
전사함수와 일대일함수 학습목표 이번 강의에서는 전사함수와 일대일함수를 배워보겠습니다. 그리고 이 개념이 실제로 Neural Networks에서는 어떻게 응용될 수 있는지를 생각해보는 시간을 갖겠습니다. 핵심 키워드 전사함수(Onto, Surjective) 일대일함수(One-to-one, Injective) 학습하기 이번에는 선형변환에서 나오는 2가지 개념, Onto와 One-to-one에 대해 말해봅시다. 이건 고등개념으로는 전사와 단사에 해당하는 개념입니다. 때문에 공역=치역이면 Onto, 전사입니다. 모든 y에 대응하는 x가 반드시 존재한다고도 말할 수 있습니다. 2가지 경우를 생각해봅시다. T1:R^3->R^2와 T2:R^2->R^3. 전자는 Onto가 될 수 있지만, 후자는 Onto가 될 수 없습니다. 어떻게 보면 당..
선형변환 with Neural Networks 학습목표 이번 강의에서는 앞서 배운 선형변환이 실제 딥 러닝(Deep Learning)이 기반을 두는 신경망(Neural Networks)에서는 어떻게 작용하는지 알아보겠습니다. 학습하기 이런 선형변환이 많은 것을 시사하는데요. Neural Network에서 Fully-connected layer(Affine layer)를 생각해봅시다. 아래 그림의 링크를 들어가셔서 내용을 읽어보시는 것을 추천드립니다. 자 [1,0], [0,1]이라는 Standard vector들을 생각해봅시다. 이런 벡터들로 Span되는 공간은 아래 그림과 같은 평면이 되겠죠. 그리고, T([1,0])=[2,3], T([0,1])=[1,4]라는 변환을 알고있다고 생각해봅시다. 이러한 변환을 통해 구한 Standard matrix A가..
선형변환 학습목표 이번 강의의 주제는 선형변환입니다. 우선 함수의 개념을 통한 변환(Transformation)의 개념과 친숙해지고, 이를 확장하여 벡터공간 내에서의 선형변환을 배우겠습니다. 핵심 키워드 선형변환(Linear Transformation) 학습하기 이번에는 변환(Transformation)에 대해 이야기를 해보죠. Transformation, Function, Mapping 사실 다 같은 역활을 수행합니다. 어떤 Input x를 Output y로 매핑하는거죠. Co-domain은 고등학생 때 배웠던 공역, Range는 치역이 될 거구요. 함수 자체의 정의에 따라, 특정 x에 매핑되는 y는 유일해야합니다. 하나의 원소가 여러 개의 원소에 매칭되는 건 정의에 맞지않습니다. 이런 Transformatio..
부분공간의 기저와 차원 학습목표 앞서 배운 선형독립과 선형종속의 개념과 특징에 이어 이번 강의에서는 벡터공간에서의 부분공간의 개념과 부분공간의 기저(Basis)와 차원(Dimension), 그리고 행렬의 계수(Rank)의 개념까지 알아보겠습니다. 핵심 키워드 부분공간(Subspace) 기저(Basis)와 차원(Dimension) 계수(Rank) 학습하기 이번에는 Subspace에 대해 알아보죠. 결론적으로는 Span과 거의 비슷합니다. R^3의 부분집합을 생각해보면 [1,2,3], [5,2,3] 뭐 여러 개가 있겠죠. Subspace는 이러한 Subset에서 조건을 추가한 것 뿐입니다. 그 조건이, Closed under linear combination. 선형 결합에 닫혀있다라는 겁니다. 여기서 닫혀있다-라는 개념은, Sub..
선형독립과 선형종속 학습목표 이번 강의에서는 선형대수에서 중요한 개념 중 하나인 선형독립과 선형종속에 대해서 배우겠습니다. 그리고 이들이 선형 시스템 내에서 가지는 특성에 대해서도 알아보겠습니다. 핵심 키워드 선형독립과 선형종속(Linear Independence and Linear Dependence) 학습하기 이번에는 선형독립과 선형종속, 서브스페이스 정도를 배워보겠습니다. 한 번 직관적으로 생각해봅시다. 2개의 벡터로 Span한 공간에 라벨 벡터가 들어가있다면, 우리는 두개 벡터의 가중치를 잘 찾음으로써, 정확한 솔루션을 찾을 수 있었습니다. 이런 선형결합은 2개 벡터가 있다고 생각했을 때는 어떤 평행사변형을 만드는 개념이었고, 솔루션이 여러 개라는 말은 이런 평행사변형이 여러 개가 존재할 수 있다는 의미겠죠. 선형독..
선형결합 학습목표 이번 강의에서는 벡터들 간의 선형결합에 대한 개념과 벡터공간 상의 Span의 개념에 대해 알아보겠습니다. 그리고 선형결합과 관련하여 네 가지의 새로운 관점을 통해 행렬의 곱셈을 심도있게 배우는 것을 목표로 합니다. 핵심 키워드 선형결합(Linear Combination) 생성(Span) 행렬의 곱셈 학습하기 이번에는 선형결합(Linear combination)입니다. 아래와 같이 여러 개의 벡터가 주어졌을 때, 이들에게 각각의 계수 또는 가중치를 곱해주고, 모두 합친 형태를 선형결합이라고 합니다. 만약 벡터가 3차원이라면, 선형결합도 3차원 벡터로 표현되겠죠. 앞서서, 선형시스템을 살펴봤었는데요. 아래 그림에서 Ax = b처럼, 행렬을 통해서 표현했었죠. 이번에는 선형결합을 사용해서 표현할테니,..
실습 1 학습목표 이번 강의에서는 이제까지 배웠던 개념을 실제로 코드로 작성하고 실행을 해보도록 하겠습니다. 실습 환경으로 Python과 기본 라이브러리 중 하나인 Numpy를 사용했습니다. 학습하기 Jupyter Notebook 환경하에서 실습을 진행하며, [코드]로 진행하겠습니다. 추가로 CS231n Python Numpy Tutorial, Linear algebra cheat sheet for deep learning을 함께 학습하면, 좋은 결과가 있으실 것으로 생각됩니다.