본문 바로가기

머신러닝/[인공지능을 위한 선형대수]

선형독립과 선형종속

학습목표

 이번 강의에서는 선형대수에서 중요한 개념 중 하나인 선형독립과 선형종속에 대해서 배우겠습니다. 그리고 이들이 선형 시스템 내에서 가지는 특성에 대해서도 알아보겠습니다.

핵심 키워드

  • 선형독립과 선형종속(Linear Independence and Linear Dependence)

학습하기

 이번에는 선형독립과 선형종속, 서브스페이스 정도를 배워보겠습니다. 한 번 직관적으로 생각해봅시다. 2개의 벡터로 Span한 공간에 라벨 벡터가 들어가있다면, 우리는 두개 벡터의 가중치를 잘 찾음으로써, 정확한 솔루션을 찾을 수 있었습니다. 이런 선형결합은 2개 벡터가 있다고 생각했을 때는 어떤 평행사변형을 만드는 개념이었고, 솔루션이 여러 개라는 말은 이런 평행사변형이 여러 개가 존재할 수 있다는 의미겠죠.

 선형독립의 Practical한 정의를 먼저 보겠습니다. 어떤 벡터v_j 가 기존의 벡터들의 Span에 들어간다면, 선형종속이며, 그렇지 않다면 선형독립입니다. 추가로, 3차원 공간에서 4개의 벡터가 주어진다면, 이 벡터들은 선형종속인가 독립인가. 당연히 선형종속입니다. 3개의 벡터가 모두 선형 독립이라면, 그것만으로 이미 3차원 공간 전체를 Span할 수 있기 때문에, 남은 1개의 벡터는 분명 3개의 벡터로 표현될 수 있는 거죠.

 또 Fomal한 정의는, 선형결합으로써 설명할 수 있습니다. Ax=0이라는 방정식(Homogeneous equation)을 생각할 때, 이 식의 traivial solution은 0일 텐데, 만약 이것이 유일한 솔루션이라면, v_i들은 선형독립이며, other non-trivial solution을 갖는다면, v_i들은 선형종속입니다.

 두 개의 정의를 잘 이해하셨다면, 두 개가 결국 같다는 것을 아실 수 있을 겁니다.

 일반적으로 선형독립인 벡터의 개수가 증가하면, Span할 수 있는 차원의 사이즈는 증가하겠지만, 선형종속인 벡터는 추가되어봐야 Span의 차원의 수를 늘리지는 못하겠지요.

 지금까지는 Ax=0의 상황에서 선형독립과 의존을 살펴봤었는데요. 그렇다면 본래의 방정식인 Ax=b의 상황 아래에서도, 같은 내용이 적용될 수 있을지, 생각해보죠. 만약 주어진 벡터 방정식 Ax=b를 만족하는 솔루션이 있고, 3개의 벡터가 선형종속이라고 가정해봅시다. 그럴 경우, 3개의 변수로 표현되던 선형결합식이, 2개의 변수로도 표현될 수 있고, 그에 따라 가중치도 변화하며, 이 또한 방정식의 해가 되겠죠. 즉 1개 이상의 솔루션이 존재하게 됩니다.

 위의 그림과 다르게 아래의 그림과 같게도 당연히 표현 가능하겠죠.

 정리하면, 라벨 b가 주어진 벡터들의 Span에 포함될 때에만, 솔루션은 존재하며, 이러한 벡터들이 서로 선형독립일 때에만, 유일한 솔루션이 존재합니다. 선형종속이라면 무수히 많은 해가 존재할 수 있게 되겠죠. 이상입니다.

'머신러닝 > [인공지능을 위한 선형대수]' 카테고리의 다른 글

선형변환  (0) 2020.05.13
부분공간의 기저와 차원  (0) 2020.05.13
선형결합  (0) 2020.05.11
실습 1  (0) 2020.05.10
선형방정식과 선형시스템  (0) 2020.05.09