머신러닝

Linearly independent

토픽 머신러닝

Vector y가 주어진다면, 우리는 늘 Vector x를 구할 수 있을까요?

무슨 의미일까요? 간단한 예시를 보여드리겠습니다. 

Vector X가 [0,0], [1,2], [3,5], [7,9]... 등등등 무수히 많은 Vector X를 넣더라도 항상 Vector y는 구할 수 있습니다. 즉 모든 입력값인 Vector X는 해당하는 출력값 Vector Y를 가집니다. 

하지만 출력값인 Vector Y는 늘 해당하는 입력값 Vector X를 가질까요?

먼저 Vector y =  [1, 2] 이라고 봅시다. 계산해보면, Vector X = [1,0]를 가지네요. 답이 있습니다. 하지만            Vector y= [1,0]라면 어떨까요? 아무리 계산해보아도, 해당하는 입력값 Vector X가 없습니다!

해가 없다! 

차분히 한번 식을 봅시다. 이전 장에서 저 연립방정식의 핵심은 바로 Matrix A에 있다고 했습니다. 이를 한번 보겠습니다. 

뭔가 이상하지 않나요? 위의 [1,2]와 [2,4]는 서로 상수배 관계에 있습니다! Matrix A는 이 연립방정식의 조건들을 담은 정보인데, 첫번째 정보인 [1,2]와 두번째 정보인 [2,4]는 사실상 같은 정보입니다. 

연립방정식을 풀기 위해서는, 우리는 미지수 갯수만큼 조건식을 가져야 합니다. 하지만 이 식에서는 미지수 갯수 2개지만, 조건식이 1개 뿐이기 때문에, 우리는 해를 구할 수 없었습니다.

"이 식은 늘 해를 가지는가?"는 바로 "이 조건식들이 서로 독립인가?"와 같은 의미를 가집니다.

여기서 한 번 Linearly Independent의 정의를 보겠습니다.

를 만족할 때, Vector V1, V2,...,Vn은 서로 Linearly independent(선형 독립)의 관계를 가집니다. 확 직관적으로 안와닿죠? 식을 약간 더 풀어서 써보겠습니다.

c1으로 나눈 후, 우변으로 옮기고 정리하면 위처럼 됩니다. 즉, Vector V2,V3,....,Vn의 조합으로는 아무리 계산하더라도, Vector V1을 구할 수 없습니다. 

각 조건식의 조합으로 다른 조건식을 구할 수 없을 때, 그 Matrix ALinearly Independent합니다. 다시 이전 예시를 보겠습니다.

이 식에서는 첫번째 조건식 [1,2] 를 2배 해주게 되면, [2,4]를 구할 수 있습니다. 즉 Matrix ALinearly Independent하지 않기 때문에, 이 식은 늘 해가 존재하지는 않습니다.

우리는 Linearly independent한 조건식의 수만큼 해를 가질 수 있습니다. 그렇다면, 

Linealy Independent한 조건식의 수는 어떻게 구할까요? 

이 질문의 답이 바로 다음 장에 있습니다.

댓글

댓글 본문
  1. HANS71
    여기까지는 이해했습니다. 감사합니다.