오늘의 토픽은 두 가지인데
베이지안 룰 (Bayes’ rule) 이랑
확률의 독립 (independence)임
오늘의 그림은 왼쪽 상단에서부터 읽음
초록색 동그라미는 W라고 표기해뒀고
파란색 동그라미는 R이라고 표기해뒀고
검은색 네모는 U라고 표기해뒀는데
W와 R과 U는 모두 집합임
중학교 1학년 1학기때 벤 다이어그램 이라는 놈을
기억은 하실듯
마찬가지로
합집합 교집합이 무엇인가 하는 쉬운 것은
설명하지 않겠음
저 그림을 가지고서
여러가지 확률 표현을 할 수가 있음
P(W|R) <= 이것은
조건부 확률 (conditional probability)이라고
부르는 것인데
R이 손아귀에 있다고 전제했을 때 W가 붙잡힐 확률임
그래서 P(R)을 분모로 놓고
P(R 교집합 W)를 분자로 놓음
저것을 적절히 조립을 하면
P(W|R) 과 P(R|W)의 관계를 표현할 수가 있는데
그것을 Bayes’ rule 이라고 부름
여기까지는 중고등학교 산수 시간에 하는 것이고
근데 머신러닝 이야기를 하면서
저거를 왜 하고 앉았느냐면
저 Bayes’s rule이라는 것을 가지고서
[정보가 업데이트된다] 라는 개념을 표현하는 수가 있기 때문임
예컨대 항아리에서 공뽑기를 한다면
눈가리고 뽑는 거보다
누가 귓말로 어느 항아리에 공이 얼마나 들었는지를
누가 귓말로 알려준 다음에 공을 뽑으면
더욱 잘 뽑겠지
왜냐면 정보가 업데이트 되었기 때문임
P(W)는
사전확률 (prior probability)라고 부르는데
전제로 한 것이 아무것도 없고
사전 정보가 없이 그냥 뽑은 것이라는 말임
눈가리고 공 뽑았다는 말
P(W|R)는
사후 확률 (posterior probability)이라고 부름
일이 일어난 다음의 확률이라는 뜻임
조건부 확률 P(W|R) 이놈이 무엇이라고 했느냐면
R이 손아귀에 있다고 전제했을 때
W가 붙잡힐 확률이라 그랬음
근데 손아귀에 있다는 R이,
‘업데이트된 정보’ 라는 말인데
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px '.Apple SD Gothic NeoI'} span.s1 {font: 12.0px 'Helvetica Neue'}
그러면 정보를 받지 않았을 때보다도
공을 더 잘 구분해서 뽑을수가 있는 것임
원래 있던 정보가 업데이트되면 뭐겠음
배운 것이지
learning을 한 것이므로
머신이 저 계산을 해주면
머신러닝 한 것임
지금은 W하고 R하고 단순하게 두개만 그려놨지만
Bayesian modeling을 하며는
매우매우 여러가지 집합을 서로 엮어서
Bayesian rule 계산을 하게 됨
둘째로 중요한 것은
독립 (independent)이라는 개념인 것인데
이것은 고등학교 산수 시간에 배우는 것임
사건 W와 R이 서로 독립이다 하는 말은
마치 듣기로는 서로 ‘무관하다/상관없다’
이런 말로 해석이 되어서
‘W와 R의 교집합이 공집합이다’ 라는 결론으로 치닫게 되는데
그것이 아니라
W와 R의 교집합의 확률이
W의 확률과 R의 확률의 곱
으로 표현이 되는 경우에
W와 R은 독립이다 라고 부름
독립이라는 말은
R이 전제되든 아니든 간에
W가 뽑힐 확률이 똑같다는 말임
반대로
W가 전제되든 아니든 간에
R이 뽑힐 확률이 똑같다는 말도 됨
그게 무슨 말이냐면
정보가 주어져도 업데이트 되는 효과가 없다는 말임
예를 들면
W: 내가 시험을 50점 맞아서 엄마한테 맴매를 맞을 확률은
R: 할머니가 시장에서 두부를 사올 확률과
아무런 관계가 없음
근데 내가 엄마한테 맴매를 맞는 사건과
할머니가 두부를 사올 사건은
동시에 발생하는 것이 가능하므로
W과 R의 교집합은 공집합이 아님
단지 할머니가 사오는 두부가
내가 맴매맞을 확률에 영향을 전혀 주지 않는다는,
그러니까 업데이트 해봐야 도움이 안되는 정보
라는 슬픈 소식을 의미하는 것임
그것이 독립사건 이라는 놈임
그림에서 주황색 점선으로 표시한 친구가 두 덩어리 있는데
사건 W와 R이 독립사건이라고 할 때는 둘이 같은 값임
저렇게 비율이 균등하게 유지되는 상황이 바로
W와 R이 독립되어 있는 것임
