Bayes theorem

확률의 덧셈 법칙:
P(A|B) = P(A) + P(B) - P(A∩B)

P(A|B) -> P(B) given일 때, P(A) 즉, B확율이 주어졌을 때, A가 발생할 확률

어떤 두 사건이 동시에 일어 날 수 없을 때, 배반인 사건이라고 한다. (mutually exclusive event)
A와 B가 서로 배반일 때
P(A|B) = P(A) + P(B)

조건부 확률의 계산 
P(B|A) = P(A∩B) / P(A) (단 P(A) > 0)

곱셈 법칙 : 
P(A∩B) = P(B|A)P(A)
독립사상의 곱셈 법칙 :
P(A∩B) = P(A)P(B)

여사상의 확률 : 
P(A) + P(A^c) = 1 즉, P(A^c) = 1-P(A)  

확률의 분할 법칙 : 
P(B) = P(A∩B) +P(A^c∩B)
      = P(B|A)P(A) + P(B|A^c)P(A^c)

평소 하는 말 중 70%가 거짓말인 사람에게 거짓말 탐지기로, 어떤 물음에 대한 대답이 거짓인지 참인지를 조사하려 한다.이 거짓말 탐지기는 90%의 정확성을 가지고 있다고 할 때 대답이 거짓이라는 조사 결과가 나올 확률을 얼마인가?

A : 그 사람이 거짓 말을 함
B : 거짓말 탐지가가 '거짓'이라고 답 함

P(A) = 0.7   P(A^c) = 0.3   P(B|A) = 0.9    P(B|A^c) = 0.1
따라서,
P(B) = P(B|A)P(A) + P(B|A^c)P(A^c)
      = 0.9 * 0.7 + 0.1 * 0.3
      = 0.66

Bayes 정리

위에서 거짓말 탐지기의 조사 결과가 '거짓'으로 나왔을 때 우리는 그 조사 결과를 어느 정도 믿을 수 있을까? 이것은 조사 결과가 '거짓'으로 나왔을 때 그 사람이 실제로 거짓말을 했을 조건부확률을 구하면 된다.
P(A∩B) = P(B|A)P(B) = 0.9 * 0.7 = 0.63

P(A|B) = P(A∩B) / P(B) = 0.63 / 0.66 = 0.955

이렇게 어떤 실험결과에서 나온 정보를 이용하여 어떤 사건의 처음 확률을 개선시킬 수 있는데, 이 때 처음의 확률을 사전확률(prior probability)라 하고, 수정된 확률을 사후확율(posterior probability)라 한다.

위의 예에서 사후확률을 구한 방법을 정리하면 다음과 같다.
P(A|B) = P(A∩B) / P(B)
         = P(B|A)P(A) / (P(B|A)P(A) + P(B|A^c)P(A^c))

베이즈 정리 : 
서로 배단인 사건 A1, A2, A3... An중 하나는 반드시 일어날 때, P(B) >0 이면,
P(Ak|B) = P(B|Ak)P(Ak) / ((P(B|A1)P(A1) + (P(B|A2)P(A2) + ... + (P(B|An)P(An))

베이즈 정리를 사용하면 여러 가지 사후확률을 구할 수 있다.