[Chapter 6] Hidden Markov Model

Hidden Markov Model

Markov Chain의 경우 실제 세계에서 관찰되는 연속된 사건의 확률을 계산할 때 사용된다. NLP에서 Part-Of-Speech-Tag처럼 현실 세계에서 관찰되지 않는 것이 있다. Hidden Markov Model은 관찰, 미관찰되는 연속된 사건의 확률을 사용하는 모델이다.

Component Of Hidden Markov Model

Markov Chain은 Set of State, Transition Probability Matrix, Start & End State 로 이루어져있다. Hidden Markov Model은 앞 3가지에 Sequence of Observation, Sequence of Observation Likelihood가 추가된 요소로 이루어져있다.

 

- Set of States                                                $Q = q_1q_2\cdot\cdot\cdot q_N$

- Transition Probability Matrix                     $A = q_{01}q_{02}\cdot\cdot\cdot q_{n1}\cdot\cdot\cdot q_{nn}$

- Sequence of Observation.                         $O = o_1o_2\cdot\cdot\cdot o_T$

- Sequence Of Observation Likelihood.      $B = b_i(o_t)$

- Start State & End State                              $q_0,q_F$

 

Hidden Markov Model은 2가지 추론으로 나타낼 수 있다. 특정 State에 대한 확률과 Output Observation에 대한 확률이다. 

 

[Probability Of a Particular State] Markov Assumption : $P(q_i|q_1 \cdot\cdot\cdot ,q_{i-1}) = P(q_i|q_{i-1})$

[Probability Of Output Observation] Output Independence : $P(o_i|q_1 \cdot\cdot\cdot ,q_{T},o_1 \cdot\cdot\cdot ,o_{T}) = P(o_i|q_i)$

Hidden Markov Model- Not Rely On Start & End State

Hidden Markov Model은 Start & End State에 의존하지 않기 위해 각 State에 시작 확률을 부여하는 방식을 사용할 수 있다. Inital Probability Distribution과 Accepting States로 구성된다. Initial Probability Distribution의 모두 원소의 합은 1이다.

 

- Initial Probability Distribution      $\pi_1,\pi_2,\cdot\cdot\cdot ,\pi_N$

- Accepting State                              $QA = \left\{q_x,q_y \cdot\cdot \cdot \right\}  , QA \subset Q$

궁금 & 공부

1. Output Observation 확률에서 조건부 $o_1 \cdot\cdot\cdot ,o_{T}$에 의존하지 않는 이유