[NLP Begin] Classical NLP Methods - HMM
文章目录
Hidden Markov Models
教材上给出了一个例子:
Initial State Probabilities
初始概率,举个例子:
Noun (N): 0.3
Verb (V): 0.2
Adjective (Adj): 0.5
Hidden state probabilities
From/To | N | V | Adj |
---|---|---|---|
N | 0.1 | 0.6 | 0.3 |
V | 0.4 | 0.1 | 0.5 |
Adj | 0.7 | 0.2 | 0.1 |
“众所周知”的规律,比如一个形容词后面大概率跟着一个名词; |
Emission probabilities
Word | N | V | Adj |
---|---|---|---|
that | 0.1 | 0.1 | 0.8 |
person | 0.8 | 0.1 | 0.1 |
is | 0.1 | 0.8 | 0.1 |
great | 0.1 | 0.1 | 0.8 |
running | 0.1 | 0.8 | 0.1 |
比如that 很大概率是一个形容词,有0.8 这么大的概率; | |||
开始计算,第一个单词是that , |
- 它的初始概率如下:
Noun (N): 0.3
Verb (V): 0.2
Adjective (Adj): 0.5 - 发射概率如下:
Noun (N) : 0.1
Verb (V) : 0.2
Adjective (Adj) : 0.5 - 计算过程如下:
For Noun : 0.3 × 0.1 = 0.03 0.3 \times 0.1 = 0.03 0.3×0.1=0.03
For Verb : 0.2 × 0.1 = 0.02 0.2 \times 0.1 = 0.02 0.2×0.1=0.02
For Adjective : 0.5 × 0.8 = 0.4 0.5 \times 0.8 = 0.4 0.5×0.8=0.4
发现概率最大的是Adj
,所以预测为Adj
形容词;
接下来就可以继续接下里的过程,对接下来的每一个单词而言:
- 该单词的某个
tag
的emission probability
; - 从上一个被选择的
tag
到当前被选择tag
的transistion probability
; - 将这些概率相乘,并且选择概率最高的
tag
;
到达最后一个单词之后,再回头来处理;
假设That
的tag
是Adj
,再寻找person
的tag
,
假设transition probabilities如下:
Adj -> N : 0.7,
Adj -> V : 0.2,
Adj -> Adj : 0.1,
person
的emission probabilities:
N : 0.8,
V : 0.1,
Adj : 0.1,
相乘之后比较结果,预测为N的概率最大: 0.7 × 0.8 = 0.56 0.7 \times 0.8 = 0.56 0.7×0.8=0.56;
参考
原文地址:https://blog.csdn.net/weixin_44092088/article/details/140354920
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!