ASR之语言模型
N-gram语言模型
待补充…
Perlexity
如何评价一个语言模型的好坏,
– 实际测试
– 困惑度(perlexity)
实际测试就是把训练的好的语言直接使用ASR的解码中,查看准确率。这个方法准确度高,但是效率低,因为我们把一个语音模型的评测问题变成了ASR的解码问题。
除了实际测试,还可以直接计算困惑度。就是把几个句子连起来变成一个很长的句子,然后使用下面的方法计算
概率连乘导致结果很小,所以开根号N,做归一化。倒数是为了,让困惑度和语言模型的好坏成正向,也就是困惑度越小,模型更好。
下面举个例子,假如有2个句子连起来。
<S>A B C</S>
<S>D E</S>
n = 5 + 2
假设是2-gram,那么
P(A|<S>)*P(B|A)*.....*P(E/</S>)
RNNLM语言模型
待补充…