第四章基于 MLP 估计后验概率的拒识 n ŸqÐý öëˆ Ä k ÇÙ x ˆ n MM q Ì f â ÇÈ k/ MM g ö É Ìý k} Ðý u Mult-layer Percetrons MLPq Ìý kq n x u Ç Ìg u{o MLP ýí f q n ö ¹rüqu{ùxõ Mathan and Mclet, 992 Wenrtaub et al, 997 4. MLP 后验概率估计 MLP â Ž fã qðý öët x ˆ Ÿ þ 992 nù fã q MLP MLPºõ ÄgW ± ±Ç g: Y f, W f T ² ± ±Ç: T, Y g± q f Y gêƒu x q k qk ˆ ±Ç MLP ˆ õ 0 W ˆ ˆ 层 k ±Ç y q ùx Rchard and Lman 99 Ä µé ˆ º qžnõ d ² Í MLP q±ç ± qýí í c y c P c 2 C ¾ 998 ² È gr e E RE M { d c ln f, W + d ln[ f, W ]} ºf M g C g Ç f d qk ±Çu q} f 35
µ n à  Steeest Gradent Descent ˆ õ È q q kž z n à  õ ²Ÿ²x q w t α w t + w t + w t w t ºf wt Ÿx ² t k²xýqˆ õ w â ² x µâ t ²x α zg k q u{ÿ À ¼Ø f È Ì Î k³ í ZN + Z k wk n ýý~ Error Back-roagaton ±Ç x µ² w 2 ùx  r f± g q² q ~ w M M M t o 2 t δ t ot t t t w t t t ºf δ o o t t o t o t o t ºf o tk o ÉÌŸ± g} tk2 t f k à ±Ç } k fx µq± Ç o tk2 4. 4.2 fq f k t, W I t Ÿx±Ç } fx µq± ± Íà q² qn öý~² t t ºf w M M M t 0 0 I t δ t I t t t t w t t δ t t o t o t t l tl o tl t o t o δ t l tl w o l t o ²q à Â~ xˆ q g È ²Ÿ Âq²x q ~² ý ˆ õ ²Ÿ ² qž t 36
Å Ø q ù Å Í ² Local Mnmum ù y~ à ÂStochastc Gradent Descent k k f ˆ õ ²Ÿ f ùx E RE t c { d t ln f t, W + d t ln[ f t, W ]} RE t δ o w 2 t t RE t 0 δ t I t w v ˆ õ n kqè ùx ²Ã ˆˆ Œ q MLP µ nã Â- öý~ ~ ¾ 998 MLP k n E SE M c [ d 2 f, W ] 2 E SE W t + E W t SE ε fo v q 4.2 基于后验概率的验证 4.2. 估计数码语音后验概率 n Ç Ì MLP qáè Ù Â Dynamc Tme Warng Í Ç q  äf ƒ qg ¾ 998 MLP n ÇýÍ Ç Å y² MM q² g ÇqÅ } } u Ç Ì nq 6 g ~ê MM Vterb Âý rm 6fg u fg u â g ÉÍq Ç Ç Àf ë 2 g ÉÍq Ç üf LPCC Œ q 3 g ÉÍ q Ç üf LPCC Œ  Éq Å v à g q f± Ç 0 f u MM µ~m q² T n² 0 37
f² qg u Y g± Ç MLP qå ± 4- ýí q MLP q q MM q rü Ä ýq MM ²Í 00% v ºf q q Ì q ²qŸ Ì q v Ÿ v n MLP MLP q f Ÿ MM q k q MM q Outlers ² ýí q MLP u ko Øq Ì d ko q Ì ² MLP qýí ùxn ùå Ì qñ 输出后验概率 MLP 0 9 2 3 4 5 6 7 8 4-4.2.2 基于后验概率的验证 ýq MLP ± ÇýÍ P Â Ê MM Ì g Ç Ì vqýí P P } 2.2 «È À}Í qé P Ì P > τ 38
} qxzr } q τ q zk Î nτ ü ü qí s üqe xz ùx ǹ ~ ÍýÍ É ý nè q MM ² Ì v q v A à q ºf I A, A A A log d a log a d a 4.2.3 优化存储和运算量 MLP ýí qí ²~ g n MLP qžnõ f gì ˆ q² qf À ˆ q² ùx g N I + O ºf I g MLP q± f gã x µ Og±Ç no Ç qf ùx q ù I à MLPà x µf MLP /³²Œ q z Øà x µf ùx Î MLP q /³²Œ ÅÃsà x µ q Ø ²~ q k Ø ù Å ² qˆ õ öùœ ˆ MLP Dz MLP qã x µ ˆ²Í Œ ²~/ xz q f q 4-2 q n MM f² g g ùxrç MLP24 24 fã x µ q ŒnŒ² MLP2 2 fã x µ 39
00 AR% 99 98 MLP24 MLP2 L near Model 97 96 0 5 0 5 20 RR % 4-2 g ~ä ± nq MM ² â 3µÉ 4-3 xçüµé Œq«h fq MLP º 24 fã x µ n q²g 23 f/g 2 no²g qðeµé 2 f/g k ô o LPCC Œ ÉÈ q 3 u no} µéíüg ÉÍq Çë Àq f/g ù ô LPCC Œ ÉÈ Œ ù Åö ± g à oå é ²~ qâíe ùx Í fô ÉÈ ² ² q²zgã² Reduced Trace 40
00 AR% 99 98 2 3 97 96 0 5 0 5 20 RR % 4-3 4.3 其他拒识方法 go ± MLP q Œ k Íoºwq n 4.3. 前二选 Two Best MM q Ì Ìµ DZ Ç f MM q É y ~êd Ÿqž n Îqef ɲŸ n Ì ² É q LR > τ max Ì ±} f Íq Neyman-Pearson œ Í LR 0 > τ 4
42 n Ì g 0 ùx max g q max 4- œ µ ü Ç u{fg u Ç },...,, { 2 N x x x P P P P P P ¼œ Í P rü Ê N 4-2 u Ç Ì 0 N ¹ 4-2 } u{q q MM Ì ÄžÍµÉ œ Œ ù Å º Í r}qœ k q 4- ŽqÍ Œ Neyman-Pearson ží ~ ³² Ì q yö Ì öm qå f q k q Ÿ ƒ q ¹ 4- q q qç gì q MM q úo ýq ö ˆs ö ç qåf MM q q Ÿ ùx ey ²f Ã
nå x ~ ex { γ log[ ]} γ N 4-3 γ ¹ 4-3 }z 4-2 γ ç q q«h γ ¹ 4-3 }z 4- ² Ð M ² M 4-4 M N ¹ 4-4 }z 4-2 ; M 2 }z 4-00 Í 4-4 ¹ 4-2 2 Accuracy after Reecton% 99 98 97 96 0 5 0 5 20 Re ect ng Rat e % 2 3 4-3 4-3 ùxrç nð ² q ŒvÅ ~ q  ²y q~ Å Ä È q ~ q Œí xt 43
4.3.2 反词模型 Ant-word Models u{q u Ç Ì{Ø Ÿ n ~êqö k f u qö ö k n MM º ¹ 00 MLP 2 fã x µ ý 99 MLP2 Í n ² ö AR% 98 LR Ant wor d Model q Œ 4-5 x MLP2 q 97 Œ²² ² ýey 96 0 5 0 5 20 u Ç Ì f RR % Œ~ qö 4-5 uq Œö ~êq в Éq LR {ºñ u Ç Ìf k Confuson q z Asymmetres ³ q u Ç Ì f ey z } Ì g öm Åf u ¼ ºwq ur öm } íˆ q u ¼ f uÿ ù f ù f uí Ÿ gð n²q zq n Ìq u Ç q~êö q ²œ ² qä œ ² qö ÇÍ qn ² Œ È ²y~êq 44
4.3.3 线性模型 MLP r ² y nq Lnear Model Y W + b q±çø Sgmod È Â ˆº±Ç 0  O + ex y g u Percetron q º ~ MLP q «¹ nq à Â~ MLP r u q ³²Œ º ~ê q²~ µ MLP xk g y fq º Œ MLP q ±õ 4-3 MLP r çéq Œz q ²g ³² q  ³ q 4.3.4 性能, 运算和存储 Œ nã²g q MLP24 4.9%q± u Çý vv 97.% ÎÍo 99.6% ² q Œ Å ~ q Ão Œ ²Åy ²~ q q Ÿ ASIC qƒ vz Ç ú Œ «Âq få Ÿ 4- Žnõ f ²~ MLP2/ò 8,782 MLP24/ò 7,554 ± çé/ã² 7,20 ö 8,900 d ÇÀ 0 ù n 45
4.4 小结 Ç n MLP qýí u Ç Ì ²ŸÍ 4.9%q uqü ê u Ìv 97.% ÎÍ 99.6% ² q Œ²² ² nqð² ö Í n MM ² MLP ýí q ùxní² u ÇqÍ Ä q u Ìf q µ Substtutons ² u Ì q À â Substtutons Ëà Deletons Insertons m 2000 ýey À f u s ºrgq uqéók ÁÈ Œêh ugf f uq g ºˆ ²Ä Ìnº q g Å q Å r Å n MM º ùx Å q 4-2 x Í MLP ýí q f ù Å 4-2 xqýí Œ À Ÿ Ÿ ºq Ì ÁÈ MLP ö r ü Ç Ìùx Í y éç } 2.5.2 q À œ Ç ÌgéÇ ùx º éç öéç q² Ì v qýí ² qý 46