Microsoft Word - Chapter 4.doc

Size: px

Start display at page:

Download "Microsoft Word - Chapter 4.doc"

温卢
5 years ago
Views:

1 第四章基于 MLP 估计后验概率的拒识 n ŸqÐý öëˆ Ä k ÇÙ x ˆ n MM q Ì f â ÇÈ k/ MM g ö É Ìý k} Ðý u Mult-layer Percetrons MLPq Ìý kq n x u Ç Ìg u{o MLP ýí f q n ö ¹rüqu{ùxõ Mathan and Mclet, 992 Wenrtaub et al, MLP 后验概率估计 MLP â Ž fã qðý öët x ˆ Ÿ þ 992 nù fã q MLP MLPºõ ÄgW ± ±Ç g: Y f, W f T ² ± ±Ç: T, Y g± q f Y gêƒu x q k qk ˆ ±Ç MLP ˆ õ 0 W ˆ ˆ Â±Ç k ±ÇÂ y q ùx Rchard and Lman 99 Ä µé ˆ º qžnõ d ² Í MLP q±ç ± qýí í c y c P c 2 C ¾ 998 ² È gr e E RE M { d c ln f, W + d ln[ f, W ]} ºf M g C g Ç f d qk ±Çu q} f 35

2 µ n Ã Â Steeest Gradent Descent ˆ õ È q q kž z n Ã Â õ ²Ÿ²x q w t α w t + w t + w t w t ºf wt Ÿx ² t k²xýqˆ õ w â ² x µâ t ²x α zg k q u{ÿ À ¼Ø f È Ì Î k³ í ZN + Z k wk n ýý~ Error Back-roagaton ±Ç x µ² w 2 ùx Â r f± g q² q ~ w M M M t o 2 t δ t ot t t t w t t t ºf δ o o t t o t o t o t ºf o tk o ÉÌŸ± g} tk2 t f k Ã ±Ç } k fx µq± Ç o tk fq f k t, W I t Ÿx±Ç } fx µq± ± ÍÃ q² qn öý~² t t ºf w M M M t 0 0 I t δ t I t t t t w t t δ t t o t o t t l tl o tl t o t o δ t l tl w o l t o ²q Ã Â~ xˆ q g È ²Ÿ Âq²x q ~² ý ˆ õ ²Ÿ ² qž t 36

3 Å Ø q ù Å Í ² Local Mnmum ù y~ Ã ÂStochastc Gradent Descent k k f ˆ õ ²Ÿ f ùx E RE t c { d t ln f t, W + d t ln[ f t, W ]} RE t δ o w 2 t t RE t 0 δ t I t w v ˆ õ n kqè ùx ²Ã ˆˆ Œ q MLP µ nã Â- öý~ ~ ¾ 998 MLP k n E SE M c [ d 2 f, W ] 2 E SE W t + E W t SE ε fo v q 4.2 基于后验概率的验证 4.2. 估计数码语音后验概率 n Ç Ì MLP qáè Ù Â Dynamc Tme Warng Í Ç q Â äf ƒ qg ¾ 998 MLP n ÇýÍ Ç Å y² MM q² g ÇqÅ } } u Ç Ì nq 6 g ~ê MM Vterb Âý rm 6fg u fg u â g ÉÍq Ç Ç Àf ë 2 g ÉÍq Ç üf LPCC Œ q 3 g ÉÍ q Ç üf LPCC Œ Â Éq Å v Ã g q f± Ç 0 f u MM µ~m q² T n² 0 37

4 f² qg u Y g± Ç MLP qå ± 4- ýí q MLP q q MM q rü Ä ýq MM ²Í 00% v ºf q q Ì q ²qŸ Ì q v Ÿ v n MLP MLP q f Ÿ MM q k q MM q Outlers ² ýí q MLP u ko Øq Ì d ko q Ì ² MLP qýí ùxn ùå Ì qñ 输出后验概率 MLP 基于后验概率的验证 ýq MLP ± ÇýÍ P Â Ê MM Ì g Ç Ì vqýí P P } 2.2 «È À}Í qé P Ì P > τ 38

5 } qxzr } q τ q zk Î nτ ü ü qí s üqe xz ùx Ç¹ ~ ÍýÍ É ý nè q MM ² Ì v q v A Ã q ºf I A, A A A log d a log a d a 优化存储和运算量 MLP ýí qí ²~ g n MLP qžnõ f gì ˆ q² qf À ˆ q² ùx g N I + O ºf I g MLP q± f gã x µ Og±Ç no Ç qf ùx q ù I Ã MLPÃ x µf MLP /³²Œ q z ØÃ x µf ùx Î MLP q /³²Œ ÅÃsÃ x µ q Ø ²~ q k Ø ù Å ² qˆ õ öùœ ˆ MLP Ç² MLP qã x µ ˆ²Í Œ ²~/ xz q f q 4-2 q n MM f² g g ùxrç MLP24 24 fã x µ q ŒnŒ² MLP2 2 fã x µ 39

6 00 AR% MLP24 MLP2 L near Model RR % 4-2 g ~ä ± nq MM ² â 3µÉ 4-3 xçüµé Œq«h fq MLP º 24 fã x µ n q²g 23 f/g 2 no²g qðeµé 2 f/g k ô o LPCC Œ ÉÈ q 3 u no} µéíüg ÉÍq Çë Àq f/g ù ô LPCC Œ ÉÈ Œ ù Åö ± g Ã oå é ²~ qâíe ùx Í fô ÉÈ ² ² q²zgã² Reduced Trace 40

7 00 AR% RR % 其他拒识方法 go ± MLP q Œ k Íoºwq n 4.3. 前二选 Two Best MM q Ì Ìµ Ç± Ç f MM q É y ~êd Ÿqž n Îqef É²Ÿ n Ì ² É q LR > τ max Ì ±} f Íq Neyman-Pearson œ Í LR 0 > τ 4

8 42 n Ì g 0 ùx max g q max 4- œ µ ü Ç u{fg u Ç },...,, { 2 N x x x P P P P P P ¼œ Í P rü Ê N 4-2 u Ç Ì 0 N ¹ 4-2 } u{q q MM Ì ÄžÍµÉ œ Œ ù Å º Í r}qœ k q 4- ŽqÍ Œ Neyman-Pearson ží ~ ³² Ì q yö Ì öm qå f q k q Ÿ ƒ q ¹ 4- q q qç gì q MM q úo ýq ö ˆs ö ç qåf MM q q Ÿ ùx ey ²f Ã

9 nå x ~ ex { γ log[ ]} γ N 4-3 γ ¹ 4-3 }z 4-2 γ ç q q«h γ ¹ 4-3 }z 4- ² Ð M ² M 4-4 M N ¹ 4-4 }z 4-2 ; M 2 }z 4-00 Í 4-4 ¹ Accuracy after Reecton% Re ect ng Rat e % ùxrç nð ² q ŒvÅ ~ q Â ²y q~ Å Ä È q ~ q Œí xt 43

10 4.3.2 反词模型 Ant-word Models u{q u Ç Ì{Ø Ÿ n ~êqö k f u qö ö k n MM º ¹ 00 MLP 2 fã x µ ý 99 MLP2 Í n ² ö AR% 98 LR Ant wor d Model q Œ 4-5 x MLP2 q 97 Œ²² ² ýey u Ç Ì f RR % Œ~ qö 4-5 uq Œö ~êq Ð² Éq LR {ºñ u Ç Ìf k Confuson q z Asymmetres ³ q u Ç Ì f ey z } Ì g öm Åf u ¼ ºwq ur öm } íˆ q u ¼ f uÿ ù f ù f uí Ÿ gð n²q zq n Ìq u Ç q~êö q ²œ ² qä œ ² qö ÇÍ qn ² Œ È ²y~êq 44

11 4.3.3 线性模型 MLP r ² y nq Lnear Model Y W + b q±çø Sgmod È Â ˆº±Ç 0 Â O + ex y g u Percetron q º ~ MLP q «¹ nq Ã Â~ MLP r u q ³²Œ º ~ê q²~ µ MLP xk g y fq º Œ MLP q ±õ 4-3 MLP r çéq Œz q ²g ³² q Â ³ q 性能, 运算和存储 Œ nã²g q MLP24 4.9%q± u Çý vv 97.% ÎÍo 99.6% ² q Œ Å ~ q Ão Œ ²Åy ²~ q q Ÿ ASIC qƒ vz Ç ú Œ «Âq få Ÿ 4- Žnõ f ²~ MLP2/Ã² 8,782 MLP24/Ã² 7,554 ± çé/ã² 7,20 ö 8,900 d ÇÀ 0 ù n 45

12 4.4 小结 Ç n MLP qýí u Ç Ì ²ŸÍ 4.9%q uqü ê u Ìv 97.% ÎÍ 99.6% ² q Œ²² ² nqð² ö Í n MM ² MLP ýí q ùxní² u ÇqÍ Ä q u Ìf q µ Substtutons ² u Ì q À â Substtutons ËÃ Deletons Insertons m 2000 ýey À f u s ºrgq uqéók ÁÈ Œêh ugf f uq g ºˆ ²Ä Ìnº q g Å q Å r Å n MM º ùx Å q 4-2 x Í MLP ýí q f ù Å 4-2 xqýí Œ À Ÿ Ÿ ºq Ì ÁÈ MLP ö r ü Ç Ìùx Í y éç } q À œ Ç ÌgéÇ ùx º éç öéç q² Ì v qýí ² qý 46

Microsoft Word - 会协_2015_1号.doc

Microsoft Word - 会协_2015_1号.doc k á}» st v Œz Ÿ x v oœ c c g»â» w»â Ä x «g»â» Æm Ã Û»Â Æ m Ä d Ö Ä oø c c g»â» Æm e Ä cà d Ð Àß «Í Èc½ ½ 1 Ä ([FHO ò ([FHO À {Û Ä d d ¼ c Ä œ þ q ì r d Ç } Ä Éxq ì r d ò ~ ~œò d ò ¾ d í àóú å c d ~ ò½