Gyepesi, György

Serény, András

Gyepesi György

Serény András

University of Szeged

Magyar nyelvű beszédfelismerő rendszerdiszkriminat́ıv tańıtásaGyepesi György és Serény AndrásAlkalmazott Logikai LaboratóriumBudapest, Hankóczy J. utca 7. 1022e-mail:{ggyepesi,sandris}@all.huA legtöbb modern beszédfelismerő rendszer az akusztikus jelből kivont, azadott hangrészletet jellemző feature-vektorok osztályozására rejtett Markov-mo-delleket (HMM) alkalmaz. A nagyszótáras rendszerekben általában az egyesfonémákat (esetleg környezettől függően) modellezik egy–egy HMM-mel, és alap-vető feladat ezen HMM-ek paramétereinek beálĺıtása, a tańıtás. Ehhez tańıtóminta szükséges, ami egy (hosszú) beszéddarabból kivont feature-vektor soro-zatból (ezt nevezzük megfigyelésnek) és helyesen át́ırt változatából áll.Jelölje a megfigyelést o, a helyes át́ırást sr, a tańıtás során keresendő pa-raméterek összességét λ. A paraméterek beálĺıtására a szokásos eljárás a ma-ximum likelihood becslés (MLE), vagyis adott o megfigyelés és sr helyes meg-oldás mellett keresendő λ azon értéke, melyre a modell által definiált Pλ(o | sr)valósźınűség maximális; ennek megvalóśıtására egy hatékony eljárás a Baum–Welch algoritmus.A diszkriminat́ıv tańıtó eljárások az MLE módszer alternat́ıváit adják a pa-raméter-beálĺıtás feladatának megoldására. Az az alapvető elképzelés, hogy ahelyes megoldás mellett figyelembe vesszük a beszédfelismerő kimenetén meg-jelenő rossz megoldásokat is, és keressük λ egy olyan értékét, ami nem csupánazt biztośıtja, hogy a helyes megoldás valósźınűsége nagy legyen, de a hely-telen megoldások valósźınűségét is alacsonyan tartja. Innen adódik az eljárásneve: a helyes megoldást igyekszik megkülönböztetni a helytelenektől. Bár adiszkriminat́ıv módszer kezdeti változatait HMM-ek tańıtására már a nyolvanasévek végén kidolgozták, a magyar nyelvű beszédfelismerésben való alkalmazására– tudomásunk szerint – ez az első ḱısérlet.A különféle diszkriminat́ıv tańıtó eljárások közül igen ı́géretes a Povey [1]által bevezetett minimum phone error (MPE) tańıtás, ennek egy változatátvalóśıtottuk meg és az alábbiakban ezt vázoljuk. Legyen S az összes lehetségesmegoldás (mondat) halmaza, és valamely s ∈ S esetén legyen A(s, sr) az s mon-datnak a helyes megfejtéshez képest fonémákban mért pontossága, A(s, sr) =|sr| − d(s, sr), ahol | · | a fonémák száma és d(·, ·) az edit distance. Az op-timalizálandó függvényünket úgy választjuk, hogy a mondatok valósźınűségétpontosságukkal súlyozzuk, ı́gy a függvény maximalizálásakor a pontosabb mon-datok jobban számı́tanak. Formálisan, keresendő a λ 7→∑s∈S Pλ(s | o)A(s, sr),az MPE célfüggvény, maximuma. Miután az összes lehetséges mondat felsorolása272 V. Magyar Számı́tógépes Nyelvészeti Konferenciaés valósźınűségeik kiszámı́tása nem megvalóśıtható, a következő eljáráshoz folya-modunk. Adott (o, sr) tańıtó mintán először MLE tańıtást hajtunk végre és azı́gy nyert fonéma HMM-ket használva az o bemeneten felismerést futtatunk. Afelismerés kimenete az első néhány legvalósźınűbb mondat, ezek összességét kom-pakt formában, szóhálóként ábrázoljuk. A szóhálóban minden út egy mondatotreprezentál, az itt elő nem forduló mondatokat nem vesszük számı́tásba.Az MLE tańıtáshoz használt iterat́ıv Baum–Welch eljárás adaptálható azMPE célfüggvény maximumának keresésére. Egy iterációs lépés elején a szóhálónfutó forward–backward algoritmus hatékonyan számolja egyszerre a fonémákhoztartozó statisztikákat és az A(s, sr) pontosság egy közeĺıtését. A diszkriminat́ıvtańıtási elv szerint minden fonémához kétféle statisztikát gyűjtünk: az egyikazt tükrözi, hogy a fonéma milyen gyakran szerepel az átlagosnál pontosabbutakon (,,helyes megoldások”), a másik azt, hogy milyen gyakran szerepel azátlagosnál kevésbé pontos utakon (,,rossz megoldások”). Az újrabecslő egyenle-tekben mindkétféle statisztika által hordozott információ megjelenik, a fonéma-paraméterek újrabecslésével egy iteráció véget ér. Az MLE esethez hasonlóannégy–öt iteráció elegendő a konvergenciához.A fentiekben összefoglalt eljárást implementáltuk, annak futtatása, az ered-mények értékelése és a baseline-nak tekintett MLE módszer eredményével valóösszevetése még folyik. Povey és Woodland [2] angol nyelvű korpuszokon végzettvizsgálatai a hibásan felismert szavak arányának három–öt százalékpontos csök-kenését mutatják, magyar nyelvre is hasonló eredményt várunk.Hivatkozások1. D. Povey., Discriminative Training for Large Vocabulary Speech Recogniton. PhDthesis, University of Cambridge, 2003.2. D. Povey and P. Woodland. Minimum phone error and I-smoothing for improveddiscriminative training. In Proceedings of the ICASSP, 2002.

Magyar nyelvű beszédfelismerő rendszer diszkriminatív tanítása

http://acta.bibl.u-szeged.hu/58687/1/msznykonf_005_271-272.pdf

Magyar nyelvű beszédfelismerő rendszer diszkriminatív tanítása

Abstract

Similar works

Full text

Available Versions

University of Szeged