Halácsy, Péter

Kornai, András

Németh, László

Rung, András

Szakadát, István

Repository of the Academy's Library

A szógyakoriság és helyesírás-ellenőrzésHalácsy Péter1, Kornai András2, Németh László1, Rung András3, SzakadátIstván1és Trón Viktor41 Budapesti Műszaki és Gazdaságtudományi Egyetem, Média Oktatási és KutatóKözpont{halacsy,szakadat,rung}@mokk.bme.hu2 MetaCarta Inc.andras@kornai.com3 Budapesti Műszaki és Gazdaságtudományi Egyetem, Kognitív Tudományi Központrung@itm.bme.hu4 International Graduate College of Language Technology and Cognitive SystemsSaarland University – University of Edinburghv.tron@ed.ac.ukKulcsszavak magyar webkorpusz, gyakorisági szótár, helyesírás-ellenőrzés,lexikográfiaAbsztrakt A Szószablya projekt márciusában indult az Informatikaiés Hírközlési Minisztérium támogatásával, a Budapesti Műszaki és Gaz-daságtudományi Egyetemen működő Média Oktatási és Kutató Központvezetésével. A projekt egyik kiemelt célja, hogy a magyar weboldalak szö-vegtartalma alapján egyedülálló teljességű magyar szógyakorisági szótá-rat, illetve ehhez kapcsolódó nyitott forráskódú alkalmazásokat készítsen.A cikkben röviden bemutatjuk a gyakorisági szótár készítésének mene-tét (§1), valamint a beépített szótárat használó alkalmazások, mint ahelyesírás-ellenőrző szóanyagának hatékony bővítésére kidolgozott gya-korisági információn alapuló technológiát. A cikkben megmutatjuk, hogya helyesírás-ellenőrzők pontosságát elsősorban a tőtáruk mérete határoz-za meg (§2), azonban a tőtár bővítése a Zipf törvény miatt egyre kisebbpontosságnövekedéssel jár (§3).1. A magyar web és feldolgozása és a Szószablyagyakorisági szótárA letölthető magyar web durva becslés alapján 20–25 millió oldalból áll, amely-nek jelentős része szövegtartalom nélküli, idegen nyelvű, vagy duplikált oldal;egyes oldalak folyamatosan változnak, így a letöltését egy szűkebb időinterval-lumra kell korlátoznunk. A SzóSzablya első korpusza 2,4 millió weboldalt tar-talmazó lar0 2002 decemberében készült el, míg a második, jóval teljesebb, 18millió oldalt tartalmazó gul0 2003 őszét tükrözi. A letöltött nyers korpuszok szű-rését és feldolgozását itt csak röviden ismertetjük (részletesen ld Németh 2003).A lapformátumok, a szövegtartalmak és a karakterkódolás normalizálását a Szó-szablya keretében kifejlesztett Hunnorm alkalmazás segítségével végeztük el. Ez-után a szövegtartalom alapján történő duplikátumszűrésre került sor, amelyeta magyar ékezetes karaktereket nem tartalmazó szövegek kizárása követett. Aszógyakorisági szótár elkészítéséhez a korpusz szövegeit tokenizáltuk a Huntokenprogram segítségével.5A gyakorisági számítások jelentős torzulását okozhatja, hogy az azonos szol-gáltatóhoz tartozó weboldalak egységes automatikus generált címszavai a tény-leges gyakoriságuknál jóval nagyobb számban jelennek meg a gyűjtésben. Emiattaz oldalakat csak az első mondatzáró pont utántól vettük figyelembe, és az ígykapott halmazon újabb tartalomalapú duplikátumszűrást végeztünk. A szűrésekután a korpuszok az oldalak számát tekintve rendre 46, illetve 75%-kal csökken-tek.Az így kapott szöveganyag a nyers eredetihez képes jelentősen javult minősé-gileg, a magyar webköznyelvhez jobban közelítő gyakorisági adatok kinyeréséhezazonban egy további kritériumot alkalmaztunk: a Hunspell helyesírás-ellenőrzőáltal elutasított szavak arányát. Ha ugyanis feltételezzük, hogy egy szöveg he-lyesírása egységes, akkor a helyesírás-ellenörző által helyesebbnek ítélt oldalak-ból nyert szóalakok is nagyobb valószinűséggel lesznek helyes szavak, vagyisa szóanyag minőségi előszűrése elvégezhető a helyesírásellenőrző lefedettségé-től függetlenül. A Szeged Korpusz állományain elvégzett előzetes helyességvizs-gálat alapján a tisztított gyakorisági szótárunk számára a 4% százalékos felsőHunspell-hibaküszöböt tartottuk megfelelőnek. Ez a kritérium a szűrt webolda-lak további 60%-át szűrte ki.Az így nyert anyag, a web0 433238 weboldalból áll, N = 113385165 szöveg-szót (token) és V (N) = 4527456 szóalakot (típus) tartalmaz. Becslésünk szerinta web0 típusainak 80%-a helyes magyar szóalak, ami lényeges javulás a teljeswebkorpuszhoz képest, amelynek szótípusain ez az arány 50% alatt van. Mégszembetűnőbb a hibás szövegszavak előfordulásának csökkenése: ez becslésünkszerint 15%-ról 2,5%-ra csökkent. A teljesen automatikus módszerekkel nyertweb0 alapján elkészített első Szószablya szógyakorisági szótár elérhető a projekthonlapján.A gyakorisági szótárak jelentősége felbecsülhetetlen mind a nyelvtechnoló-giában mind nyelvészeti kutatásokban, felhasználási területei számosak a fordí-tástámogatástól a pszicholingvisztikai kísérletekig. Az alábbiakban egy speciálisterületre koncentrálunk: azt elemezzük, hogy a gyakorisági információ milyenmódon segítheti a a nyelvtechnológiai alkalmazások beépített szótárának haté-kony bővítését, vagyis az alkalmazás lefedettségének a növekedését. A technoló-giát a helyesírás-ellenőrző alkalmazáson szemléltetjük.5 Elsősorban tulajdonnevek és a rövidítések későbbi hatékonyabb feldolgozása érdeké-ben a szövegek mondatra bontását is elvégeztük.2. Helyesírásellenőrzés és pontosságA helyesírás-ellenőrzés alapvető célja, hogy segítségével a szövegben található hi-bák számát csökkentsük. Egy helyesírás-ellenőrző program tényleges hibáját azhatározza meg, hogy (i) a szövegben lévő helyes szavak közül hányat utasít el, és(ii) a helytelen szavak közül hányat fogad el. Ha tehát egy szöveg ellenőrzésekorminden 100 szó közül az ellenőrző csak egyszer hibázik (akár (i), akár (ii) típusúhibát vét), akkor azt mondjuk, hogy az ellenőrző hibája h=1%, pontossága 1−h=99%. Méréseinket tokenekre, nem pedig típusokra alapozzuk. Ennek a módszer-tani döntésnek a hátterében az a megfigyelés áll, hogy a gyakori alakokon vettpontosság sokkal fontosabb a ritka, egzotikus szóalakok hibátlan kezelésénél. Ahibaszázalék (h) meghatározásakor tehát akkor nyerünk a felhasználó gyakorlatitapasztalaival egybevágó eredményt, ha az egyes szóalakokat gyakorisági súlyuk-nak megfelelően vesszük számításba6A helyesírásellenőrző működését a továbbiakban automatikus javítási mód-ban képzelhetjük el, vagyis amikor az ismeretlen szavakra szerkesztési távolságés gyakoriság alapján tesz helyettesítést. Azokra az alakokra, amelyekre nincsmegbízható cserejavaslat, elfogadásra kerülnek. A pontosságot így három ténye-ző befolyásolja döntően: a helyesírás-ellenőrző lefedettsége l, belső hibája b, és amaradványhiba m. A lefedettség egyszerűen azon tokenek aránya a szövegben,amelyekre nézve a helyesírás-ellenőrző képes javaslatot tud tenni (maga a szó-alak vagy egy ahhoz közeli karakterfüzér szerepel a szótárában). A belső hibamagából a javaslattevésből adódó hiba, a maradványhiba pedig a javaslattevés-ből kimaradt és így elfogadott szavak között szereplő helytelen alakok aránya. Azösszevont h hiba tehát a belső hiba és a maradványhiba lefedettséggel súlyozottátlaga:h = lb+ (1− l)m (1)A lefedettséghez csak a javaslattevések és az elfogadott szavak számát kelltudnunk, l mérése tehát triviális. m mérése azonban jóval összetettebb feladat,amely nem automatizálható. Az egyszerűség kedvéért feltesszük, hogy m felül-ről becsülhető az egész szövegben levő hibától, vagyis m l-lel nem növekszik.7Akkor érdemes egyáltalán helyesírásellenőrzőt használni, amikor az aktív ellen-őrzés belső pontatlansága kisebb, mint a szöveg hibája (b < m), ekkor azonbanh optimalizálása l növelésével, vagyis a tőtár növelésével érhető el. Felvethetőa kérdés: mi a leghatékonyabb módszere korpuszok alapján történő szótárbőví-tésnek,8 vagyis milyen módszerrel garantálható, hogy a legkisebb befektetéssela hibaszázalék legnagyobb növekedését érjük el?6 A tokenszintű hibaszámítás a kontextuális információkat is felhasználó helyesírás-ellenőrző esetén még fontosabb, így ez az eljárás lehetővé teszi az eredmények össze-vetését.7 Tudjuk, hogy a szövegre jellemző hibaérték nagyban függ a szöveg típusától: ekezette-len irasmodban akár a 30-40%-ot is elérheti, átlagos szövegben 5-6% körüli, gondozottszövegben tipikusan 0.1% alatt marad.8 A helyesírás-ellenőrző szótárbővítése természetesen részben kivetelezhető új tövek-ben gazdag anyagok (szótárak, helységnévtárak, cégjegyzékek, stb.) átvételével is,de a kézi átnézésre még szótáraknál is szükség van a sajtóhibák miatt.3. Szógyakoriság és a lefedettség növeléseA naiv helyesírás-ellenőrző rendszerek alapját a helyes alakok gyakoriság szerintrendezett rögzített listája adja. A magyarban l > 0.5 eléréséhez már az elsőnéhány ezer alak figyelembevétele is elégséges: ha ezeket kézzel átnézzük akkorb ≈ 0 garantálható,9 így (1) alapján h < m/2 minden nehézség nélkül elérhető.Az alábbiakban a kvantitatív állításokat a Magyar Webkorpusz két változatánis illusztráljuk, az adatokat web0 gyűjtés mellett összehasonlításképpen a N =670076633 szövegszót és V (N) = 15057395 típust tartalmazó szűretlen lar1gyűjtésre is megadjuk.Az 50%-os lefedettség garantálásához a 2913 (lar1), illetve 6486 (web0) szó-alak listába vétele szükséges. Még l > 0.666 (tehát h < m/3) is csupán 15 ezer(lar1), illetve 24 ezer alak (web0) kézi átnézését igényli. A naiv módszer korlát-ját az adja, hogy az alacsony tokengyakoriságú szavakból típus szerint nagyonsok van. Legyen a mintában pontosan a k-szor előforduló típusok száma V (k,N),tehát N =∑∞k=1 kV (k,N) és V (N) =∑∞k=1 V (k,N). Általános tapasztalat (ld.pl. Baayen 1996), hogy ha N > 106, akkor V (N) domináns tagja V (1, N), atípusok több mint fele olyan, hogy az egész szövegben csak egyszer fordul elő,vagyis ún. hapax legomenon. A lar1 korpuszban V (1, N) = 8133805, a web0-ban V (1, N) = 2567665, vagyis a szóalakoknak rendre 54.0, illetve 56.7 százalékahapax, bár gyakorisággal súlyozott arányuk csak rendre 1.21%, illetve 2.26%. Ahapaxok kézi átnézése ezért lehetetlen, vagyis a lefedettség ezzel a módszerrelnem vihető 98% fölé, vagyis a h alsó korlátja m/50. Gyakorlatilag még a két-szer és háromszor előforduló szavak is komoly akadályt jelentenek: példáinkbanezek együttes gyakorisága mindössze 7.2% (lar1), illetve 4.2% (web0), a listabővítéséhez azonban így is alakok millióit (8.1, illetve 4.7 millió) kellene kézzelátnézni! Gyakorlatban tehát a naiv módszer alsó hibahatára inkább h ≈ m/20;ez egybevág a gyakorlati tapasztalattal, miszerint az átlagos (5-6% hibaarányú)nyers szövegből a naiv elven működő helyesírás-ellenőrzők lényegesen jobb (0.3%hibájú), azonban a gondozott szöveg minőségi követelményeit (0.1% alatti hiba)el nem érő javított változatot állítanak elő.A tisztán izoláló nyelveknél, mint pl. a vietnami, a naiv módszer teljesenkielégítő, hiszen ezekben a nyelvekben a helyesírás ismerete nem jelent többet,mint az egyes szavak helyes ismerete10 A komplexebb morfológiájú nyelveknél,mint amilyen a magyar, a helyes szóalakok ismerete nem merül ki a szótövek ésa ragok ismeretében, hiszen ezek konkatenációja csak a morfológia szabályainakfigyelembevételével eredményez helyes szóalakot. A helyesírás-elemzőbe tehát bekell építeni nemcsak a töveket és a ragokat, hanem a morfológiát is.11 A hibaaz ilyen rendszer esetén is a lefedettség lineáris függvénye, utóbbi viszont háromkomponensre bontható: a tő , a ragok, és a hasonulási szabályok lefedettsége.9 Szigorú értelemben b nem nulla, hiszen egy biztosan jó szótípus adott környezetbenvaló előfordulása lehet, hogy hibásan kerül elfogadásra. Az ilyen hibákat elhanyagol-hatónak tekintjük10 A megfontolás lényegében változtatás nélkül átvihető az olyan nyelvekre is, mint azangol, ahol az azonos tőhöz tartozó alakok száma kicsi.11 Ezt látjuk a legtöbb magyar helyesírás-ellenőrzőnél, pl. Hunspell, Helyes-e, Lektor.A nem-rekurzív, tehát tételesen felsorolandó kombinációk száma nem túl nagy(pl. Veenker (1968) 3020 ragkombinációt vesz lajstromba, a Hunspell jelenleg4936 főnévi, 4041 melléknévi, és 59 igei alakkal dolgozik).12 Miután ezek kézzelkönnyen ellenőrizhetők, feltehető, hogy a rendszer lefedettsége ebben a ragkom-binációk tekintetében 100%. Érettebb rendszer esetén még a morfofonológia sza-bályainak teljes ismerete is elvárható, így a belső hiba legfontosabb forrása azlehet, hogy a tőtárban egyes elemek hibás morfológiai információval szerepelnek.A morfológiai elemzést használó helyesírás-ellenőrzőknél a tőtár bővítése nemegyszerűen az új tövek felvételét jelenti, hanem előfeltételezi a tövek morfológiaiosztályozását is, így a fentiekkel ellentétben b = 0 nem garantálható. A hibacsökkentésének alapvető módszere itt is a mohó algoritmus: először bevesszük aleggyakoribb alakokat akár elemzetlenül is, különösen ha elemzésük túlságosankomplikálná a morfonológiai szabályrendszert (hiszen ennek hibáját 0-n akarjuktartani), és csak akkor lépünk tovább a T + 1-edik tőhöz, ha az első T tő márminden gyakoribb alakot lefed. Ezzel az eljárással olyan alakokat is lefedünk,amelyek önmagukban nem kerülnének be (vagy mert hapaxok, vagy akár elősem fordulnak az adott mintában), de mint gyakoribb tövek ritkább ragokkalvaló kombinációi most mégis elérhetővé válnak. Ilyen pl. a decembereinknek alak,amely kétségkívül jólformált magyar szó, még a 670m szövegszavas mintánkbansem fordul elő (és a naiv alak-gyakorisági megfontolások alapján soha nem iskerülne be a listába), így viszont a december gyakoribb tőszármazékai, valaminta produktív toldalékolási minták jóvoltából elfogadásra kerül.Az általunk használt szótárbővítési eljárás tehát három lépésre bomlik: elő-ször gyakoriság szerint sorba rendezzük a szóalakokat, másodszor vesszük a méghiányzó leggyakoribb alak tövét. Ezt automatikusan állítjuk elő, a projekt ke-retében kifejlesztett Hunstem tövezővel, amely Hunspell-lel azonos morfológiaiszabályrendszerrel dolgozik. Végül megállapítjuk a tő helyes besorolását. A mo-hó algoritmus egyre kisebbeket tud csak kivenni a maradékból, és a csökkenésmértéke is jól megbecsülhető. A szóalakok gyakoriságát első közelítésben Zipftörvénye adja meg: az r-edik alak valószínűsége 1/rB-vel arányos:13pr ∼ 1/rB (2)Miután az alakok valószínűsége a tő valószínűségének konstansszorosa (Kornai1992) az összefüggés a tövekre is érvényes. Ennek alapján tehát a mintában pon-tosan k-szor előforduló tövek arányára a következő adódik (a levezetés részleteitld. Kornai 1999):V (k,N)/V (N) = 1/k1+1/B (3)Éppen a helyesírási hibák miatt, ez még további korrekciót igényel, de k = 1-reáll, hogy V (1, N)/V (N) > 0.5. A magasabb tagok igen jól illeszkednek a Zipftörvény által jósolt (3) értékekhez: az alábbi táblázat k ≤ 10-re mutatja V (k,N)mért, illetve a V (N)/2k1.8 formulával becsült értékeit, valamint a becslés relatívpontosságát a lar1 és a web0 korpuszokra:12 Bár a ragok és rag-kombinációk száma elvileg végtelen, a rekurzív esetek (túlzófoklegeslegesleges..., birtokos ééée...) viszonylag egyszerű szabályokkal kezelhetők.13 A B Zipf konstans a magyarban 5/4 körül van (ld. Füredi et al 2003).lar1 web0k V (k,N) V (N)/2k1.8 b/m V (k,N) V (N)/2k1.8 b/m1 8133805 7528697 0.925606 2567665 2263728 0.8816292 2393113 2162050 0.903447 632426 650085 1.027923 1006086 1042081 1.03578 280327 313333 1.117744 628829 620886 0.987369 167517 186688 1.114445 385044 415503 1.0791 112747 124933 1.108096 297081 299259 1.00733 82215 89981.2 1.094467 211134 226748 1.07395 63211 68178.6 1.078598 175753 178303 1.01451 50017 53612 1.071889 137100 144239 1.05207 41053 43369.8 1.0564410 115697 119322 1.03133 34623 35877.7 1.03624Zipf törvénye szerint, ha lista bővítését a rangsor r-dik tagjánál abbahagyjuk, alefedetlen rész aránya, 1− l =∑∞i=r 1/rB . Ebből, az összeget integrállal helyet-tesítve, azt kapjuk, hogy a lefedetlen rész r függvényében csak mint r1−B (tehátB = 5/4mellett a negyedik gyök reciprokával) csökken. A gyakorlatban ez annyitjelent, hogy míg a 100 ezer leggyakoribb tő felvétele 5.6% lefedetlenséget hagy,1 millió tőnél ez 3.2%, 10 millió tőnél 1.8%, és 100 millió tőnél (ennyit korpu-szunk nem is tartalmaz) 1%, és általában a lefedetlenség egy nagyságrendnyicsökkenéséhez a kezdeti korpuszt négy nagyságrenddel kell növelni.4. KonklúzióA fentiekben megmutattuk, hogy a helyesírás-ellenőrzők pontosságát elsősor-ban lefedettségük (tehát a tőtár mérete) határozza meg. A tokenek és típusokösszefüggésének jólismert törvényeire támaszkodva levezettük a bővítés várhatóhatását a lefedettségre, amit a méréseink alá is támasztottak. Az emberi erő-források minimalizálása miatt tehát a lefedettség növelését egy határon túl afeldolgozandó szövegek heurisztikákkal operáló előszelekciójával (a mondatközinagy kezdőbetűs szavak nagy valószínűséggel tulajdonnevek, amelyeket fel kellvenni, a csupa számjegyből álló szövegszavak viszont telefonszámok vagy dátu-mok, amiket viszont automatikusan el lehet hagyni) érdemes csak megkísérelni.Hivatkozások1. Baayen, R. H. 1996: The effect of lexical specialisation on the growth curve of thevocabulary. Computational Linguistics 22, 455–480.2. Füredi M., Kornai A., Prószéky G. 2003: A SZÓTÁR adatbázis. Kézirat.3. Kornai A. 1992: Frequency in morphology. In: I. Kenesei (ed): Approaches to Hun-garian IV 246–268.4. Kornai A. 1999: Zipf’s law outside the middle range. Proc. Sixth Meeting on Ma-thematics of Language, University of Central Florida, 347–356.5. Németh L. 2003: A szószablya fejlesztés. Az V. Linux konferencián elhangzott elő-adás cikk változata. URL http://konf2003.linux.hu/.6. Veenker, W. 1968: Verzeichnis der Ungarische Suffixe und Suffixkombinationen. Mit-teilungen der Societas Uralo-Altaica 3, Hamburg.

Szógyakoriság és helyesírás-ellenőrzés [Word frequency and spell-checker accuracy]

Abstract

Similar works

Full text

Available Versions

Repository of the Academy's Library