Frametagger az SZTE Nyelvtechnológiai Csoportjának szemantikuskeret-illesztö programja, ami a gazdasági rövidhírek szereplőinek azonosítására született. A program az NKFP 2/017/2001 projekt[l] keretében, a Nyelvtudományi Intézet által elkészített, majd az SZTE által bővített keretekre és szemantikus táblázatokra épül. A program a szegedi IEToolChain[2] információkinyerő rendszer végső modulja. Előadásunkban bemutatjuk az IEToolChain kiértékelésére született Benchmark programot is, aminek célja, hogy pontos képet kapjunk arról, hogy az IEToolChain egyes moduljainak javítása, cseréje hogyan befolyásolja az egész rendszer hatékonyságát

Farkas, Richárd

Konczer, Kinga

Szarvas, György

Farkas Richárd

Konczer Kinga

Szarvas György

University of Szeged

Szeged, 2004. december 9-10. 49Szemantikuskeret-illesztés és az IE rendszer automatikus kiértékeléseFarkas Richárd1, Konczer Kinga2, Szarvas György11 MTA SZTE Mesterséges Intelligencia Tankszéki Kutatócsoport {rfarkas, szarvas}@inf.-szeged.hu2 Szegedi Tudományegyetemkinga.konczerShungary.orgKivonat: Frametagger az SZTE Nyelvtechnológiai Csoportjánakszemantikuskeret-illesztö programja, ami a gazdasági rövidhírek szereplőinek azonosítására született. A program az NKFP 2/017/2001 projekt[l] keretében, a Nyelvtudományi Intézet által elkészített, majd az SZTE által bővített keretekre és szemantikus táblázatokra épül. A program a szegedi IEToolChain[2] infor­mációkinyerő rendszer végső modulja. Előadásunkban bemutatjuk az IEToolChain kiértékelésére született Benchmark programot is, aminek célja, hogy pontos képet kapjunk arról, hogy az IEToolChain egyes moduljainak javí­tása, cseréje hogyan befolyásolja az egész rendszer hatékonyságát.1 Szemantikuskeret-illesztésAz információkinyerés célja a lényeges információ megjelölése és összegyűjtése do­kumentumokból. A működő rendszerek általában megelégszenek a mondatok fonto­sabb szereplőinek azonosításával (az általános szemantikus szerepcímkézési feladattal [3] szemben, ahol a cél az összes ige vonzatkörnyezetének meghatározása) anélkül, hogy részletes szintaktikai ill. szemantikai elemzést végeznének.Rendszerünkben a mondat szereplőinek azonításához a mondat ún. felszíni elemzé­sét és egy szemantikuskeret-halmazt használunk fel. A keretek eseményeket írnak le azok szereplőinek szintaktikai és szemantikai megkötésein keresztül. Esetünkben tehát az információkinyerés a keretek célszavának illetve többi szerepének illesztése a mon­datra.1.1 FrametaggerAz Frametagger feladata, hogy az IEToolChain korábbi moduljai által előállított szintaktikailag elemzett szövegeken megtalálja és bejelölje a legjobban illeszkedő szemantikus szerepeket az előre definiált kerethalmaz alapján.Frametagger inputját tehát a szintaktikailag (mondat- és szószegmentált, szófajilag egyértelműsített, NP taggelt) bejelölt szöveg, szemantikus táblázatok és a kerethalmaz alkotják. A - Nyelvtudományi Intézet által elkészített - szemantikus táblázatok 5471 (g SZEGEDfőnévi és 3972 melléknévi jelenést osztályoznak (osztályok pl.: intézmény, absztrakt, cselekvőképes stb.) 'Az általunk használt kerethalmaz a céginformációs gazdasági rövidhírek két téma­körét úják le, a tulajdonosváltást és az intézménynyitást. A 71 darab keret szintaktikai és szemantikai megkötésekkel él az egyes szerepekre. A szükséges szemantikai infor­mációkat a szemantikus táblázatok alapján tölti ki a program.Az NKFP 2/017/2001 projekt keretében elkészült kereteket az alábbiakkal bővítet­tük ki:1. Célszó fogalmának bevezetése. Minden keretben a -  korábbi szerepek kö­zül -  kijelöltünk pontosan egy célszót. A célszó általában ige (pl.: „meg­vásárol”) de lehet más is, pl.: „alapkő”. Egy illesztést csak abban az eset­ben tekintünk helyesnek ha a célszó illesztésre került, és a célszón felül legalább további egy szerep illeszkedik.2. A célszavakon kívüli szerepekhez prioritási értéket vettünk fel. A szerep prioritási értéke megmutatja, hogy a szerep mennyire fontos az adott ke­retben a többi szerephez viszonyítva.3. A szerepekhez különböző pozícióbeli megkötésekei is adtunk. Azon felül, ■ hogy keretmegszorítások közt megadható, hogy az egyik szerep a másikfüggvénye (azaz csak akkor illeszthető, ha a másik szerep illesztett), azt is meghatározhatjuk, hogy a függő szerep a függvényhez képest balra, jobbra helyezkedik-e el a mondatban, vagy közvetlen bal ill. jobb szomszédja-e. Erre elsősorban a birtokos illetve egyéb szerkezeteknél van szükség.Mivel a mondat szavai, szerkezetei és a keretek szerepei egy (n*m-es) hozzárende­lési feladatot határoznak meg, célszerű volt, hogy a programot az alábbi egyszerű algoritmus alapján építsük fel:minden(mondatra) {minden(keretre) {költségmátrix kitöltése; magyar módszer végrehajtása;}legolcsóbb hozzárendelések bejelölése;)A hozzárendelési feladat kitöltése két részből tevődik össze, először minden (sző;szerep) párra megvizsgáljuk, hogy az adott megkötéseket teljesíti-e, majd a lehet­séges illesztésekhez heurisztikaértéket számítunk. A felhasznált heurisztikák a követ­kezők: prioritási érték, tulajdonnév, mélység a szintaktikai fában.Az olyan esetek tették szükségessé a mélységheurisztika hozzáadását, amikor a leg­felső szintű szintaktikai egység több szerepből áll (pl: „28 százalékos részesedést”). A program szavakat feleltet meg a szerepeknek, de az illesztett szavak helyett azt a leg­magasabb szintű nyelvtani szerkezetet jelöli be, amelyiknek az adott szó a feje.A feladat magyar módszerrel történő megoldása időigényes, viszont az összes le­hetséges megoldás által meghatározott térben keres, így nem veszíthetünk el megoldá­sokat.50 Π. Magyar Számítógépes Nyelvészeti KonferenciaSzeged, 2004. december 9-10.1.2 Vizualizáció51A Frametagger outputja egy szemantikai információkkal bővített XML állomány, aminek átlátása a felhasználó számára igen komplikált. Ezért fejlesztettünk egy mo­dult, ami az XML fájlt két felhasználóbarát formátumba konvertálja:1. Egy HTML fájl generálódik, amelyben a megtalált szerepek különböző szí­nekkel vannak jelölve, a szerep típusa pedig megjegyzésben jelenik meg. Ezen felül miden mondat után táblázatos formában is megjelennek a mondat különböző szerepei.2. Egy Excel táblázatot is készítünk, amelyben egy munkalapon láthatjuk az azonos témájú híreket. A táblázat sorai egy-egy mondatot, oszlopai az egyes szerepeket tartalmazzák. Ennek segítségével könnyen készíthetünk komplex kimutatásokat (pl.: .Milyen cégeket vásárolt fel az OTP?”)2 BenchmarkMiután összeállt az egységes szegedi ŒToolChain információkinyerő modullánc tudatában voltunk, hogy az egyes modulok külön-külön (tökéletes bejövő adatok mel­lett) milyen helyesen működnek, de nem tudtuk, hogyan befolyásolják a rendszert, mint egységet vizsgálva.Egy olyan eszközt fejlesztettünk ennek vizsgálatára, ami egy etalonhoz hasonlítva nemcsak a végeredményről közöl (pontossági és találati) értékeket, hanem megpróbál­ja a helytelen (nem a legmegfelelőbb) illesztéseknél meghatározni, hogy mi a hiba oka és így melyik modul okolható érte.Etalonnak a Szeged Korpusz NewsML részkorpuszából [4] 176 db hírt (285 mon­datot) leválasztottunk. A -  szintaktikailag már korábban annotált -  mondatokat a ke­rethalmazhoz igazodva szemantikailag is bejelöltük. Ezt a mondathalmazt kivettük az összes tanuló algoritmust használó ŒToolChain modul tréninghalmazából, így az tekinthető ismeretlen szövegnek.A kiértékeléshez az alábbi hibakategőriákat határoztuk meg:1. Topikhiba: ha az illesztett keret nem abba a témakörbe tartozik, mint a bejelölt keret.2. Feleslegesen felismert szerep: olyan szerepek, amelyeket a gépi elemzés bejelölt, viszont az etalonbeli mondatban nem szerepelnek.3. Mondatszegmentálási hiba: a program azért illesztette a szerepet helyte­lenül, mert az etalonbeli szereplőt külön mondatba szeparálta a mondat­szegmentáló modul.4. POS hiba: azért nem sikerült az illesztés, mert a helyes szerep MSD kódja nem egyezik meg a releváns helyeken a gépi elemző által adott kóddal.5. Lefedés: azért sikertelen az illesztés, mert egy másik szerep eltakarja a fel­ismerendő szavakat. Ez tulajdonképpen a fedő szerep hibája.6. NP hiba: akkor tekintünk egy hibát NP hibának, ha a bejelölt illetve fel­ismert szerepek közül az egyik a másik részhalmaza.527. Tagmondathiba: a felismert szerep másik tagmondatba esik, mint a cél­sző. (az etalonban jelezve vannak a tagmondathatárok, viszont IEToolChainben nincs tagmondat-határolás)8. Igekötőhiba: a gépi elemzés ugyan megtalálta az igét, de annak elváló igekötöjét nem jelölte be.9. Egyéb hibaA program az etalonbeli mondatokhoz hasonlítja egy TEI[5] kódolásnak megfelelő fájlhalmaz mondatait. így a program megteremti a platformot arra is, hogy különböző magyar (gazdasági híreket feldolgozó) mförmációkinyerő rendszereket, illetve azok moduljait (részfeladatokat végrehajtó egységeit) összehasonlíthassuk.Π. Magyar Számítógépes Nyelvészeti Konferencia3 Eredmények és jövőbeni tervekAz előző fejezetben bemutatott módszertan alapján a szegedi ŒToolChain rendszer 70,2% pontossággal és 70,3% találati aránnyal működik. A két legjelentősebb hiba (és hibákon belüli arányuk) az NP hiba; 44% és a felesleges szerep; 29%. Mindössze 1 mondatnál követ el topikhibát a gépi elemzés (két témakör esetén).Ha az illesztés jóságát másképp definiáljuk, és részleges egyezéseket (NP hibás il­lesztések tulajdonképpen a helyes szerepre találnak rá, csak nem ismerik fel azt ponto­san) is elfogadjuk jó illesztésnek, akkor IEToolChain 83,4% F mértéket1 produkál. Ezek alapján jogosan jelenthetjük ki, hogy a szegedi információkinyerö rendszer je­lentős időt takaríthat meg -  mint előfeldolgozó -  egy manuális elemző számára.Jelenleg folyamatban van a keretbeli -keretekben már szereplő- pozíciómegkötések Frametaggerbe történő beépítése, valamint az egyes részfeladatok alternatíváinak modulláncbeli tesztelése. Ezektől a javításoktól az IEToolChain további javulását várjuk.A jövőben szeretnénk a Frametagger elé egy témaosztályozó modult beilleszteni. Ugyanis -  mint az a 1.1 fejezetben látható -  jelenleg a kerethalmazban nincs semmi­lyen különbség a két -  jelenleg keretekkel lefedett -  témabeli keretek közt. Azaz tulaj­donképpen a megtalált keret azonosítja a témakört. A témák (elő)osztályozására feltét­lenül szükség lesz, amikor a témakörök száma emelkedni fog.Most végezzük ezen felül a teljes szintaxis felismerését végző modul integrálását az ŒToolChainbe. Ez felveti a kérdést, hogy a kézzel kialakított Benchmark- hibaosztályok meddig és milyen áron bövíthetőek. Az elkövetkezendőkben szeretnénk megvizsgálni, hogy az általános, fatávolság alapú összehasonlítások versenyezhetnek- e a Benchmark specialitásokat kihasználó összehasonlításával.1 Az F mérték a pontossági és találati arány harmonikus közepe.Szeged, 2004. december 9-10. 53Bibliográfia1. Prószéky Gábor: Automatikus információszerzés gazdasági rövidhírekből. MSzNy 2003 (2003) 161-1662. Alexin Zoltán, Gyimóthy Tibor, Csirik János: Magyar Számítógépes Nyelvészeti Konfe­rencia (MSZNY 2004), beküldve, Szeged, Magyarország, (2004).3. Xavier Carreras and Lluís Márques: Introduction to the CoNLL-2004 Shared Task: Seman­tic Role Labeling. Proceedings of CoNLL-2004 (2004) 89-974. Csendes Dóra, Csirik János, and Gyimóthy Tibor: The Szeged Corpus: A POS Tagged and Syntactically Annotated Hungarian Natural Language Corpus. In Sojka et al. [SKP04], pages 41-47.5. Oravecz, Cs., Váradi, T.: TEI Encoding of the Hungarian Explanatory Manual Dictionary. In Kiefer et al. (eds.) Papers in Computational Lexicography COMPLEX'99, 1999, pp. 229­236

Szemantikuskeret-illesztés és az IE rendszer automatikus kiértékelése

http://acta.bibl.u-szeged.hu/59327/1/msznykonf_002_049-053.pdf

Szemantikuskeret-illesztés és az IE rendszer automatikus kiértékelése

Abstract

Similar works

Full text

Available Versions

University of Szeged