Újabb fejlemények az e-magyar háza táján

A cikkben az e-magyar nyelvfeldolgozó eszközlánc új verzióján, az emtsv-n végrehajtott fejlesztéseket mutatjuk be. Az emtsv fő tulajdonságai közé tartozik a teljes modularitás, amit az egységes formátum és keretrendszer tesz lehetővé. Ebből következik, hogy az emtsvbe könnyen lehet új modulokat integrálni, valamint az egyes elemzési lépéseknél be- és kiszállni. Ezt illusztrálandó egyrészt már létező eszközöket integráltunk (UDPipe, Hunspell), másrészt új modulokat fejlesztettünk (emTerm, emDiff, emZero), harmadrészt a már meglévő modulokat fejlesztettük tovább (detokenizálási funkció az emToken-ben). A cikkben ezeket mutatjuk be, továbbá az emtsv-t teljesítmény és gyorsaság szempontjából összehasonlítjuk hasonló funkcionalitásokkal bíró magyar nyelvfeldolgozó eszközláncokkal, mint a UDPipe, a huspaCy és a Magyarlánc. Az emtsv LGPL 3.0 licenc alatt elérhető a https://github. com/dlt-rilmta/emtsv GitHub repozitóriumból