Szemantikus adatok lekérdezése federált és osztott rendszereken

Az értekezés a szemantikus webnél felmerülő problémákkal foglalkozott. A szemantikus web egy olyan elgondolás, ahol az Interneten az információkat úgy tároljuk, hogy azok összekapcsolhatóak legyenek. Ezáltal egy nagy tudásbázist kaphatunk. A használatuk viszont nehézkes, melynek fő okai a tudásbázisok nagy mérete és strukturálatlansága. Az első terület azt mutatta be, hogy hogyan lehet használni a kliens-szerver architektúra modellt arra, hogy a szemantikus adatokat biztosítani tudjunk kisebb erőforrással rendelkező eszközöknek, mint például a mobiltelefonoknak. A fejezetben bemutattam 3 alkalmazást, amely ezen architektúra felépítésre épült. Az első alkalmazás egy vállalati információs rendszer, a második alkalmazás egy beltéri navigációs rendszer, a harmadik alkalmazás pedig egy szemantikus böngésző mobilkészülékekre. A második terület a federált rendszerek témakörével foglalkozik. A szemantikus web elgondolása, hogy a világhálón megtalálható információk összekapcsolhatóak legyenek. A federált rendszerek lehetőséget adnak arra, hogy egy lekérdezésben el tudjunk érni több végponton található adatot. Ennek fontos része, hogy a rendszer el tudja dönteni a hármasmintákból, hogy mely végponton kell lefuttatni őket. Első eredményként formálisan leírtam a federált rendszerek működését az ASM modell segítségével. Ezután bemutattam egy olyan megoldást, ahol a federált rendszer a végpontokon található névtereket használja a végpontok kiválasztásra. A következő eredmény arra irányul, hogy egy federált rendszert alkalmazni lehet szemantikus lekérdezések megírására is, amely segítheti a szemantikus weben nem járatos felhasználókat. A megoldás hármasmintákat ajánl a felhasználónak a különböző végpontokról. Végül a fejezet végső eredménye, hogy ezekből az ajánlásokból olyan információkat is ki tudunk nyerni, amelyek segítik a lekérdezés kiértékelését. A harmadik terület amivel foglalkoztam a szemantikus adatok és a Big Data eszközök kapcsolata. A fejezet első eredményeként egy olyan algoritmust készítettem, amely a szemantikus gráfot redukálja olyan méretűre, amelyet már meg tudunk jeleníteni egy gráfmegjelenítő alkalmazással. A vizuális megjelenítés segít az adatok megértésébe, megismerésébe, vagy épp a hibák feltárásában. A következő eredmény egy olyan algoritmus és modell, ahol egy osztott gráfelemző alkalmazást alkalmazok a szemantikus adatok lekérdezésére. Ez a rendszer a Spark GraphX, amely a csúcsok közötti üzenetváltáson alapszik. A fejezetben bemutatunk két megoldást is arra, hogyan lehet kiértékelni a SPARQL lekérdezéseket. Az Sparkql megoldás lekérdezési terve lineárisan, még a P-Sparkql már párhuzamosan képes a hármasmintákat ellenőrizni

Bisimulation reduction of big graphs on MapReduce

Computing the bisimulation partition of a graph is a fundamental problem which plays a key role in a wide range of basic applications. Intuitively, two nodes in a graph are bisimilar if they share basic structural properties such as labeling and neighborhood topology. In data management, reducing a graph under bisimulation equivalence is a crucial step, e.g., for indexing the graph for efficient query processing. Often, graphs of interest in the real world are massive; examples include social networks and linked open data. For analytics on such graphs, it is becoming increasingly infeasible to rely on in-memory or even I/O-efficient solutions. Hence, a trend in Big Data analytics is the use of distributed computing frameworks such as MapReduce. While there are both internal and external memory solutions for efficiently computing bisimulation, there is, to our knowledge, no effective MapReduce-based solution for bisimulation. Motivated by these observations we propose in this paper the first efficient MapReduce-based algorithm for computing the bisimulation partition of massive graphs. We also detail several optimizations for handling the data skew which often arises in real-world graphs. The results of an extensive empirical study are presented which demonstrate the effectiveness and scalability of our solution

Bisimulation reduction of big graphs on MapReduce

Computing the bisimulation partition of a graph is a fundamental problem which plays a key role in a wide range of basic applications. Intuitively, two nodes in a graph are bisimilar if they share basic structural properties such as labeling and neighborhood topology. In data management, reducing a graph under bisimulation equivalence is a crucial step, e.g., for indexing the graph for efficient query processing. Often, graphs of interest in the real world are massive; examples include social networks and linked open data. For analytics on such graphs, it is becoming increasingly infeasible to rely on in-memory or even I/O-efficient solutions. Hence, a trend in Big Data analytics is the use of distributed computing frameworks such as MapReduce. While there are both internal and external memory solutions for efficiently computing bisimulation, there is, to our knowledge, no effective MapReduce-based solution for bisimulation. Motivated by these observations we propose in this paper the first efficient MapReduce-based algorithm for computing the bisimulation partition of massive graphs. We also detail several optimizations for handling the data skew which often arises in real-world graphs. The results of an extensive empirical study are presented which demonstrate the effectiveness and scalability of our solution