A functional approach for disruptive event discovery and policy monitoring in mobility scenarios

This paper presents the results obtained of using LISP for real-time event detection and how these results are interpreted and used within the context of SUPERHUB, a European-Funded projected aimed to achieve a more sustainable mobility behaviour in cities. Real-time detection allows faster reaction for decision making processes as well as a valuable asset for policy makers to know what should be done when an unexpected event occurs. The use of LISP has facilitated most of this process and, specially, supported to parallelize the capture, aggregation and interpretation of data

A functional approach for disruptive event discovery and policy monitoring in mobility scenarios

This paper presents the results obtained of using LISP for real-time event detection and how these results are interpreted and used within the context of SUPERHUB, a European-Funded projected aimed to achieve a more sustainable mobility behaviour in cities. Real-time detection allows faster reaction for decision making processes as well as a valuable asset for policy makers to know what should be done when an unexpected event occurs. The use of LISP has facilitated most of this process and, specially, supported to parallelize the capture, aggregation and interpretation of data.Postprint (published version

A functional approach for disruptive event discovery and policy monitoring in mobility scenarios

This paper presents the results obtained of using LISP for real-time event detection and how these results are interpreted and used within the context of SUPERHUB, a European-Funded projected aimed to achieve a more sustainable mobility behaviour in cities. Real-time detection allows faster reaction for decision making processes as well as a valuable asset for policy makers to know what should be done when an unexpected event occurs. The use of LISP has facilitated most of this process and, specially, supported to parallelize the capture, aggregation and interpretation of data

Link prediction in large directed graphs

The first chapter introduces an approach to machine learning (ML) were data is understood as a network of connected entities. This strategy seeks inter-entity information for knowledge discovery, in contrast with traditional intra-entity approaches based on instances and their features. We discuss the importance of this connectivist ML (which we refer to as graph mining) in the current context where large, topology-based data sets have been made available. Chapter ends by introducing the Link Prediction (LP) problem, together with its current computational and performance limitations. The second chapter discusses early contributions to graph mining, and introduces problems frequently tackled through this paradigm. Later the chapter focuses on the state-of-the-art of LP. It presents three different approaches to the problem of finding links in a relational set, and argues about the importance of the most computationally scalable one: similarity-based algorithms. It categorizes similarity-based algorithms in three types of LP scores. For the most scalable type, local similarity-based algorithms, the chapter identifies and formally describes the most competitive proposals according to the bibliography. Chapter three analyses the LP problem, partly as a classic binary classification problem. A list of graph properties such as directionality, weights and time are discussed in the context of LP. Follows a formal time and space complexity analysis of similarity-based scores of LP. The chapter ends with an study of the class imbalance found in LP problems. In chapter four a novel similarity-based score of LP is introduced. The chapter first elaborates on the importance of hierarchies for representing knowledge through directed graphs. Several modifications to the proposed score are also defined. This chapter presents a modified version of the most competitive undirected scores of LP, to adapt them to directed graphs. The evaluation methodologies of LP are analyzed in the fifth chapter. It starts by discussing the problem of evaluating domains with a huge class imbalance, identifying the most appropriate methodologies for it. A modification of the most appropriate evaluation methodology according to the bibliography is presented, with the goal of focusing on relevant predictions. Follows a discussion on the faithful estimation of the precision of predictors. Chapter six describes the graphs used for score evaluation, as well as how data was transformed into a directed graph. Reasons on why these particular domains were chosen are given, making a special case of webgraphs and their well known relation with hierarchies. The most basic properties of each resultant graph are shown. Tests performed are presented in chapter seven. The three most competitive LP scores currently available are tested among themselves, and against a proposed version of those same scores for directed graphs. Our proposed score and its modifications are tested against the scores obtaining the best results in the previous tests. The case of LP in webgraphs is considered separately, testing six different webgraphs. The chapter ends with a discussion on the limitations of this formal analysis, showing examples of predictions obtained. Chapter eight includes the computational aspects of the work done. It starts with a discussion on the importance of memory management for determining the computational cost of LP algorithms. A proposal on how to reduce this cost through precision reduction is presented. Follows a section focused on the parallelization of code, which includes two different implementations on one graph-specific programming model (Pregel) and on one generic programming model (OpenMP). The chapter ends with a specification of the computational resources used for the tests done. The conclusions of this thesis proposal are presented in nine. Chapter ten contains several future lines of work.El primer capítol introdueix una perspectiva de l'aprenentatge automàtic on les dades s'entén com una xarxa d'entitats connectades. Aquesta estratègia es centra en les relacions entre entitats per aprendre, en contrast amb les solucions tradicionals basades en instancies i els seus atributs. Discutim sobre la importància d'aquesta perspectiva connectivista (a la que ens referim com mineria de grafs) en el context actual on grans conjunts de dades basats en xarxes estan apareixent. El capítol finalitza amb la presentació del problema de Predicció d'Arestes (PA), junt amb una primera anàlisi de les seves limitacions actuals. El segon capítol presenta les primeres contribucions a la mineria de grafs, introduint problemes típicament solucionats mitjançant aquest paradigma. El capítol es centra en l'estat de l'art de PA. Presenta tres solucions diferents per al problema i argumenta la importància del més computacionalment escalable: els algoritmes basats en similitud. Categoritza aquests en tres tipus, i per als més escalables d'aquests, els algoritmes locals, s'identifica i es descriu formalment les propostes més competitives d'acord amb la bibliografia. El tercer capítol analitza el problema de PA, inicialment com a problema de classificació binari. Una llista de propietats de grafs són discutides en el context de la PA, com la direccionalitat o els pesos. Segueix una anàlisi del cost computacional en temps com en espai, dels algorismes basats en similitud. El capítol finalitza amb un estudi del desbalanceig de classes, freqüent en la PA. Al capítol quatre es presenta un nou algorisme basat en similitud per la PA. El capítol elabora sobre la importància de les jerarquies a la representació del coneixement a través de grafs dirigits. Varies modificacions es proposen per al nou algorisme. Aquest capítol també inclou una modificació sobre els actuals algorismes de similitud per a grafs no dirigits, per adaptar-los per a grafs dirigits. Les metodologies d'avaluació de la PA s'analitzen al cinquè capítol. Comença amb una discussió sobre els problemes que suposa avaluar un context amb un gran desbalanceig de classes, identificant les metodologies apropiades per aquests casos. Es proposa una modificació sobre el mètode més apropiat actualment disponible, per tal de centrar-se en les prediccions rellevants. Segueix una discussió sobre l'estimació fidedigna de la precisió dels predictors. El sisè capítol descriu els grafs usats per avaluar els algorismes, així com la metodologia usada per transformar-los en grafs dirigits. Les raons per triar aquest conjunt de grafs són exposades, posant especial interès al cas dels grafs web i a la seva ben coneguda relació amb les jerarquies. Les propietats més bàsiques de cada graf resultant són descrites. Els tests efectuats es mostren al capítol setè. Els tres algorismes actuals de PA més competitius són comparats amb ells mateixos i amb la versió per a grafs dirigits definida anteriorment. L'algorisme proposat anteriorment i les seves modificacions també són avaluats. El problema de la PA en grafs web es considera per separat, avaluant sis grafs web diferents. El capítol acaba amb una discussió sobre les limitacions de les avaluacions formals, mostrant exemples de prediccions obtingudes. El vuitè capítol inclou els aspectes computacionals de la tesi. Comença amb una discussió sobre la importància de la gestió de memòria per a la definició del cost computacional dels algorismes de PA. Inclou una proposta sobre com reduir aquest cost mitjançant una reducció en la precisió. Segueix una secció centrada en la paral·lelització del codi, que inclou dues implementacions diferents, una en un model de programació específic per grafs (Pregel) i una amb un model de programació paral·lela genèric (OpenMP). El capítol finalitza amb una especificació dels recursos computacionals usats per als tests realitzats. Les conclusions de la tesi es presenten al capítol novè, i les línies de treball futur al des

NoMoDEI : A framework for Norm Monitoring on Dynamic Electronic Institutions

With the growth of the Internet, computational systems have become more and more complex, often including complicate interconnected networks of autonomous components. The need to bring some organisational structure into autonomous systems becomes urgent, as this allows regulating the behaviour of the different autonomous components to ensure their objectives are aligned with the holistic objectives of the system. Normative Systems are one of the mechanisms that can be applied to define and enforce acceptable behaviour within distributed electronic systems which should comply with some (human) regulations. One of the requirements to effectively implement Normative Systems is to be able to assess, at runtime, the state of the normative environment. Existing lines of research have already tried to tackle this issue on some simple scenarios. However, more complex scenarios may appear, for instance, scenarios where the normative context is not static, but it expands and contracts as new norms are added to the institution and removed from it respectively. As in human legal systems, it is easy to foresee that some of these electronic normative environments will not be static. They should be able to evolve through time as regulations change, effectively adapting to new situations and behaviours. Under these conditions, a monitoring system must be able to continue computing the state of the normative environment at runtime, as often we can not afford to perform the changes on the normative context off-line. Furthermore, it must be guaranteed the monitoring system can keep producing states of the normative environment that are consistent with the changes performed on the normative context. For instance, if a norm has been removed from the normative context, it does not make sense anymore to compute normative states where the norm has been violated. In this thesis we present NoMoDEI, a normative monitoring framework for dynamic Electronic Institutions. We formalize and develop an extended normative framework and architecture to cope with scenarios where the normative context is dynamic, therefore norms can be added, removed and updated. The operations are to be performed at run-time, without having to stop computing the normative state. The normative states computed are consistent with the expansion and contraction operations. NoMoDEI is introduced in three steps. First, we formally define the operations to be supported in order to allow for expanding and contracting the normative context. Then, we instantiate the formal operations, providing implementation details. Finally, we demonstrate our framework by applying it to two use cases: E-health systems and waste-water management on a river basin.Amb l'expansió d'Internet els sistemes computacionals han esdevingut més complexos, sovint incorporant complicades xarxes interconnectades de components autònoms. Es per això que la necessitat d'incorporar estructures organitzacionals en el sistemes autònoms s 'accentua, donat que aquestes estructures permeten regular el comportament dels diferents components autònoms, tot assegurant que els seus objectius es troben alineats amb els objectius generals del sistema. Els Sistemes Normatius (i.e. Normative Systems) són un dels mecanismes que podem aplicar per definir i imposar patrons acceptables de comportament dintre de sistemes electrònics distribuïts. Això esdevé especialment important quan el sistema es troba regimentat per regulacions (normalment humanes). Un dels requeriments per implementar Sistemes Normatius és ser capaços de determinar, en temps d'execució, l'estat de l'entorn normatiu. Existeixen línies de recerca que ja han tractat aquest problema en alguns escenaris simples. El món real però ens ofereix escenaris més complexes, com per exemple, escenaris on el context normatiu no és estàtic, si no que s'expandeix i contrau a mesura que noves normes són afegides o eliminades de la institució. Tal com passa als sistemes legals humans, és fàcil preveure que alguns contextos normatius electrònics no seran estàtics. Aquests contextos haurien de ser capaços d'evolucionar a través del temps a mesura que les regulacions canvien, adaptant-se a noves situacions i comportaments. Sota aquestes condicions, un sistema de monitorització ha de ser capaç de continuar calculant l'estat de l'entorn normatiu en temps d'execució, ja que sovint no ens podem permetre realitzar els canvis a l'entorn normatiu aturant el procés de monitorització. És més s'ha de garantir que el sistema de monitorització sigui capaç de continuar produint es tats de l’entorn normatiu de forma consistent amb els canvis realitzats. Per exemple, el fet d'eliminar una norma fa que no tingui gaire sentit continuar calculant es tats normatius on aquesta norma ha es tat violada. A aquesta Tesi presentem NoMoDEI, una infraestructura de monitorització normativa per institucions electròniques dinàmiques. Formalitzem i desenvolupem una infraestructura de monitorització normativa estesa capaç d'operar en escenaris on el context normatiu es dinàmic. Es a dir, diverses normes poden ser introduïdes, eliminades o actualitzades del context normatiu en qualsevol moment. Aquestes operacions s'han de poder realitzar en temps d'execució, es a dir, sense deixar de calcular l'estat normatiu. Es més, els estats normatius calculats han de ser consistents amb les respectives operacions d'extensió o contracció del context. Durant la Tesi presentem NoMoDEI en tres passos. Primer proporcionem una definició formal de les operacions que la infraestructura ha de suportar per permetre expandir i contraure el context normatiu. A continuació instanciem aquestes operacions proporcionant detalls d'implementació. Finalment demostrem que la nostra infraestructura pot ser aplicada a casos d'ús del món real introduint dos casos: sistemes de salut electrònics (i.e. E-health) i sistemes de tractament d’aigües residuals a la conca d’un riuPostprint (published version

NoMoDEI : A framework for Norm Monitoring on Dynamic Electronic Institutions

With the growth of the Internet, computational systems have become more and more complex, often including complicate interconnected networks of autonomous components. The need to bring some organisational structure into autonomous systems becomes urgent, as this allows regulating the behaviour of the different autonomous components to ensure their objectives are aligned with the holistic objectives of the system. Normative Systems are one of the mechanisms that can be applied to define and enforce acceptable behaviour within distributed electronic systems which should comply with some (human) regulations. One of the requirements to effectively implement Normative Systems is to be able to assess, at runtime, the state of the normative environment. Existing lines of research have already tried to tackle this issue on some simple scenarios. However, more complex scenarios may appear, for instance, scenarios where the normative context is not static, but it expands and contracts as new norms are added to the institution and removed from it respectively. As in human legal systems, it is easy to foresee that some of these electronic normative environments will not be static. They should be able to evolve through time as regulations change, effectively adapting to new situations and behaviours. Under these conditions, a monitoring system must be able to continue computing the state of the normative environment at runtime, as often we can not afford to perform the changes on the normative context off-line. Furthermore, it must be guaranteed the monitoring system can keep producing states of the normative environment that are consistent with the changes performed on the normative context. For instance, if a norm has been removed from the normative context, it does not make sense anymore to compute normative states where the norm has been violated. In this thesis we present NoMoDEI, a normative monitoring framework for dynamic Electronic Institutions. We formalize and develop an extended normative framework and architecture to cope with scenarios where the normative context is dynamic, therefore norms can be added, removed and updated. The operations are to be performed at run-time, without having to stop computing the normative state. The normative states computed are consistent with the expansion and contraction operations. NoMoDEI is introduced in three steps. First, we formally define the operations to be supported in order to allow for expanding and contracting the normative context. Then, we instantiate the formal operations, providing implementation details. Finally, we demonstrate our framework by applying it to two use cases: E-health systems and waste-water management on a river basin.Amb l'expansió d'Internet els sistemes computacionals han esdevingut més complexos, sovint incorporant complicades xarxes interconnectades de components autònoms. Es per això que la necessitat d'incorporar estructures organitzacionals en el sistemes autònoms s 'accentua, donat que aquestes estructures permeten regular el comportament dels diferents components autònoms, tot assegurant que els seus objectius es troben alineats amb els objectius generals del sistema. Els Sistemes Normatius (i.e. Normative Systems) són un dels mecanismes que podem aplicar per definir i imposar patrons acceptables de comportament dintre de sistemes electrònics distribuïts. Això esdevé especialment important quan el sistema es troba regimentat per regulacions (normalment humanes). Un dels requeriments per implementar Sistemes Normatius és ser capaços de determinar, en temps d'execució, l'estat de l'entorn normatiu. Existeixen línies de recerca que ja han tractat aquest problema en alguns escenaris simples. El món real però ens ofereix escenaris més complexes, com per exemple, escenaris on el context normatiu no és estàtic, si no que s'expandeix i contrau a mesura que noves normes són afegides o eliminades de la institució. Tal com passa als sistemes legals humans, és fàcil preveure que alguns contextos normatius electrònics no seran estàtics. Aquests contextos haurien de ser capaços d'evolucionar a través del temps a mesura que les regulacions canvien, adaptant-se a noves situacions i comportaments. Sota aquestes condicions, un sistema de monitorització ha de ser capaç de continuar calculant l'estat de l'entorn normatiu en temps d'execució, ja que sovint no ens podem permetre realitzar els canvis a l'entorn normatiu aturant el procés de monitorització. És més s'ha de garantir que el sistema de monitorització sigui capaç de continuar produint es tats de l’entorn normatiu de forma consistent amb els canvis realitzats. Per exemple, el fet d'eliminar una norma fa que no tingui gaire sentit continuar calculant es tats normatius on aquesta norma ha es tat violada. A aquesta Tesi presentem NoMoDEI, una infraestructura de monitorització normativa per institucions electròniques dinàmiques. Formalitzem i desenvolupem una infraestructura de monitorització normativa estesa capaç d'operar en escenaris on el context normatiu es dinàmic. Es a dir, diverses normes poden ser introduïdes, eliminades o actualitzades del context normatiu en qualsevol moment. Aquestes operacions s'han de poder realitzar en temps d'execució, es a dir, sense deixar de calcular l'estat normatiu. Es més, els estats normatius calculats han de ser consistents amb les respectives operacions d'extensió o contracció del context. Durant la Tesi presentem NoMoDEI en tres passos. Primer proporcionem una definició formal de les operacions que la infraestructura ha de suportar per permetre expandir i contraure el context normatiu. A continuació instanciem aquestes operacions proporcionant detalls d'implementació. Finalment demostrem que la nostra infraestructura pot ser aplicada a casos d'ús del món real introduint dos casos: sistemes de salut electrònics (i.e. E-health) i sistemes de tractament d’aigües residuals a la conca d’un ri