En este documento se introduce el procesamiento de eventos complejos, una tecnología emergente que permite analizar y correlacionar información en forma de eventos con el propósito de detectar situaciones críticas o relevantes en tiempo real. Además, se presenta el motor Esper y su lenguaje de procesamiento de eventos EPL

Boubeta Puig, Juan

Spanish

Repositorio de Objetos de Docencia e Investigación de la Universidad de Cádiz

Procesamiento de Eventos Complejos con EsperItinerario Formativo de Doctorado 7009Juan Boubeta PuigGrupo UCASE de Ingeniería del SoftwareDepartamento de Ingeniería Informática30 de mayo de 201330 de mayo de 2013J. Boubeta Puig (UCA) | CEP con Esper 1/30¿Qué es Esper? (I)Motor de procesamiento de eventos complejos o Complex EventProcessing (CEP) de la compañía EsperTech Inc.Código abierto (licencia GPL) y disponible en Java y .NET.Fundamental para arquitecturas dirigidas por eventos o Event-DrivenArchitecture (EDA) que necesitan procesar infomación en tiempo real.Permite lanzar acciones personalizadas cuando se cumplan ciertascondiciones sobre los flujos de eventos.Capacidad para correlacionar miles de eventos por segundo.Se almacenan las “consultas” (patrones) en lugar de los “datos”.Las consultas/patrones se escriben en EPL (Event ProcessingLanguage).J. Boubeta Puig (UCA) | CEP con Esper 2/30¿Qué es Esper? (II)Escenario de detección de un caso sospechoso de gripe aviarJ. Boubeta Puig (UCA) | CEP con Esper 3/30¿Qué es Esper? (III)Escenario de detección de un caso sospechoso de gripe aviarJ. Boubeta Puig (UCA) | CEP con Esper 4/30Arquitectura de EsperEventos, patrones de eventos y listeners (interfaces para notificación de eventos)J. Boubeta Puig (UCA) | CEP con Esper 5/30Modelo de datosFlujos de eventos:Los atributos de los eventos se definen con tipos y valores: string,boolean, integer, long, float, byte, etc.Varios formatos de eventos: POJO (Plain Old Java Object), documentosXML y map de Java.Tipos de flujos:Flujos de ”entrada” (istream): por defecto, los nuevos eventos quellegan se incluyen en una ventana de datos.Flujo de ”eliminación” (rstream): los eventos antiguos dejan unaventana de datos.Ambos tipos (irstream).J. Boubeta Puig (UCA) | CEP con Esper 6/30Declaración de eventos (I)Schemacreate schema schema_name[as] (property_name property_type[,property_nameproperty_type[,...]) [inheritsinherited_event_type[, inherited_event_type] [,...]]XMLComo instancias de org.w3c.dom.Node.Map de Javajava.util.MapJ. Boubeta Puig (UCA) | CEP con Esper 7/30Declaración de eventos (II)Clase Javapackage org.myapp.event;public class OrderEvent {private String itemName;private double price;public OrderEvent(String itemName, double price) {this.itemName= itemName;this.price= price;}public String getItemName() { return itemName; }public double getPrice() { return price; }}J. Boubeta Puig (UCA) | CEP con Esper 8/30¿Cómo crear un evento?// Crear un nuevo objeto de eventoOrderEvent event = new OrderEvent(’’shirt’’, 74.50);// Enviar el objeto a la instancia del motorepService.getEPRuntime().sendEvent(event);J. Boubeta Puig (UCA) | CEP con Esper 9/30Ventanas (I)Sliding window o ventana deslizanteSe desplazan paso a paso en pequeños incrementos.Un evento en concreto puede formar parte de una misma ventanadurante varias iteraciones.J. Boubeta Puig (UCA) | CEP con Esper 10/30Ventanas (II)Tumbling window o ventana abatibleSe desplazan en incrementos correspondientes a su longitud.Cada evento forma parte de una ventana solamente una vez.J. Boubeta Puig (UCA) | CEP con Esper 11/30Ventanas (III)Por lotes (batch windows) o normales (non-batch windows)Por lotes No lanzan ningún evento hasta que no se llenan porcompleto.Normales Producen un evento de salida cada vez que la entradacambia.J. Boubeta Puig (UCA) | CEP con Esper 12/30Ventanas (IV)A una ventana (window) se le denomina vista (view) en EsperVista Sintaxis DescripciónLength win:length(size) Ventana deslizante según el nú-mero de eventos.LengthBatch win:length_batch(size) Ventana abatible que agrupaeventos y los lanza cuandoun número de eventos ha sidorecogido.Time win:time(time_period) Ventana deslizante según períodode tiempo especificado.TimeAccumulating win:time_accum(time_period) Ventana deslizante que acumulaeventos hasta que no llegan máseventos durante un período detiempo.TimeBatch win:time_batch(time_period ...) Ventana abatible que agrupaeventos y los lanza por cadaperíodo de tiempo especificado.TimeLengthBatch win:time_length_batch( Ventana abatible según el períodode tiempo y la longitud.time_period, size)J. Boubeta Puig (UCA) | CEP con Esper 13/30Registros y períodos de tiempoTiempo implícito: Esper utiliza el reloj del sistema.Tiempo explícito: Se pueden utilizar los registros de tiempo de losdatos de los flujos de eventos.Los períodos de tiempo se definen en las consultas:time-period : [day-part] [hour-part] [minute-part][seconds-part] [milliseconds-part]day-part : (number|variable_name) ("days" | "day")hour-part : (number|variable_name) ("hours" | "hour")minute-part : (number|variable_name) ("minutes" | "minute" | "min")seconds-part : (number|variable_name) ("seconds" | "second" | "sec")milliseconds-part : (number|variable_name)("milliseconds" | "millisecond" | "msec")J. Boubeta Puig (UCA) | CEP con Esper 14/30Sintaxis de EPLUna sentencia en EPL es una consulta continua que se evalúaconstantemente sobre el flujo de eventos.La sintaxis de EPL es:[annotations][expression_declarations][context context_name][insert into insert_into_def]select select_listfrom stream_def [as name] [, stream_def [as name]] [,...][where search_conditions][group by grouping_expression_list][having grouping_search_conditions][output output_specification][order by order_by_expression_list][limit num_rows]J. Boubeta Puig (UCA) | CEP con Esper 15/30Análisis de flujos de eventos (I)// Ejemplo 1select avg(precio) as mediaPreciofrom EventoMarcaStock.win:time(20 sec)// Ejemplo 2select símbolo, avg(precio) as mediaPreciofrom EventoMarcaStock.win:length(50)group by símboloJ. Boubeta Puig (UCA) | CEP con Esper 16/30Análisis de flujos de eventos (II)Condiciones que pueden ser definidas para unir flujos de eventos o filtrar eventos// Ejemplo 3select fraude.númeroCuenta as numCuenta,fraude.aviso as aviso,sacarDinero.cantidad as cantidad,MAX(fraude.tiempo, sacarDinero.tiempo) as tiempo,’fraudeAlSacarDinero’ as descfrom EventoAvisoFraude.win:time(30 min) as fraude,EventoSacarDinero.win:time(30 sec) as sacarDinerowhere fraude.númeroCuenta = sacarDinero.númeroCuentaJ. Boubeta Puig (UCA) | CEP con Esper 17/30Patrones de eventos (I)Los patrones en EPL se registran en el motor Esper.Si un patrón se activa cuando se recibe uno o varios eventos, el motorlo notificará al listener asociado al patrón.Cada patrón puede estar asociado con uno o varios listeners.Un listener realizará una tarea concreta: imprimir por pantalla lainformación del evento que recibe, envíar un correo electrónico, etc.J. Boubeta Puig (UCA) | CEP con Esper 18/30Patrones de eventos (II)ÁtomosBloques básicos de construcción de patrones. Tipos:Expresiones de filtro que especifican un evento concreto a buscar:MarcaStock(símbolo=’ABC’, precio > 100)Observadores de eventos que especifican intervalos de tiempo o untiempo específico:timer:interval Espera el tiempo determinado antes de que el valor delobservador sea cierto. A -> timer:interval(10 seconds)timer:at La expresión se evalúa verdadera cuando se alcanza el tiempoespecificado. timer:at (minutes, hours, days of month,months, days of week [, seconds])Observadores personalizados que observan eventos externos que noestán bajo el control del motor.J. Boubeta Puig (UCA) | CEP con Esper 19/30Patrones de eventos (III)Operadores (I)Controlan el ciclo de vida de las expresiones y combinan lógica otemporalmente átomos de patrones. Tipos:Operadores temporales que controlan el orden de eventos: ->(seguido-por). A -> (B or C)Operadores que controlan repeticiones de subexpresiones:[num] El patrón se dispara cuando llegan los últimos num eventos.[5] A.until El patrón se evalúa a verdadero hasta que se cumpla la condiciónespecificada. A until B.every El patrón se dispara cada vez que se encuentre con un eventodel tipo especificado. every A.Si no se especifica este operador el patrón no seguirá buscando unavez se haya detectado la primera ocurrencia de ese tipo de evento.every-distinct Elimina los resultados duplicados, a partir de laspropiedades de eventos especificadas. every-distinct(a.id) a=AJ. Boubeta Puig (UCA) | CEP con Esper 20/30Patrones de eventos (IV)Operadores (II)Operadores lógicos: and, or, not.Guardas (condiciones where que controlan el ciclo de vida de lassubexpresiones):timer:within Si la expresión del patrón asociado no se evalúa averdadera en el período de tiempo especificado terminará y seráevaluada como falsa permanentemente.A where timer:within(5 seconds)timer:withinmax La subexpresión termina cuando finaliza el períodode tiempo o se alcanza el valor máximo del contador.(every A) where timer:withinmax (5 seconds, 2)while La subexpresión del patrón termina cuando la expresión seevalúa a falsa. (every a=A) while (a.size > 0)J. Boubeta Puig (UCA) | CEP con Esper 21/30Patrones de eventos (V)Operadores (III): ¡cuidado con el uso del operador every!A1 B1 C1 B2 A2 D1 A3 B3 E1 A4 F1 B4every (A -> B) Detecta un evento A seguido por un evento B. En elmomento en el que ocurre B el patrón se dispara, entonces el patrónse reinicia y busca el próximo evento A: {A1, B1}, {A2, B3}, {A4, B4}.every A -> B Este patrón se dispara para cada evento A seguido porun evento B: {A1, B1}, {A2, B3}, {A3, B3}, {A4, B4}.A -> every B Se dispara para un A seguido por cada B:{A1, B1}, {A1, B2} {A1, B3} {A1, B4}.every A -> every B Este patrón se dispara para cada evento Aseguido por cada evento B:{A1, B1}, {A1, B2}, {A1, B3}, {A2, B3}, {A3, B3}, {A1, B4},{A2, B4}, {A3, B4} {A4, B4}.J. Boubeta Puig (UCA) | CEP con Esper 22/30Detección de patrones eventos +análisis de flujos de eventosselect a.id, count(*)from pattern [every a=Estado -> (timer:interval(10 sec)and not Estado(id = a.id)]group by idJ. Boubeta Puig (UCA) | CEP con Esper 23/30Funciones de agregaciónAlgunas de las funciones: sum, avg, count, max, min.Permiten el uso de group-by y having.select sum(price)from StockTickEvent.win:time(50 sec)J. Boubeta Puig (UCA) | CEP con Esper 24/30Ejemplo sencillo (I)Se registra la consulta que devuelve la media de los precios de loseventos OrderEvent (ver transparencias 11 y 12) que llegaron en losúltimos 30 s:EPServiceProvider epService =EPServiceProviderManager.getDefaultProvider();String expression = "select avg(price)from org.myapp.event.OrderEvent.win:time(30 sec)";EPStatementstatement =epService.getEPAdministrator().createEPL(expression);J. Boubeta Puig (UCA) | CEP con Esper 25/30Ejemplo sencillo (II)Se registra un listener en el motor que se encargará de “escuchar” laconsulta:public class MyListener implements UpdateListener{public void update(EventBean[] newEvents,EventBean[] oldEvents) {EventBean event = newEvents[0];System.out.println("avg=" + event.get("avg(price)"));}}......MyListener listener = new MyListener();statement.addListener(listener);J. Boubeta Puig (UCA) | CEP con Esper 26/30Ejemplo sencillo (III)Se realiza la configuración del motor:Configuration config= new Configuration();config.addEventTypeAutoAlias("org.myapp.event");EPServiceProvider epService =EPServiceProviderManager.getDefaultProvider(config);J. Boubeta Puig (UCA) | CEP con Esper 27/30Otros ejemploshttp://coffeeonesugar.wordpress.com/2009/07/21/getting-started-with-esper-in-5-minutes/http://www.debugrelease.com/2012/06/14/complex-event-processing-with-esper-tutorial-for-beginners/http://esper.codehaus.org/tutorials/tutorial/examples.html(StockTicker y MatchMaker para comenzar). Para ejecutarlo:1 Tener instalado Java 1.6 o superior y configurada la variable de entornoJAVA_HOME.2 Abrir una ventana de consola y cambiar al directorio:esper-X.X.X/examples/etc3 Ejecutar esper-X.X.X/examples/stockticker/etc/setenv.bat4 Ejecutar esper-X.X.X/examples/stockticker/etc/compile.bat5 Ejecutar esper-X.X.X/examples/stockticker/etc/run_stockticker.batJ. Boubeta Puig (UCA) | CEP con Esper 28/30Referencias bibliográficas IEsperTech Inc.Quick Starthttp://esper.codehaus.org/tutorials/tutorial/quickstart.html,mayo 2013.EsperTech Inc.Tutorialhttp://esper.codehaus.org/tutorials/tutorial/tutorial.html,mayo 2013.EsperTech Inc.Solution Patternshttp://esper.codehaus.org/tutorials/solution_patterns/solution_patterns.html, mayo 2013.J. Boubeta Puig (UCA) | CEP con Esper 29/30Referencias bibliográficas IIEsperTech Inc.Esper EPL Onlinehttp://esper-epl-tryout.appspot.com/epltryout/index.html,mayo 2013.EsperTech Inc.Documentation: Esper & EsperIOhttp://esper.codehaus.org/esper/documentation/documentation.html,mayo 2013.EsperTech Inc.Download Esperhttp://esper.codehaus.org/esper/download/download.html, mayo2013.J. Boubeta Puig (UCA) | CEP con Esper 30/30

Procesamiento de Eventos Complejos con Esper

https://rodin.uca.es/xmlui/bitstream/10498/16754/1/CEP-con-Esper.pdf

Procesamiento de Eventos Complejos con Esper

Abstract

Similar works

Full text

Available Versions

Repositorio de Objetos de Docencia e Investigación de la Universidad de Cádiz