Petri Net Models for Event Recognition in Surveillance Videos

Video surveillance is the process of monitoring the behavior of people and objects within public places, e.g. airports and traffic intersections, by means of visual aids (cameras) usually for safety and security purposes. As the amount of video data gathered daily by surveillance cameras increases, the need for automatic systems to detect and recognize suspicious activities performed by people and objects is also increasing. The first part of the thesis describes a framework for modeling and recognition of events from surveillance video. Our framework is based on deterministic inference using Petri nets. Events can be composed by combining primitive events and previously defined events by spatial, temporal and logical relations. We provide a graphical user interface (GUI) to formulate such event models. Our approach automatically maps each of these models into a set of Petri net filters that represent the components of the event. Lower-level video processing modules, e.g. background subtraction, tracking and classification, are used to detect the occurrence of primitive events. These primitive events are then filtered by Petri nets filters to recognize composite events of interest. Our framework is general enough and we have applied it to many surveillance domains. In the second part of the thesis, we address the problem of detecting carried objects. Detecting carried objects is the main step to solve the problem of left object detection. We present two approaches to the left object detection problem. Both approaches poses the problem as a classification problem. For both approaches, we trained SVM classifiers on a laboratory database that contains examples of people seen with and without two common objects, namely backpacks and suitcases. We used a boosting technique, AdaBoost, to select the most discriminative features used by the SVMs and to enhance the performance of the classifiers. We give recognition results for each approach and then compare both approaches and describe the advantages of each one. We also compare the performance of both approaches on real world videos captured at the Munich airport

Redes de Petri reactivas e hierárquicas - integração de formalismos no projecto de sistemas reactivos de tempo-real

Dissertação apresentada para obtenção do grau de Doutor em Engenharia Electrotécnica, especialidade de Sistemas Digitais, pela Universidade Nova de Lisboa, Faculdade de Ciências e TecnologiaNesta dissertação faz-se a apresentação de uma nova classe de Redes de Petri, as Redes de Petri Reactivas e Hierárquicas (RdP-RH). O objectivo principal da proposta é o de suportar o projecto integrado de sistemas reactivos de tempo-real, permitindo, para além do apoio às diversas fases do ciclo de desenvolvimento, nomeadamente especificação, validação, verificação e realização, integrar submodelos especificados através de diferentes formalismos. Como exemplos representativos de sistemas reactivos de tempo-real refiram-se os sistemas embebidos, os sistemas de automação e os circuitos digitais de aplicação específica. De entre os formalismos tidos como interessantes, refiram-se, os formalismos típicos de especificação dos sistemas a eventos discretos passíveis de uma representação gráfica, como as máquinas de estado, os statecharts e as redes de Petri, bem como alguns dos formalismos genericamente designados como de controlo inteligente, como sistemas de produção de regras, de regras com imprecisão e de regras difusas. A classe das Redes de Petri Reactivas (RdP-R), utilizada como núcleo das RdP-RH, é caracterizada como tomando as Redes de Petri Coloridas como classe de referência, às quais se adicionam capacidades de modelação de características não-autónomas, intrínsecas aos sistemas que se pretendem modelar. Discutem-se alguns aspectos ligados à sua realização, nomeadamente os temas de construção do espaço de estados e da resolução automática de conflitos. A introdução de três mecanismos distintos de estruturação hierárquica, denominados por decomposição horizontal, vertical e mista, conduz à definição das RdP-RH. Nelas se utilizam três tipos de nós denominados por macronós, metanós e supernós, associados aos três mecanismos propostos. Os mecanismos de estruturação hierárquica do modelo são complementados com a representação vectorizada dos nós do grafo. Discute-se a aplicação das RdP-RH na modelação de statecharts e de formalismos de controlo inteligente, com ênfase para os controladores difusos, onde a necessidade de integrar controlo e processamento de dados permite utilizar cabalmente as capacidades das RdP-RH. Em torno da análise de trabalhos realizados na área de aplicação de “edifícios inteligentes”, utilizada como referência para o trabalho desenvolvido, identificam-se alguns temas em que se prevêm ou são desejados desenvolvimentos no futuro próximo recorrendo às RdP-RH

Ein Konzept auf der Basis von Ontologien und Petri-Netzen

In der Dissertation wird das Themenfeld der Modellierung kooperativer Informationssysteme behandelt. Zu diesem Zweck wird ein Ansatz für die Modellierung kooperativer Informationssysteme entwickelt, der zum einen auf Ontologien und zum anderen auf Petri-Netzen basiert. Beide Konzepte werden vom Verfasser zu so genannten „Ontologie-Netzen“ zusammengeführt. Seit einigen Jahren werden Ontologien in unterschiedlichsten Wissenschaftsdisziplinen untersucht. Das Interesse an Ontologie ist nicht zuletzt auf die jüngsten Entwicklungen im Bereich des Semantic Web zurückzuführen. Auch über webbasierte Applikationen hinaus werden Ontologien in Szenarien untersucht, in denen Akteure mit unterschiedlichen Sprach- und Wissenshintergründen in Kommunikation miteinander treten. Während nämlich traditionelle Modellierungsmethoden lediglich die Ex-Ante Vorgabe eines Begriffsystems unterstützen, können mit Ontologien darüber hinaus auch Ex-Post Harmonisierungen unterschiedlicher Begriffswelten angestrebt werden. Darüber hinaus verfügen Ontologien in der Regel über eine Inferenzkomponente, die die Erschließung von „implizitem“ Wissen erlaubt. Die abstrakte Spezifikation regelartiger Zusammenhänge in einer Ontologie kann somit bei konkreter Anwendung in einer Domäne zur Explikation von Fakten führen, die ansonsten nicht berücksichtigt werden könnten. Aus dem Blickwinkel der Wirtschaftswissenschaften haben Ontologien eine besondere Bedeutung aufgrund ihres Leistungspotenzials für Zwecke der Unternehmensmodellierung. Insbesondere für Organisationsformen, die unter das Spektrum zwischenbetrieblicher Kooperationen fallen, könnten sich Ontologien als effektivitäts- und effizienzsteigernde Methoden der Unternehmensmodellierung erweisen. Es sind nämlich gerade Organisationsformen, an denen Akteure aus unterschiedlichen Hintergründen für Zwecke der gemeinschaftlichen Leistungserstellung zusammenkommen, bei denen sich bestehende Sprachbarrieren negativ auf die Geschäftsprozesse auswirken. Darüber hinaus erlauben Ontologien mit ihrer Inferenzkomponente die formale Spezifikation von „Business Rules“ die bei der gemeinschaftlichen Leistungserstellung zu gelten haben. Ontologien beschränken sich allerdings auf die rein statischen Aspekte, da sie nur für die Repräsentation deklarativen Wissens verwendet werden können. Daher haben Ontologien auch nur eine deklarative Semantik. Sie äußert sich z.B. darin, dass die Reihenfolge der (Teil-)Spezifikationen für ihre Bedeutung irrelevant ist. Dadurch kann immer nur ein bestimmter Zustand der Realität modelliert werden. Von Methoden zur Modellierung zwischenbetrieblicher Kooperationen wird allerdings vermehrt gefordert, sowohl statische als auch dynamische Aspekte erfassen zu können. Unter dem Paradigma der „Geschäftsprozessorientierung“ haben sich daher vermehrt solche Methoden durchgesetzt, die sowohl statische als auch dynamische Aspekte der Realität zu Erfassen in der Lage sind. Mit dem integrativen Modellierungskonzept wird in der vorliegenden Arbeit ein Ansatz vorgestellt, der es erlaubt, Ontologien um dynamische Aspekte zu erweitern. Hierzu werden Ontologien in eine Klasse höherer Petri-Netze eingebunden. Letztgenannte haben sich nämlich in der Vergangenheit bei der Ausweitung formaler Spezifikationen um dynamische Aspekte als äußerst fruchtbar erwiesen. Dabei wird die Kompatibilität der beiden Ansätze über ihre gemeinsame prädikatenlogische Basis gewährleistet. Darüber hinaus erfreuen sich Petri-Netze sowohl in theoretischen Ausarbeitungen als auch in praktischen Umsetzungen einer hohen Beliebtheit. Die noch relativ jungen Forschungsarbeiten zu Ontologien könnten durch einen solchen Ansatz in ihrer Akzeptanzrate erhöht werden