Foreground object segmentation in RGB-D data implemented on GPU

This paper presents a GPU implementation of two foreground object segmentation algorithms: Gaussian Mixture Model (GMM) and Pixel Based Adaptive Segmenter (PBAS) modified for RGB-D data support. The simultaneous use of colour (RGB) and depth (D) data allows to improve segmentation accuracy, especially in case of colour camouflage, illumination changes and occurrence of shadows. Three GPUs were used to accelerate calculations: embedded NVIDIA Jetson TX2 (Maxwell architecture), mobile NVIDIA GeForce GTX 1050m (Pascal architecture) and efficient NVIDIA RTX 2070 (Turing architecture). Segmentation accuracy comparable to previously published works was obtained. Moreover, the use of a GPU platform allowed to get real-time image processing. In addition, the system has been adapted to work with two RGB-D sensors: RealSense D415 and D435 from Intel.Comment: 12 pages, 4 figures, submitted to KKA 2020 conferenc

Reconfgurable cryptographic accelerator

W artykule omówiono zastosowanie układów rekonfigurowalnych FPGA jako akceleratorów kryptograficznych - urządzeń, które mogą wykonywać operacje szyfrowania lub deszyfrowania danych szybciej i przy mniejszym zużyciu energii niż procesory ogólnego przeznaczenia, oferując jednocześnie dużą elastyczność oraz możliwość rozwoju i modyfikacji rozwiązania. W pierwszej części pracy przedstawiono budowę i zasoby dostępne we współczesnych układach FPGA, a w drugiej zaprezentowano implementację algorytmu kryptograficznego CLEFIA.This paper discusses the use of FPGA devices as cryptographic accelerators, which are able to perform the encryption or decryption operation faster and using less power than general-purpose processors while offering great flexibility and the ability to further develop and modify the design. In the first part, the structure and resources available in modern FPGAs are presented and in the second the implementation of the cryptographic algorithm CLEFIA is discussed

An embedded vision-based tracking system for autonomous robot navigation

In this paper, a prototype of an autonomous vehicle with an FPGA based computing system is described. It uses an ultrasonic sensor and a camera as sources of information about the surrounding environment. The vehicle is able to track an object selected by the operator (it does not need to be defined a-priori). In the proposed solution, the mean-shift algorithm is used. It has been adapted to operate in a pipeline, real-time vision system. The control unit is built of two PD controllers which determine the PWM ratio for the left and right DC drive. The whole system has been implemented on the Atlys development board with Spartan 6 FPGA device from Xilinx

Real-time FPGA implementation of disparity map calculation for a 3D video stream

W artykule opisano system umożliwiający odbieranie i przetwarzanie strumienia wideo w technologii 3D transmitowanego w standardzie HDMI (tryb side by side), co pozwala na współpracę z dostępnymi na rynku kamerami 3D. Zaproponowana architektura umożliwia implementację popularnych metod obliczania map dysparycji: m. in. SAD oraz opartych o transformatę Censusa, realizację sprawdzenia symetryczności mapy oraz filtrację medianową poprawiającą jakość wyników. W pracy omówiono budowę każdego z modułów, użycie zasobów FPGA, zużycie mocy, a także przykładowe rezultaty działania na płycie ewaluacyjnej VC707 z układem Virtex 7.In the paper a system for acquisition and processing of a 3D video stream is presented. It can work with 3D HDMI cameras available on the market. In Section 2 the basic concepts of stereovision systems are described [1]. In Section 3 three distance metrics, SAD [4], ZSAD and Census [5], used for correspondence matching are discussed. Evaluation of the matching process on the Middlebury dataset [2] is also presented. The best results were obtained for the SAD and ZSAD methods and greyscale images. In Table 1 there are shown three best configurations. Figure 1 illustrates the obtained disparity maps. A description of the hardware implementation is given in Section 4. The block diagram of the system is presented in Figure 2. The proposed solution is able to process images transmitted in side by side mode, to compute two disparity maps (left to right and right to left, method from [4]), to use SAD or ZSAD cost function, to check maps consistency and execute median filtering for final image processing. The described module is highly parameterizable: different cost functions, window sizes and disparity range can be used, image size and median filtering size can be adjusted. FPGA resource utilization is presented in Table 2. A picture of the working system is shown in Figure 3 (1280 x 720 @60 fps, real-time video-stream processing). The proposed module can be used for video surveillance, pedestrian collision avoidance systems or in autonomous vehicles

Parallel implementation of local thresholding in Mitrion-C

Mitrion-C based implementations of three image processing algorithms: a look-up table operation, simple local thresholding and Sauvola's local thresholding are described. Implementation results, performance of the design and FPGA logic utilization are discussed

Hardware implementation of the ViBe background subtraction method in FPGA

W artykule zaprezentowano implementację sprzętową nowatorskiego algorytmu odejmowania tła ViBe (ang. VIsual Background Extractor) w układzie rekonfigurowalnym FPGA. Metoda ta opiera się na odmiennej od dotychczas opisywanych i realizowanych koncepcji modelowania tła. W pracy dokonano oceny możliwości przeniesienia algorytmu na platformę sprzętową, pokazano dwie modyfikacje, które pozwoliły poprawić działanie metody oraz omówiono zrealizowany system sprzętowy. Według wiedzy autorów jest to pierwszy opis implementacji tego algorytmu w układzie FPGA.This paper presents a hardware implementation in the FPGA reconfigurable device of ViBe - a novel background subtraction algorithm. The method is based on a different, from those previously described and implemented, background modelling concept. It partly uses random numbers, which allowed us to significantly reduce the buffer size in relation to the standard methods like mean or median form a buffer. A detailed description of ViBe can be found in papers [6, 7, 8]. In this paper the role of background generation algorithms in image processing and analysis systems, with particular emphasis on hardware implementations is discussed (Section 1). The ViBe algorithm is described in Section 2. Then an analysis of the possibility of implementing ViBe in FPGA is presented (Section 3). Section 4 describes two proposed modifications: the use of the CIE Lab colour space and the enhanced flashing pixels detection method. Their desirability has been confirmed quantitatively using the "ChangeDetection" database [9]. A detailed description of the designed ViBe hardware module and image processing system is presented in Section 5. The scheme of the ViBe module is shown in Figure 5 and the whole system in Figure 4. Table 3 summarizes the hardware resource utilization. The proposed solution enables the detection of objects using the method ViBe and enables realtime processing of a colour 640 x 480 video stream at 60 frames per second. The obtained results confirm the high usefulness of FPGA in the implementation of advanced image processing and analysis algorithms

Implementacja detekcji obiektów ruchomych w czasie rzeczywistym w systemach nadzoru wizyjnego z wykorzystaniem układów FPGA

The article presents the concept of real-time implementation computing tasks in video surveillance systems. A pipeline implementation of a multimodal background generation algorithm for colour video stream and a moving objects segmentation based on brightness, colour and textural information in reconfigurable resources of FPGA device is described. System architecture, resource usage and segmentation results are presented.W artykule zaprezentowano koncepcję implementacji zadań obliczeniowych wykorzystywanych w systemach nadzoru wizyjnego w czasie rzeczywistym. Opisano implementację wielomodalnej metody generacji tła dla sekwencji wideo zarejestrowanych w kolorze oraz segmentację obiektów ruchomych z wykorzystaniem informacji o jasności, kolorze i teksturze w zasobach rekonfigurowalnych układów FPGA. Zaprezentowano architekturę systemu, zużycie zasobów i przykładowe rezultaty segmentacji

Reconfigurable video surveillance system for detecting intrusion into protected areas

W artykule opisano działający w czasie rzeczywistym sprzętowy system do detekcji naruszenia obszarów chronionych oparty o analizę obrazu kolorowego o rozdzielczości 640 x 480 zaimplementowany w zasobach rekonfigurowalnych układu FPGA. Składa się on z szeregu modułów: akwizycji obrazu, konwersji z przestrzeni barw RGB do CIE Lab, generacji tła z uwzględnieniem informacji o krawędziach, odejmowania tła, binaryzacji warunkowej, filtru medianowego, dylatacji morfologicznej, indeksacji jednoprzebiegowej, analizy położenia wykrytych obiektów oraz wizualizacji wyników. W pracy omówiono budowę każdego z modułów, zużycie zasobów FPGA, zużycie mocy, a także przykładowe rezultaty działania.In the paper a hardware implementation of an algorithm for detection of intrusion into protected areas is presented. The system is composed of several functional modules: colour space conversion from RGB to CIE Lab, Sobel gradient calculation, background generation (running average algorithm), moving object segmentation, median filtering, morphological dilation, connected component labeling integrated with analysis of the detected objects (area and bounding box determination) and visualization of the detection results. The most important features of the proposed solution are: use of the CIE Lab colour space which allows improving segmentation results and reducing the noise introduced by shadows; advanced segmentation which is based on integration of luminance, chrominance and edge information and a thresholding scheme using two thresholds; use of a one-pass connected component labeling and analysis algorithm and its FPGA implementation. The use of a high-end Virtex 6 FPGA device allowed obtaining real-time performance in processing a 640 x 480 colour video stream. The proposed system was tested on several sequences. The obtained results show that it detects correctly the intrusion into protected zones. The module could be used in a smart-camera design, where the image processing and analysis is integrated with the imaging sensor and a surveillance system operator receives only information about intrusion detection

Intelligent surveillance system for monitoring of important public spaces and buildings

Celem projektu realizowanego w Katedrze Automatyki jest stworzenie wydajnego narzędzia wspomagającego proces nadzoru przestrzeni i obiektów publicznych, w oparciu o automatyczną analizę obrazów cyfrowych. Przy założeniu szeroko pojętej ogólności zagrożeń, które mają być wykrywane, konstrukcja programu do automatycznego wspomagania nadzoru nie jest zagadnieniem trywialnym, ze względu na nieprzewidywalną wielowariantowość obserwowanych sytuacji. Opracowanie efektywnego systemu wymaga rozwiązania szeregu zagadnień, skomplikowanych od strony koncepcyjnej i trudnych w realizacji algorytmicznej. Zadaniem inteligentnego systemu wspomagania monitoringu jest wskazanie obsłudze systemu sytuacji potencjalnie podejrzanych z punktu widzenia przyjętych kryteriów bezpieczeństwa. W celu przezwyciężenia pojawiających się tu trudności tworzone są algorytmy, których działanie opiera się nie tylko na przetwarzaniu i analizie obrazów, ale także na próbach automatycznego rozumienia znaczenia obserwowanych scen, czyli imitowanych komputerowo elementach ludzkiego postrzegania i toku myślenia, związanego z ocenianym obrazem.The aim of the project realized in the Department of Automatics is to create an efficient tool to support the process of surveillance of public spaces and buildings based on automated image analysis. Assuming a wide scope of applications of developed tools, the design of the program to automatically support surveillance tasks is not a trivial problem, due to unforeseen circumstances and non-predicted situation. Developing an effective surveillance system requires addressing a number of issues, that are conceptually complex and require research and implementation of advanced algorithms. The goal of an intelligent monitoring system is to identify potentially suspicious circumstances according to assumed safety criteria. In order to overcome arising here difficulties there are created algorithms whose operation is based not only on processing and analyzing images, but also on imitating a human perception and understanding of the analyzed images