High-resolution FPGA-based image processing

W publikacji przedstawiono zarys problematyki akwizycji i transmisji obrazu wysokiej rozdzielczości. Omówiono architekturę kompleksowych systemów przetwarzania obrazów w kontekście implementacji w układach FPGA. Poruszono tematykę architektury toru wizyjnego. Pokazano zaproponowany i zestawione stanowisko do analizy obrazów wysokiej rozdzielczości. Pokazano osiągnięte rezultaty, wskazując na wysoką, możliwą do osiągnięcia wydajność układu FPGA jako procesora wizyjnego.The paper presents an outline of HD image acquisition and transmis-sion. Attention is paid to the video signal of high bit rate, transmitted from the digital video camera as a data stream. Interfaces between digital video cameras and accelerators card for image processing are listed. The paper discusses the architecture of complex, image processing, reconfigurable, FPGA-based systems. The author draws attention to the changing nature of calculations during the transition from image processing to image analysis. There is proposed a strategy for integration in FPGA both pipelined MISD (Multiple Instruction Streams Single Data Stream) architecture and MIMD (Multiple Instruction Streams Multiple Data Streams) parallel system for implementing calculations in a homogenous computing environment of FPGA resources. There is proposed a laboratory stand consisting of a set of devices for high-resolution image acquisition and processing using the Camera Link. There are given the experiment results. It should be noted that the actual bus throughput significantly differs from the maximum values defined in the specifications of the used standards. There are shown the limitations of communication interfaces used, whereas at the same time there is emphesized the high, achievable performance of the FPGA as a video processor

FPGA Imaging System In Biocybernetics Lab

W artykule przedstawiono tematykę badań naukowych dotyczących implementacji systemów obrazowych FPGA, prowadzonych w Laboratorium Biocybernetyki Katedry Automatyki AGH. Pokazano główne kierunki badań na świecie i dokonano przeglądu literatury w zakresie implementacji przetwarzania i analizy obrazów w układach FPGA. Na tym tle pokazano prace wykonane w Laboratorium Biocybernetyki, wskazując na istotny aspekt energooszczędności implementacji FPGA.The paper presents the research topics concerning the implementation of FPGA imaging systems, conducted at the Biocybernetics Laboratory of Department of Automatics AGH-University of Science and Technology. Shows the main directions of research in the world and an overview of the literature in the field of FPGA-based image processing and analysis. On this background showing the work done at the Biocybernetics Laboratory, pointing to an important aspect of energy efficiency at FPGA systems

Hardware implementation of the ViBe background subtraction method in FPGA

W artykule zaprezentowano implementację sprzętową nowatorskiego algorytmu odejmowania tła ViBe (ang. VIsual Background Extractor) w układzie rekonfigurowalnym FPGA. Metoda ta opiera się na odmiennej od dotychczas opisywanych i realizowanych koncepcji modelowania tła. W pracy dokonano oceny możliwości przeniesienia algorytmu na platformę sprzętową, pokazano dwie modyfikacje, które pozwoliły poprawić działanie metody oraz omówiono zrealizowany system sprzętowy. Według wiedzy autorów jest to pierwszy opis implementacji tego algorytmu w układzie FPGA.This paper presents a hardware implementation in the FPGA reconfigurable device of ViBe - a novel background subtraction algorithm. The method is based on a different, from those previously described and implemented, background modelling concept. It partly uses random numbers, which allowed us to significantly reduce the buffer size in relation to the standard methods like mean or median form a buffer. A detailed description of ViBe can be found in papers [6, 7, 8]. In this paper the role of background generation algorithms in image processing and analysis systems, with particular emphasis on hardware implementations is discussed (Section 1). The ViBe algorithm is described in Section 2. Then an analysis of the possibility of implementing ViBe in FPGA is presented (Section 3). Section 4 describes two proposed modifications: the use of the CIE Lab colour space and the enhanced flashing pixels detection method. Their desirability has been confirmed quantitatively using the "ChangeDetection" database [9]. A detailed description of the designed ViBe hardware module and image processing system is presented in Section 5. The scheme of the ViBe module is shown in Figure 5 and the whole system in Figure 4. Table 3 summarizes the hardware resource utilization. The proposed solution enables the detection of objects using the method ViBe and enables realtime processing of a colour 640 x 480 video stream at 60 frames per second. The obtained results confirm the high usefulness of FPGA in the implementation of advanced image processing and analysis algorithms

Implementacja detekcji obiektów ruchomych w czasie rzeczywistym w systemach nadzoru wizyjnego z wykorzystaniem układów FPGA

The article presents the concept of real-time implementation computing tasks in video surveillance systems. A pipeline implementation of a multimodal background generation algorithm for colour video stream and a moving objects segmentation based on brightness, colour and textural information in reconfigurable resources of FPGA device is described. System architecture, resource usage and segmentation results are presented.W artykule zaprezentowano koncepcję implementacji zadań obliczeniowych wykorzystywanych w systemach nadzoru wizyjnego w czasie rzeczywistym. Opisano implementację wielomodalnej metody generacji tła dla sekwencji wideo zarejestrowanych w kolorze oraz segmentację obiektów ruchomych z wykorzystaniem informacji o jasności, kolorze i teksturze w zasobach rekonfigurowalnych układów FPGA. Zaprezentowano architekturę systemu, zużycie zasobów i przykładowe rezultaty segmentacji

A reconfigurable image acquisition and transmission module for video surveillance systems

W artykule opisano działający w czasie rzeczywistym sprzętowy moduł do odbioru strumienia wizyjnego z kamery HDMI, zmiany rozdzielczości obrazu oraz dalszej jego transmisji przy wykorzystaniu sieci Ethernet (1 Gbps). Aby możliwe było ograniczenie kosztów oraz wykorzystanie zaprezentowanego modułu w urządzeniach wbudowanych, na żadnym etapie przetwarzania nie jest wykorzystywane buforowanie danych w zewnętrznej pamięci. W ramach prac zostało przebadane, jak parametry transmisji (rozmiar obrazu, maksymalny rozmiar pakietów) wpływają na jej przepustowość. Omówiono budowę każdego z modułów, zużycie zasobów FPGA całego systemu, rozpraszanie mocy, a także przykładowe rezultaty działania na płycie ewaluacyjnej SP605 firmy Xilinx.Automated video surveillance systems are an important means of providing security. In projects such as SIMPOZ, INDECT or VIRAT the main tendency was to replace the human operator in a tedious task of video analysis. Because computer vision algorithms demand a lot of computational power, reconfigurable devices are often used for this type of applications. In the paper a module for video acquisition and transmission for a reconfigurable device is presented. It is the basic component of a reconfigurable based video surveillance system. An FMC card is used to allow FPGA to receive a video from the HDMI source (other FMC cards can be used if needed). In the next step, the image is streamed to module which scale it down. This operation is necessary to meet the bandwidth of transmission media and other modules processing capabilities. A hardware module provides Ethernet communication with 1 Gbps speed. Packet forming, checksum computation, ARP requests, IP and UDP protocols are realized in hardware using several finite state machines. The images or data obtained from analysis are transferred in UDP packets. The proposed system can process both grayscale and color images. The idea was verified using the Xilinx SP605 board with a low power Spartan 6 device

Parallel implementation of local thresholding in Mitrion-C

Mitrion-C based implementations of three image processing algorithms: a look-up table operation, simple local thresholding and Sauvola's local thresholding are described. Implementation results, performance of the design and FPGA logic utilization are discussed

A new architecture of the FPGA-based embedded vision system dedicated for smart cameras

W artykule przedstawiono przegląd wybranych metod podłączenia kamer z interfejsem cyfrowym do systemów mikroprocesorowych lub rekonfigurowalnych, z podziałem na systemy z komputerem nadrzędnym oraz na tzw. smart camera. W drugim przypadku konieczne jest zadbanie o odpowiednią architekturę odpowiedzialną za przesłanie zarejestrowanego obrazu do jednostek obliczeniowych. Zaprezentowano rozwijany system oparty o układ FPGA, o nowatorskiej architekturze, zawierający dwa sensory CMOS i rozbudowany układ pamięci zewnętrznych, mogący służyć do realizacji specyficznych zadań przetwarzania obrazów.Embedded vision systems are becoming more popular. A smart camera consists of an image sensor and a computing unit processing the image. Integration of many new functions in vision systems is now possible due to progress of resources of FPGA devices. A new vision system device presented in this paper is unique with regard to its architecture. The main goal during development of this smart camera was to provide it with a possibly large number of memory banks for storing image data, while keeping compact dimensions and low price. In the presented system there was chosen processing of monochromatic images, so significant reduction in the width of memory data buses was obtained. Thanks to that, up to eight fully independent memory banks was connected to the FPGA device. The second assumption was usage of static memories, which decided in favour of large functionality of the device, because very fast data transfer from random address location was then possible. This meets requirements of image processing algorithms, which is computing data in Region of Interest, for example

Reconfigurable video surveillance system for detecting intrusion into protected areas

W artykule opisano działający w czasie rzeczywistym sprzętowy system do detekcji naruszenia obszarów chronionych oparty o analizę obrazu kolorowego o rozdzielczości 640 x 480 zaimplementowany w zasobach rekonfigurowalnych układu FPGA. Składa się on z szeregu modułów: akwizycji obrazu, konwersji z przestrzeni barw RGB do CIE Lab, generacji tła z uwzględnieniem informacji o krawędziach, odejmowania tła, binaryzacji warunkowej, filtru medianowego, dylatacji morfologicznej, indeksacji jednoprzebiegowej, analizy położenia wykrytych obiektów oraz wizualizacji wyników. W pracy omówiono budowę każdego z modułów, zużycie zasobów FPGA, zużycie mocy, a także przykładowe rezultaty działania.In the paper a hardware implementation of an algorithm for detection of intrusion into protected areas is presented. The system is composed of several functional modules: colour space conversion from RGB to CIE Lab, Sobel gradient calculation, background generation (running average algorithm), moving object segmentation, median filtering, morphological dilation, connected component labeling integrated with analysis of the detected objects (area and bounding box determination) and visualization of the detection results. The most important features of the proposed solution are: use of the CIE Lab colour space which allows improving segmentation results and reducing the noise introduced by shadows; advanced segmentation which is based on integration of luminance, chrominance and edge information and a thresholding scheme using two thresholds; use of a one-pass connected component labeling and analysis algorithm and its FPGA implementation. The use of a high-end Virtex 6 FPGA device allowed obtaining real-time performance in processing a 640 x 480 colour video stream. The proposed system was tested on several sequences. The obtained results show that it detects correctly the intrusion into protected zones. The module could be used in a smart-camera design, where the image processing and analysis is integrated with the imaging sensor and a surveillance system operator receives only information about intrusion detection