Journal of Real-Time Image Processing manuscript No. (will be inserted by the editor) Evaluation of real-time LBP computing in multiple architectures

Abstract Local Binary Pattern (LBP) is a texture operator that is used in several different computer vision applications requiring, in many cases, real-time operation in multiple computing platforms. The irruption of new video standards has increased the typical resolutions and frame rates, which need considerable computational performance. Since LBP is essentially a pixel operator that scales with image size, typical straightforward implementations are usually insufficient to meet these requirements. To identify the solutions that maximize the performance of the real-time LBP extraction, we compare a series different implementations in terms of computational performance and energy efficiency while analyzing the different optimizations that can be made to reach real-time performance on multiple platforms and their different available computing resources. Our contribution addresses the extensive survey of LBP implementations in different platforms that can be found in the literature. To provide for a more complete evaluation, we have implemented the LBP algorithms in several platforms such as Graphics Processing Units, mobile processors and a hybrid programming model image coprocessor. We have extended the evaluation of some of the solutions that can be found in previous work. In addition, we publish the source code of our implementations

Compact convolutional neural network cascadefor face detection

This paper presents a new solution to the frontal face detection problem based on a compact convolutional neural networks cascade. Test results on an FDDB dataset show that it is able to compete with state-of-the-art algorithms. This proposed detector is implemented using three technologies: SSE/AVX/AVX2 instruction sets for Intel CPUs, Nvidia CUDA, and OpenCL. The detection speed of our approach exceeds considerably all the existing CPUbased and GPU-based algorithms. Thanks to its high computational efficiency, our detector can process 4K Ultra HD video stream in real time (up to 27 fps) on mobile platforms while searching objects with a dimension of 60×60 pixels or higher. At the same time, its processing speed is almost independent of the background and the number of objects in a scene. This is achieved by asynchronous computation of stages in the cascade

Design And Implementation Of Fast Motion Estimation In Modern Video Compression On GPU

Motion estimation is the most compute expensive part of high definition video compression. It accounts for more than 50\% of overall execution. Therefore, improving the performance of motion estimation can make significant impact on the overall performance of video compression. The performance of motion estimation can be improved in two aspects: algorithm and implementation. This thesis touches both aspects. We first propose an innovative motion estimation algorithm by replacing the traditional block matching method which comparing blocks pixel by pixel with a brand new method which based on lbp (local binary pattern) code. Our new method first encodes the original video frames into lbp code and then compares the blocks only using the lbp code. Our algorithm reduces the amount of computation significantly by avoiding many pixel by pixel comparisons present in traditional block matching approaches. Using public benchmarks our experiments show our proposed motion estimation algorithm runs 5 times faster than a traditional algorithm. Furthermore, we accelerate our proposed algorithm on gpus. Motion estimation processes of all blocks are offloaded to gpu and accelerated in parallel. Our gpu implementation runs 9 times faster than cpu implementation

Deep Feature-based Face Detection on Mobile Devices

We propose a deep feature-based face detector for mobile devices to detect user's face acquired by the front facing camera. The proposed method is able to detect faces in images containing extreme pose and illumination variations as well as partial faces. The main challenge in developing deep feature-based algorithms for mobile devices is the constrained nature of the mobile platform and the non-availability of CUDA enabled GPUs on such devices. Our implementation takes into account the special nature of the images captured by the front-facing camera of mobile devices and exploits the GPUs present in mobile devices without CUDA-based frameorks, to meet these challenges.Comment: ISBA 201

Accelerating Face Anti-Spoofing Algorithms

Tato práce se specializuje na akceleraci algoritmu z oblasti obličejově zaměřených anti-spoofing algoritmů s využitím grafického hardware jakožto platformy pro paralelní zpracování dat. Jako framework je použita technologie OpenCL která umožňuje použití od výkoných stolních počítačů po přenosná zařízení, od různých akcelerátorů jako grafické čipy, či ASIC až po procesory typu x86 bez vazby na konkrétního výrobce či operační systém. Autor předkládá čtenáři rozbor a akcelerovanou implementaci široce používaného algoritmu a dopadu urychlení výpočtu.This thesis is specializes on algorithm acceleration from the field of face-based anti-spoofing. Graphics hardware is used as platform for data-parallel processing. As framework, the OpenCL is used. It allows execution on devices such as powerful desktop computers or hand-held devices as well as usage of different kind of processing units such as GPU, ASIC or CPU without any bound to hardware vendor or operating system. Author presents to reader analysis and accelerated implementation of widely used algorithm and impact of such improvement in execution time.

Fast Face Detection And Recognition On Graphics Processing Units

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2012Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2012Bu çalışmada, iteleme tabanlı bir yüz saptama algoritması ile nitelik tabanlı bir yüz tanıma algoritması yoğun bir şekilde paralelleştirilmiş ve bir GİB (Grafik İşlem Birimi) üzerinde çalışmak üzere geliştirilmiştir. Bu algoritmaların tüm adımları GİB mimarisine uygun şekilde paralelleştirilmiş ve CUDA (Compute Unified Device Architecture) platformu kullanılarak gerçeklenmiştir. Alternatif paralelleştirme yöntemlerinden ve bu yöntemlerdeki problemlerden de bahsedilmiştir. Karşılaştırma amacıyla, aynı algoritmaların bir MİB (Merkezi İşlem Birimi) üzerinde çalışan sürümleri de gerçeklenmiştir. Gerçeklenen algoritmaların hız ve başarımları karşılaştırılmıştır. Yüz saptama algoritması için karşılaştırma işlemi, hem sabit görüntüler, hem de 5 farklı çözünürlükteki video akışları üzerinde yapılmıştır. Yüz tanıma algoritması için karşılaştırmalar ise, farklı nitelik yöneyi uzunlukları ve veritabanı boyuları için yapılmıştır. Karşılaştırma sonuçları, grafik işlemcinin, MİB ile aynı sonuçları üretmekle birlikte, işlemleri çok daha hızlı bitirdiğini göstermiştir. GİB ile MİB arasında hız farkının çözünürlük, nitelik yöneyi boyutu ve veritabanı büyüklüğü ile birlikte arttığı görülmüştür. Bu sonuçlar, grafik işlemcilerin bu algoritmalar için özellikle fazla veri işlenmesi gereken durumlarda çok daha uygun olduğunu göstermektedir.Bu çalışmada, iteleme tabanlı bir yüz saptama algoritması ile nitelik tabanlı bir yüz tanıma algoritması yoğun bir şekilde paralelleştirilmiş ve bir GİB (Grafik İşlem Birimi) üzerinde çalışmak üzere geliştirilmiştir. Bu algoritmaların tüm adımları GİB mimarisine uygun şekilde paralelleştirilmiş ve CUDA (Compute Unified Device Architecture) platformu kullanılarak gerçeklenmiştir. Alternatif paralelleştirme yöntemlerinden ve bu yöntemlerdeki problemlerden de bahsedilmiştir. Karşılaştırma amacıyla, aynı algoritmaların bir MİB (Merkezi İşlem Birimi) üzerinde çalışan sürümleri de gerçeklenmiştir. Gerçeklenen algoritmaların hız ve başarımları karşılaştırılmıştır. Yüz saptama algoritması için karşılaştırma işlemi, hem sabit görüntüler, hem de 5 farklı çözünürlükteki video akışları üzerinde yapılmıştır. Yüz tanıma algoritması için karşılaştırmalar ise, farklı nitelik yöneyi uzunlukları ve veritabanı boyuları için yapılmıştır. Karşılaştırma sonuçları, grafik işlemcinin, MİB ile aynı sonuçları üretmekle birlikte, işlemleri çok daha hızlı bitirdiğini göstermiştir. GİB ile MİB arasında hız farkının çözünürlük, nitelik yöneyi boyutu ve veritabanı büyüklüğü ile birlikte arttığı görülmüştür. Bu sonuçlar, grafik işlemcilerin bu algoritmalar için özellikle fazla veri işlenmesi gereken durumlarda çok daha uygun olduğunu göstermektedir.Yüksek LisansM.Sc

Open source face recognition API

Face recognition applications are widely used today for a variety of tasks, whether personal or professional. When looking for a service that provides face detection and classification, it is easy to find several solutions. In this project another way is described so that it is possible to perform this task according to the desired needs without the need to use proprietary software. With the emergence of the Django Rest Frame Work, web application development has become easier. This work describes development of stable foundation and features that offer an administration panel, relational database management, and support for a Restful Application Programming Interface (API). This takes advantage of the exclusive use of Open Source technologies thus the application code can be modified and distributed free of charge. For the development of an API that could perform detection and facial recognition, applying an Open Source philosophy, in addition to Django Rest Framework technologies such as Python, C++, MySql and JSON were used. The prototype is initially capable of recognizing the number of faces per image, assessing eyes, smile, age and gender. Flexibility is designed to increase application capabilities with new algorithms implemented in various programing languages.Atualmente, as aplicações de reconhecimento de facial são amplamente utilizadas para uma variedade de tarefas, pessoais ou profissionais. Ao procurarmos um serviço que forneça deteção e classificação de rosto, é fácil encontrar várias soluções. Neste projeto, é descrita outra maneira para que seja possível executar esta tarefa de acordo com as necessidades desejadas, sem a necessidade de usar software proprietário. Com o surgimento do Django Rest Framework, o desenvolvimento de aplicações web ficou mais fácil. Este trabalho descreve o desenvolvimento de bases e recursos estáveis que oferecem um painel de administração, gestão de uma base de dados relacional e o suporte para uma API (Application Programming Interface) Restful. Ao tirar proveito do uso exclusivo de tecnologias Open Source, é permitido que o código possa ser modificado e distribuído gratuitamente. Para o desenvolvimento de uma API que pudesse realizar a deteção e o reconhecimento facial, aplicando uma filosofia Open Source, para além da tecnologia Django Rest Framework foram utilizadas tecnologias como Python, C ++, MySql e JSON. O protótipo é inicialmente capaz de reconhecer o número de rostos por imagem, e avaliar olhos, sorriso, idade e sexo. Mas para além disso, foi projetada flexibilidade para aumentar os recursos através da implementação de novos algoritmos em várias linguagens de programação