Real time architectures for the scale Invariant feature transform algorithm

Feature extraction in digital image processing is a very intensive task for a CPU. In order to achieve real time image throughputs, hardware parallelism must be exploited. The speed-up of the system is constrained by the degree of parallelism of the implementation and this one at the same time, by programmable device size and the power dissipation. In this work, issues related to the synthesis of the Scale-Invariant Feature Transform (SIFT) algorithm on a FPGA to obtain target processing rates faster than 50 frames per second for VGA images, are analyzed. In order to increase the speedup of the algorithm, the work includes the analysis of feasible simplifications of the algorithm for a tracking application and the results are synthesized on an FPGA.This work has been partially funded by Spanish government projects TEC2015-66878-C3-2-R (MINECO/FEDER, UE) and TEC2015- 66878-C3-3-R (MINECO/FEDER, UE)

Nuclei Detection and Classification System Based On Speeded Up Robust Feature (SURF)

Tumors contain a high degree of cellular heterogeneity. Various type of cells infiltrate the organs rapidly due to uncontrollable cell division and the evolution of those cells. The heterogeneous cell type and its quantity in infiltrated organs determine the level maglinancy of the tumor. Therefore, the analysis of those cells through their nuclei is needed for better understanding of tumor and also specify its proper treatment. In this paper, Speeded Up Robust Feature (SURF) is implemented to build a system that can detect the centroid position of nuclei on histopathology image of colon cancer. Feature extraction of each nuclei is also generated by system to classify the nuclei into two types, inflammatory nuclei and non-inflammatory nuclei. There are three classifiers that are used to classify the nuclei as performance comparison, those are k-Nearest Neighbor (k-NN), Random Forest (RF), and State Vector Machine (SVM). Based on the experimental result, the highest F1 score for nuclei detection is 0.722 with Determinant of Hessian (DoH) thresholding = 50 as parameter. For classification of nuclei, Random Forest classifier produces F1 score of 0.527, it is the highest score as compared to the other classifier

FPGA synthesis of an stereo image matching architecture for autonomous mobile robots

This paper describes a hardware proposal to speed up the process of image matching in stereo vision systems like those employed by autonomous mobile robots. This proposal combines a classical window-based matching approach with a previous stage, where key points are selected from each image of the stereo pair. In this first step the key point extraction method is based on the SIFT algorithm. Thus, in the second step, the window-based matching is only applied to the set of selected key points, instead of to the whole images. For images with a 1% of key points, this method speeds up the matching four orders of magnitude. This proposal is, on the one hand, a better parallelizable architecture than the original SIFT, and on the other, a faster technique than a full image windows matching approach. The architecture has been implemented on a lower power Virtex 6 FPGA and it achieves a image matching speed above 30 fps.This work has been funded by Spanish government project TEC2015-66878-C3-2-R (MINECO/FEDER, UE)

Domain-Specific Optimisations for Image Processing on FPGAs

Image processing algorithms on FPGAs have increasingly become more pervasive in real-time vision applications. Such algorithms are computationally complex and memory intensive, which can be severely limited by available hardware resources. Optimisations are therefore necessary to achieve better performance and efficiency. We hypothesise that, unlike generic computing optimisations, domain-specific image processing optimisations can improve performance significantly. In this paper, we propose three domain-specific optimisation strategies that can be applied to many image processing algorithms. The optimisations are tested on popular image-processing algorithms and convolution neural networks on CPU/GPU/FPGA and the impact on performance, accuracy and power are measured. Experimental results show major improvements over the baseline non-optimised versions for both convolution neural networks (MobileNetV2 & ResNet50), Scale-Invariant Feature Transform (SIFT) and filter algorithms. Additionally, the optimised FPGA version of SIFT significantly outperformed an optimised GPU implementation when energy consumption statistics are taken into account

Domain-Specific Optimisations for Image Processing on FPGAs

Image processing algorithms on FPGAs have increasingly become more pervasive in real-time vision applications. Such algorithms are computationally complex and memory intensive, which can be severely limited by available hardware resources. Optimisations are therefore necessary to achieve better performance and efficiency. We hypothesise that, unlike generic computing optimisations, domain-specific image processing optimisations can improve performance significantly. In this paper, we propose three domain-specific optimisation strategies that can be applied to many image processing algorithms. The optimisations are tested on popular image-processing algorithms and convolution neural networks on CPU/GPU/FPGA and the impact on performance, accuracy and power are measured. Experimental results show major improvements over the baseline non-optimised versions for both convolution neural networks (MobileNetV2 & ResNet50), Scale-Invariant Feature Transform (SIFT) and filter algorithms. Additionally, the optimised FPGA version of SIFT significantly outperformed an optimised GPU implementation when energy consumption statistics are taken into account

Segmentación automática de vídeos de endoscopias

La automatización de ciertos procesos médicos es un tema muy estudiadoactualmente, por las muchas posibilidades y beneficios que suponen a la horade detectar enfermedades de riesgo o de mejorar distintos tratamientos y operaciones. La realización de endoscopias es un proceso que ya incluye cierto usode tecnología por medio de los endoscopios. Anadir un mayor nivel de automatización en estos procedimientos seria muy útil para reducir riesgos o mejorarel diagnostico. Para ello es necesario analizar estos procedimientos, creando unconjunto de datos sobre endoscopias reales que se puedan estudiar y procesarde manera sistemática. Recopilar grandes cantidades de datos reales supone distintos retos porsus características. Para ello se ha desarrollado un sistema de segmentación de endoscopias capaz de mejorar la calidad ydescubrir de forma automática información útil de estas grabaciones. Un sistema de descripción de imágenes automático utilizado para detectar el inicio y el final del procedimiento real de la endoscopia. Como resultado, se ha conseguido separar esta parte relevante y descartarlos datos inútiles de la secuencia original. Esto resulta esencial para no almacenar partes no necesarias ya que ocupan una cantidad de espacio importante ysu uso resulta más sencillo.Por otra parte, se ha creado otro sistema que permite detectar diferentespatrones y características de las imágenes de la endoscopia. Para esto, seha entrenado un modelo de deep learning de forma no supervisada con técnicasde aprendizaje por contraste. Con los resultados obtenidos se comprobó que elmodelo es capaz de separar las imágenes que no pertenecen a las endoscopias,pudiendo utilizarse para realizar también el trabajo del primer prototipo. Perolo más interesante, además es capaz de separar muchos eventos relevantes queocurren a lo largo de toda la grabación, siendo útil para otras tareas como eletiquetado en secciones o la eliminación de imágenes no informativas.<br /

A Novel Hardware Architecture for Real Time Extraction of Local Features

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2016. 8. 이혁재.컴퓨팅 성능의 비약적인 발전과 보급은 컴퓨터 기술의 적용 분야를 데스크탑에서 스마트폰, 스마트 TV, 승용차 등에 이르기까지 폭넓은 범위로 넓히는 결과를 야기했다. 변화된 환경에서 대중은 기존에 없었던 좀 더 혁신적인 기능을 받아들일 준비가 되었고, 이에 부합하기 위해 Computer vision 기술은 점차 상용화의 길을 걷게 되었다. 물체 인식 및 추적, 3D reconstruction 등 폭넓게 응용될 수 있는 computer vision 기술들은 서로 다른 영상 사이에서 동일한 pixel을 찾는 image matching 기술을 필요로 한다. 관련 연구들 중 영상의 크기가 변하거나 회전하여도 안정적으로 matching이 가능한 Scale- Invariant Feature Transform (SIFT) 알고리즘이 제안되었고, 이후 카메라의 viewpoint 변화에도 강인한 Affine Invariant Extension of SIFT (ASIFT) 알고리즘이 제안되었다. SIFT 및 ASIFT 알고리즘은 image matching의 안정성이 높은 반면 많은 연산량을 요구한다. 이를 실시간 처리하기 위해 specifically designed hardware을 이용한 연산 가속 연구가 진행되고 있다. 본 논문에서는 실시간 (30frames/sec)으로 동작 가능한 ASIFT 하드웨어 구조를 제안한다. 이를 위해 첫번째로 SIFT feature를 실시간으로 연산 할 수 있는 SIFT 하드웨어 구조를 제안한다. SIFT 알고리즘은 널리 사용되는 만큼 많은 수의 가속 하드웨어 구조가 연구되었다. 대부분의 기존 SIFT 하드웨어는 실시간성을 충족시키지만, 이를 위해 과도하게 많은 내부 메모리를 사용하여 하드웨어 비용을 크게 증가시켰다. 이 이슈 사항으로 인해 내부 메모리와 외부 메모리를 혼용하는 새로운 SIFT 하드웨어 구조가 제안되었다. 이 경우 빈번한 외부 메모리 사용은 외부 메모리 latency로 인한 동작 속도 저하 문제를 일으킨다. 본 논문은 이 문제를 해결하기 위해 외부 메모리에서 읽어온 데이터 재사용 방안과, 외부 메모리에 저장하는 데이터에 대한 down-sampling 및 less significant bits 제거를 통한 데이터량 감소 방안을 제안한다. 제안하는 SIFT 하드웨어는 Gaussian image를 외부 메모리에 저장하며, 이 경우 descriptor 생성을 위해 local-patch를 읽어오는데 많은 외부 메모리 접근이 발생한다. 이를 저감하기 위해, 서로 다른 local-patch 상의 중복 데이터를 재사용하는 방안과 이를 위한 하드웨어 구조를 제시한다. 또한 Gaussian image의 데이터량 자체를 줄이기 위해 down-sampling 및 less significant bits 제거 방안을 이용한다. 이때 SIFT 알고리즘의 정확도 감소를 최소화하였다. 결과적으로 본 논문은 기존 state-of-the-art SIFT 하드웨어의 10.93% 크기의 내부 메모리만 사용하며, 3300개의 key-point에 대해 30 frames/sec (fps)의 속도로 동작 가능하다. ASIFT 알고리즘 연산을 고속으로 수행하기 위해서는 SIFT 하드웨어에 affine transform된 영상을 제공하는 affine transform 하드웨어가 delay 없이 데이터를 제공할 수 있어야 한다. 하지만 일반적인 affine transform 연산 방식을 이용할 경우 affine transform 하드웨어는 외부 메모리에서 원본 영상을 읽어 올 때 불연속적인 주소로 접근하게 된다. 이는 외부 메모리 latency를 발생시키며 affine transform module이 충분한 데이터를 SIFT 하드웨어에 공급해주지 못하는 문제를 야기한다. 이 문제를 해결하기 위하여 본 논문은 SIFT feature의 rotation-invariant한 특성을 이용하여, affine transform 연산 방식을 변경하였다. 이 방식은 ASIFT 알고리즘이 취하는 모든 affine transform 연산을 수행할 때 연속된 외부 메모리 주소로 입력 영상을 접근할 수 있게 해준다. 이를 통해 불필요한 외부 메모리 latency가 크게 감소된다. 제안된 affine transform 연산 방식은 원본 영상을 scaling한 뒤 skewing하는 연산 과정을 거친다. 본 논문은 이 과정에서 scaling된 영상 데이터를 서로 다른 affine transform 연산에 재활용하는 방법을 제안한다. 이는 scaling 연산량을 감소시킬 뿐 만 아니라 외부 메모리 접근량도 감소시킨다. 제안된 방안들로 인한 affine transform 하드웨어의 속도 향상은 SIFT 하드웨어에 대기 없이 데이터를 공급할 수 있게 해주고, 최종적으로 utilization 향상을 통한 ASIFT 하드웨어의 동작 속도 향상에 기여한다. 결과적으로 본 논문에서 제안하는 ASIFT 하드웨어는 높은 utilization으로 동작이 가능하며, 이로 인해 2,500개의 key- point가 검출되는 영상에 대하여 30fps의 동작 속도로 ASIFT 알고리즘을 수행할 수 있다.제 1 장 서론 1 1.1 연구 배경 1 1.2 연구 내용 4 1.3 논문 구성 6 제 2 장 이전 연구 소개 및 문제 제시 7 2.1 SIFT 알고리즘 및 연산 가속화 기술 7 2.1.1 Scale-Invariant Feture Transform (SIFT) 7 2.1.2 기존 SIFT 연산 가속화 연구 및 문제점 16 2.2 ASIFT 알고리즘 및 연산 가속화 기술 19 2.2.1 Scale-Invariant Feture Transform (SIFT) 19 2.2.2 기존 SIFT 연산 가속화 연구 23 2.3 실시간 ASIFT 하드웨어 구현을 위한 연구 방향 24 제 3 장 외부 메모리 bandwidth 저감된 SIFT 하드웨어 구조 26 3.1 외부 메모리에 저장될 SIFT 연산의 중간 데이터 고찰 26 3.2 외부 메모리 bandwidth를 줄이기 위한 방안 31 3.2.1 Local-patch 재사용 방안 31 3.2.2 Local-patch down sampling 방안 44 3.2.3 Gaussian image의 less significant bit 제거 47 3.2.4 Bandwidth 최적화 방안이 적용된 SIFT 하드웨어 구조 50 3.3 SIFT 하드웨어에 대한 실험 결과 55 3.3.1 SIFT 하드웨어의 스펙 55 3.3.2 외부 메모리 bandwidth 요구량 분석 57 3.3.3 동작 속도 60 3.3.4 Feature matching 정확도 64 제 4 장 ASIFT 하드웨어 구조 68 4.1 ASIFT 하드웨어에 적합한 affine transform 방식 68 4.1.1 새로운 affine transform 방식 68 4.1.2 내부 image buffer의 메모리 공간 최적화 74 4.2 ASIFT 하드웨어의 구조 78 4.2.1 기본 하드웨어 구조 및 scaling 연산 재사용 78 4.2.2 Affine transform parameter의 구성 81 4.2.3 ASIFT 하드웨어 구조 설명 85 4.3 ASIFT 하드웨어에 대한 실험 결과 89 4.3.1 새 affine transform 방식에 의한 메모리 latency 감소 89 4.3.2 Affine transform module의 출력 bandwidth 향상 91 4.3.3 ASIFT 하드웨어의 스펙과 동작 속도 93 4.3.4 Feature matching 정확도 95 제 5 장 결론 104 참고 문헌 106 Abstract 109Docto

Desarrollo de algoritmos para la localización de vehículos autónomos mediante visual odometry

En este documento se investigan diferentes métodos utilizados en el campo de la visión con el objetivo de mejorar y aportar nueva información en el desarrollo de un sistema de percepción robusto basado en la fusión de distintos sensores mediante el análisis de la información obtenida de las imágenes a través de las cámaras posicionadas en el vehículo autónomo. Para ello, se realizará un estudio de fotogramas consecutivos, que permitirá comprender el desplazamiento relativo del vehículo entre dos imágenes consecutivas. Es decir, se debe obtener suficiente información para que el algoritmo pueda proporcionar el ángulo de giro y el desplazamiento relativo (longitudinal y lateral) del automóvil autónomo entre dos fotogramas consecutivos.Dokumentu honetan ikusmenaren eremuan erabilitako hainbat metodo ikertzen dira, pertzepzio-sistema sendo baten garapenean informazio berria emateko eta hobetzeko. Sistema hori sentsore desberdinen fusioan oinarritzen da, non ibilgailu autonomoan kokatutako kameren irudietatik lortutako informazioa aztertuko da. Horretarako, ondoz ondoko fotogramen azterketa egingo da, ibilgailua ondoz ondoko bi irudiren artean nola mugitzen den ulertzeko. Hau da, informazio nahikoa lortu behar da algoritmoak auto autonomoaren biraketa-angelua eta desplazamendu erlatiboa (luzetarakoa eta albokoa) eman ahal izateko elkarren segidako bi fotogramen artean.This paper investigates different methods used in the field of vision with the aim of improving and providing new information in the development of a robust perception system based on the fusion of different sensors by analysing the information obtained from the images through the cameras positioned in the autonomous vehicle. For this purpose, a study of consecutive frames will be carried out, which will allow understanding the relative displacement of the vehicle between two consecutive images. In other words, enough information must be obtained for the algorithm to be able to provide the yaw angle and the relative displacement (longitudinal and lateral) of the autonomous car between two consecutive frames