Fast Normalized Cross-Correlation for Template Matching with Rotations

Normalized cross-correlation is the reference approach to carry out template matching on images. When it is computed in Fourier space, it can handle efficiently template translations but it cannot do so with template rotations. Including rotations requires sampling the whole space of rotations, repeating the computation of the correlation each time. This article develops an alternative mathematical theory to handle efficiently, at the same time, rotations and translations. Our proposal has a reduced computational complexity because it does not require to repeatedly sample the space of rotations. To do so, we integrate the information relative to all rotated versions of the template into a unique symmetric tensor template -which is computed only once per template-. Afterward, we demonstrate that the correlation between the image to be processed with the independent tensor components of the tensorial template contains enough information to recover template instance positions and rotations. Our proposed method has the potential to speed up conventional template matching computations by a factor of several magnitude orders for the case of 3D images

Join, select, and insert: efficient out-of-core algorithms for hierarchical segmentation trees

Binary Partition Hierarchies (BPH) and minimum spanning trees are fundamental data structures involved in hierarchical analysis such as quasi-flat zones or watershed. However, classical BPH construction algorithms require to have the whole data in memory, which prevent the processing of large images that cannot fit entirely in the main memory of the computer. To cope with this problem, an algebraic framework leading to a high level calculus was introduced allowing an out-of-core computation of BPHs. This calculus relies on three operations: select, join, and insert. In this article, we introduce three efficient algorithms to perform these operations providing pseudo-code and complexity analysis

Demosaicing and denoising methods and algorithms for digital photography

Ces dernières années, les appareils photos/vidéos numériques grand public sont devenus omniprésents. On peut aujourd’hui trouver des systèmes de captures d’images dans toutes sortes d’appareils numériques comme les téléphones portables, les assistants personnels numériques etc. Malgré une augmentation croissante de la puissance et de la complexité de ces appareils, laqualité de la chaîne de capture d’image, composée du couple système optique/capteur est toujours contrainte à des limitations d’espace et de coût. Les défauts introduits sont nombreuxet dégradent considérablement la qualité des images produites : flou, déformations géométriques, artefacts de couleurs, effets de moire, bruits statiques et dynamiques, etc. Une idée intéressante est de corriger ces défauts de manière algorithmique en utilisant la puissance toujours croissante des architectures de traitements. Dans cette thèse nous nous intéressons particulièrement à deux problèmes issues de l’acquisition de l’image par le capteur : le dématriçage de la matrice de Bayer et la réduction du bruit. Dans la première partie, nous décrivons la structure générale de la chaîne de capture d’image dans les appareils photos/vidéos numériques. Nous présentons le rôle, le fonctionnement et les défauts introduits par chacun de ses éléments. Enfin, nous illustrons comment ces défauts peuvent être corriges par des traitements algorithmiques. Dans la deuxième partie, nous montrons comment l’information de couleur est introduite dans les capteurs numériques. Nous présentons ensuite un état de l’art des algorithmes de dématriçage. Un nouvel algorithme de reconstruction de la matrice de Bayer base sur le principe de l’interpolation directionnelle est propose. Il permet d’associer une qualité d’image produite sans artefacts avec une faible complexité de calculs. Pour mieux comprendre les comportements du bruit dans les capteurs numériques, nous énumérons ses différentes sources et leurs dépendances par rapport aux conditions de prises de vues. Apres avoir présenté l’état de l’art des méthodes de restauration des images bruitées, nous nous intéressons particulièrement aux algorithmes de débruitage à voisinage local et plus précisément au filtre bilatéral. Nous proposons un filtre bilatéral pour la mosaïque de Bayer, adaptatif en fonction de la puissance du bruit dans les images. Dans la troisième partie, nous présentons l’implémentation, l’optimisation et la simulation de l’exécution des algorithmes de dématriçage et de réduction du bruit proposes. La plateforme d’implémentation est le processeur TriMedia TM3270 de NXP semiconductors. Nous montrons que nous arrivons à traiter des images de taille 5 méga-pixels en moins de 0,5 secondes et des images de résolution VGA à une cadence supérieure à 25 images par seconde. Finalement, pour des raisons de standardisation, de rapidité d’exécution et de consommation d’énergie, nous avons conçu une architecture dédiée à l’algorithme de dématriçage propose. Cette architecture permet de multiplier par 10 la rapidité d’exécution obtenue sur le processeur TriMedia TM3270Digital cameras are now present everywhere. They are commonly included in portable digital devices such as mobile phones and personal digital assistants. In spite of constant improvements in terms of computing power and complexity, the digital imaging chain quality, including sensor and lenses system, is still limited by space and cost constraints. An important number of degradations are introduced by this chain that significantly decrease overall image quality : including blurring effects, geometric distortions, color artefacts, moiré effects, static and dynamic noise. Correcting these defects in an algorithmic way, using the increasing power of embedded processing architecture present in mobile phones and PDAs may appear like an interesting solution. In this thesis we are especially interested in reducing two major defects of the sensor acquisition chain : Bayer matrix demosaicing artefacts and photon noise. In the first part, we describe the general imaging chain commonly used in digital cameras and video devices. We show the function, the inner working and the defects introduced by each of its elements. Finally we exhibit possible ways to correct these defects using algorithmic solutions. In the second part, we introduce the principle of Bayer demosaicing. We present the state of the art and we propose a new method based on a directed interpolation principle. Our method yields a good image quality while retaining a low computational complexity. We then enumerate several noise sources present in imaging digital sensors and their dependencies with imaging conditions. We are particularly interested in local algorithms and more specifically in the bilateral filter. After presenting the state of the art in denoising algorithm, we propose a new adaptive bilateral filter for sensor colour mosaic denoising. In the third part, we present the implementation, the optimization and the execution simulation of the proposed demosaicing and denoising algorithms. The implementation target is the TM3270 TriMedia processor from NXP Semiconductors. We show that it is possible to process 5 megapixels images in less than 0.5 seconds and more than 25 images per second at VGA resolution. Finally, for standardization, execution speed and power consumption reasons, we describe a dedicated architecture for our proposed demosaicing algorithm. This architecture improves the execution speed by a factor of 10 compared to the TriMedia TM3270 processo

Méthodes et algorithmes de dématriçage et de filtrage du bruit pour la photographie numérique

Digital cameras are now present everywhere. They are commonly included in portable digital devices such as mobile phones and personal digital assistants. In spite of constant improvements in terms of computing power and complexity, the digital imaging chain quality, including sensor and lenses system, is still limited by space and cost constraints. An important number of degradations are introduced by this chain that significantly decrease overall image quality : including blurring effects, geometric distortions, color artefacts, moiré effects, static and dynamic noise. Correcting these defects in an algorithmic way, using the increasing power of embedded processing architecture present in mobile phones and PDAs may appear like an interesting solution. In this thesis we are especially interested in reducing two major defects of the sensor acquisition chain : Bayer matrix demosaicing artefacts and photon noise. In the first part, we describe the general imaging chain commonly used in digital cameras and video devices. We show the function, the inner working and the defects introduced by each of its elements. Finally we exhibit possible ways to correct these defects using algorithmic solutions. In the second part, we introduce the principle of Bayer demosaicing. We present the state of the art and we propose a new method based on a directed interpolation principle. Our method yields a good image quality while retaining a low computational complexity. We then enumerate several noise sources present in imaging digital sensors and their dependencies with imaging conditions. We are particularly interested in local algorithms and more specifically in the bilateral filter. After presenting the state of the art in denoising algorithm, we propose a new adaptive bilateral filter for sensor colour mosaic denoising. In the third part, we present the implementation, the optimization and the execution simulation of the proposed demosaicing and denoising algorithms. The implementation target is the TM3270 TriMedia processor from NXP Semiconductors. We show that it is possible to process 5 megapixels images in less than 0.5 seconds and more than 25 images per second at VGA resolution. Finally, for standardization, execution speed and power consumption reasons, we describe a dedicated architecture for our proposed demosaicing algorithm. This architecture improves the execution speed by a factor of 10 compared to the TriMedia TM3270 processorCes dernières années, les appareils photos/vidéos numériques grand public sont devenus omniprésents. On peut aujourd’hui trouver des systèmes de captures d’images dans toutes sortes d’appareils numériques comme les téléphones portables, les assistants personnels numériques etc. Malgré une augmentation croissante de la puissance et de la complexité de ces appareils, laqualité de la chaîne de capture d’image, composée du couple système optique/capteur est toujours contrainte à des limitations d’espace et de coût. Les défauts introduits sont nombreuxet dégradent considérablement la qualité des images produites : flou, déformations géométriques, artefacts de couleurs, effets de moire, bruits statiques et dynamiques, etc. Une idée intéressante est de corriger ces défauts de manière algorithmique en utilisant la puissance toujours croissante des architectures de traitements. Dans cette thèse nous nous intéressons particulièrement à deux problèmes issues de l’acquisition de l’image par le capteur : le dématriçage de la matrice de Bayer et la réduction du bruit. Dans la première partie, nous décrivons la structure générale de la chaîne de capture d’image dans les appareils photos/vidéos numériques. Nous présentons le rôle, le fonctionnement et les défauts introduits par chacun de ses éléments. Enfin, nous illustrons comment ces défauts peuvent être corriges par des traitements algorithmiques. Dans la deuxième partie, nous montrons comment l’information de couleur est introduite dans les capteurs numériques. Nous présentons ensuite un état de l’art des algorithmes de dématriçage. Un nouvel algorithme de reconstruction de la matrice de Bayer base sur le principe de l’interpolation directionnelle est propose. Il permet d’associer une qualité d’image produite sans artefacts avec une faible complexité de calculs. Pour mieux comprendre les comportements du bruit dans les capteurs numériques, nous énumérons ses différentes sources et leurs dépendances par rapport aux conditions de prises de vues. Apres avoir présenté l’état de l’art des méthodes de restauration des images bruitées, nous nous intéressons particulièrement aux algorithmes de débruitage à voisinage local et plus précisément au filtre bilatéral. Nous proposons un filtre bilatéral pour la mosaïque de Bayer, adaptatif en fonction de la puissance du bruit dans les images. Dans la troisième partie, nous présentons l’implémentation, l’optimisation et la simulation de l’exécution des algorithmes de dématriçage et de réduction du bruit proposes. La plateforme d’implémentation est le processeur TriMedia TM3270 de NXP semiconductors. Nous montrons que nous arrivons à traiter des images de taille 5 méga-pixels en moins de 0,5 secondes et des images de résolution VGA à une cadence supérieure à 25 images par seconde. Finalement, pour des raisons de standardisation, de rapidité d’exécution et de consommation d’énergie, nous avons conçu une architecture dédiée à l’algorithme de dématriçage propose. Cette architecture permet de multiplier par 10 la rapidité d’exécution obtenue sur le processeur TriMedia TM327

Out-of-core Attribute Algorithms for Binary Partition Hierarchies

Binary Partition Hierarchies (BPHs) and Minimum Spanning Trees are key structures in hierarchical image analysis. However, the explosion in the size of image data poses a new challenge, as the memory available in conventional workstations becomes insufficient to execute classical algorithms. To address this problem, specific algorithms have been proposed for out-of-core computation of BPHs, where a BPH is actually represented by a collection of smaller trees, called a distribution, thus reducing the memory footprint of the algorithms. In this article, we address the problem of designing efficient out-of-core algorithms for computing classical attributes in distributions of BPHs, which is a necessary step towards a complete out-of-core hierarchical analysis workflow that includes tasks such as connected filtering and the generation of other representations such as hierarchical watersheds. The proposed algorithms are based on generic operations designed to propagate information through the distribution of trees, enabling the computation of attributes such as area, volume, height, minima and number of minima

Join, select, and insert: efficient out-of-core algorithms for hierarchical segmentation trees

International audienceBinary Partition Hierarchies (BPH) and minimum spanning trees are fundamental data structures involved in hierarchical analysis such as quasi-flat zones or watershed. However, classical BPH construction algorithms require to have the whole data in memory, which prevent the processing of large images that cannot fit entirely in the main memory of the computer. To cope with this problem, an algebraic framework leading to a high level calculus was introduced allowing an out-of-core computation of BPHs. This calculus relies on three operations: select, join, and insert. In this article, we introduce three efficient algorithms to perform these operations providing pseudo-code and complexity analysis

Efficient Poisson Denoising for Photography

International audienc

Shot-noise adaptive bilateral filter

electronic version (4 pp.)International audienceThe bilateral filter (BF) is an important image denoising local filter. It reduces noise in images while preserving edges by means of nonlinear combination of local pixel values. Its formulation and implementation are both simple. However, the BF is not parameter-free. The set of the bilateral filter parameters has an important influence on its behavior and performance. They have to be chosen considering the end application. In the case of noise removal, the parameters have to be adapted to the noise level, while the bilateral filter adapts itself to the image details content. In this paper we propose a method to estimate the best bilateral filter intensity parameter set in the case of shot noise removal, the dominant form of natural noise in digital imaging

Join, select, and insert: efficient out-of-core algorithms for hierarchical segmentation trees

International audienceBinary Partition Hierarchies (BPH) and minimum spanning trees are fundamental data structures involved in hierarchical analysis such as quasi-flat zones or watershed. However, classical BPH construction algorithms require to have the whole data in memory, which prevent the processing of large images that cannot fit entirely in the main memory of the computer. To cope with this problem, an algebraic framework leading to a high level calculus was introduced allowing an out-of-core computation of BPHs. This calculus relies on three operations: select, join, and insert. In this article, we introduce three efficient algorithms to perform these operations providing pseudo-code and complexity analysis

Join, select, and insert: efficient out-of-core algorithms for hierarchical segmentation trees

International audienceBinary Partition Hierarchies (BPH) and minimum spanning trees are fundamental data structures involved in hierarchical analysis such as quasi-flat zones or watershed. However, classical BPH construction algorithms require to have the whole data in memory, which prevent the processing of large images that cannot fit entirely in the main memory of the computer. To cope with this problem, an algebraic framework leading to a high level calculus was introduced allowing an out-of-core computation of BPHs. This calculus relies on three operations: select, join, and insert. In this article, we introduce three efficient algorithms to perform these operations providing pseudo-code and complexity analysis