3D image acquisition system based on shape from focus technique

agent Agrosup Dijon de l'UMREcolDurGEAPSIThis paper describes the design of a 3D image acquisition system dedicated to natural complex scenes composed of randomly distributed objects with spatial discontinuities. In agronomic sciences, the 3D acquisition of natural scene is difficult due to the complex nature of the scenes. Our system is based on the Shape from Focus technique initially used in the microscopic domain. We propose to adapt this technique to the macroscopic domain and we detail the system as well as the image processing used to perform such technique. The Shape from Focus technique is a monocular and passive 3D acquisition method that resolves the occlusion problem affecting the multi-cameras systems. Indeed, this problem occurs frequently in natural complex scenes like agronomic scenes. The depth information is obtained by acting on optical parameters and mainly the depth of field. A focus measure is applied on a 2D image stack previously acquired by the system. When this focus measure is performed, we can create the depth map of the scene

Conception d'un dispositif d'acquisition d'images agronomiques 3D en extérieur et développement des traitements associés pour la détection et la reconnaissance de plantes et de maladies

Dans le cadre de l'acquisition de l'information de profondeur de scènes texturées, un processus d'estimation de la profondeur basé sur la méthode de reconstruction 3D Shape from Focus est présenté dans ce manuscrit. Les deux étapes fondamentales de cette approche sont l'acquisition de la séquence d'images de la scène par sectionnement optique et l'évaluation de la netteté locale pour chaque pixel des images acquises. Deux systèmes d'acquisition de cette séquence d'images sont présentés ainsi que les traitements permettant d'exploiter celle-ci pour la suite du processus d'estimation de la profondeur. L'étape d'évaluation de la netteté des pixels passe par la comparaison des différents opérateurs de mesure de netteté. En plus des opérateurs usuels, deux nouveaux opérateurs basés sur les descripteurs généralisés de Fourier sont proposés. Une méthode nouvelle et originale de comparaison est développée et permet une analyse approfondie de la robustesse à différents paramètres des divers opérateurs. Afin de proposer une automatisation du processus de reconstruction, deux méthodes d'évaluation automatique de la netteté sont détaillées. Finalement, le processus complet de reconstruction est appliqué à des scènes agronomiques, mais également à une problématique du domaine de l'analyse de défaillances de circuits intégrés afin d'élargir les domaines d'utilisationIn the context of the acquisition of depth information for textured scenes, a depth estimation process based on a 3D reconstruction method called "shape from focus" is proposed in this thesis. The two crucial steps of this approach are the image sequence acquisition of the scene by optical sectioning and the local sharpness evaluation for each pixel of the acquired images. Two acquisition systems have been developed and are presented as well as different image processing techniques that enable the image exploitation for the depth estimation process. The pixel sharpness evaluation requires comparison of different focus measure operators in order to determine the most appropriate ones. In addition to the usual focus measure operators, two news operators based on generalized Fourier descriptors are presented. A new and original comparison method is developped and provides a further analysis of the robustness to various parameters of the focus measure operators. In order to provide an automatic version of the reconstruction process, two automatic sharpness evaluation methods are detailed. Finally, the whole reconstruction process is applied to agronomic scenes, but also to a problematic in failure analysis domain aiming to expand to other applicationsDIJON-BU Doc.électronique (212319901) / SudocSudocFranceF

Conception d'un dispositif d'acquisition d'images agronomiques 3D en extérieur et développement des traitements associés pour la détection et la reconnaissance de plantes et de maladies

Dans le cadre de l'acquisition de l'information de profondeur de scènes texturées, un processus d'estimation de la profondeur basé sur la méthode de reconstruction 3D « Shape from Focus » est présenté dans ce manuscrit. Les deux étapes fondamentales de cette approche sont l'acquisition de la séquence d'images de la scène par sectionnement optique et l'évaluation de la netteté locale pour chaque pixel des images acquises. Deux systèmes d'acquisition de cette séquence d'images sont présentés ainsi que les traitements permettant d'exploiter celle-ci pour la suite du processus d'estimation de la profondeur. L'étape d'évaluation de la netteté des pixels passe par la comparaison des différents opérateurs de mesure de netteté. En plus des opérateurs usuels, deux nouveaux opérateurs basés sur les descripteurs généralisés de Fourier sont proposés. Une méthode nouvelle et originale de comparaison est développée et permet une analyse approfondie de la robustesse à différents paramètres des divers opérateurs. Afin de proposer une automatisation du processus de reconstruction, deux méthodes d'évaluation automatique de la netteté sont détaillées. Finalement, le processus complet de reconstruction est appliqué à des scènes agronomiques, mais également à une problématique du domaine de l'analyse de défaillances de circuits intégrés afin d'élargir les domaines d'utilisationIn the context of the acquisition of depth information for textured scenes, a depth estimation process based on a 3D reconstruction method called "shape from focus" is proposed in this thesis. The two crucial steps of this approach are the image sequence acquisition of the scene by optical sectioning and the local sharpness evaluation for each pixel of the acquired images. Two acquisition systems have been developed and are presented as well as different image processing techniques that enable the image exploitation for the depth estimation process. The pixel sharpness evaluation requires comparison of different focus measure operators in order to determine the most appropriate ones. In addition to the usual focus measure operators, two news operators based on generalized Fourier descriptors are presented. A new and original comparison method is developped and provides a further analysis of the robustness to various parameters of the focus measure operators. In order to provide an automatic version of the reconstruction process, two automatic sharpness evaluation methods are detailed. Finally, the whole reconstruction process is applied to agronomic scenes, but also to a problematic in failure analysis domain aiming to expand to other application

Mesure de netteté basée sur les descripteurs généralisés de Fourier appliquée à la reconstruction 3D

National audienc

3D acquisition system applied to agronomic scenes

International audienc

Reconstruction monoculaire 3D de scènes agronomiques

National audienceTo go further in the analysis of parameters (infection rate, yield, leaf area...) of an agronomic scene, the contribution of three-dimensional information using 3D acquisition of such a scene is a relevant solution. In this paper, we propose adapting the "Shape From Focus" method to the macroscopic domain, and we clarify the reasons for this choice.Pour aller plus loin dans l'analyse des paramètres (taux d'infestation, rendement, couverture foliaire...) d'une scène agronomique, l'apport de l'information tridimensionnelle grâce à une acquisition 3D d'une telle scène est une solution pertinente. Dans cette communication, nous proposons l'adaptation de la méthode du "Shape From Focus" au domaine macroscopique, et nous explicitons les raisons d'un tel choix

Mesure de netteté basée sur les descripteurs généralisés de Fourier appliquée à la reconstruction 3D par Shape from Focus

National audienceL'étape principale de la méthode de reconstruction 3D " Shape from Focus " est l'utilisation d'un opérateur de mesure de netteté de chaque pixel de la séquence d'image. Le choix de l'opérateur de mesure de netteté est une étape cruciale pour une reconstruction 3D de qualité. La précision de la mesure de netteté dépend de la taille du voisinage autour du pixel choisi et de la présence ou non de bruit additif dans la séquence d'images. Dans cet article, nous présentons deux nouveaux opérateurs de mesure de netteté basés sur les Descripteurs Généralisés de Fourier. Une nouvelle étude comparative des différents opérateurs est présentée. Cette comparaison est basée sur un plan d'expériences mettant en évidence les effets de la variation du voisinage utilisé et le bruit additif sur la précision de la reconstruction. Les résultats font office de recommandation pour le choix de l'opérateur à utiliser en fonction du voisinage choisi et du bruit présent. Les résultats de nos opérateurs montrent qu'ils sont à recommander lorsqu'on est en présence d'une scène bruitée et que l'on travaille sur un petit voisinage

Using Image Texture and Spectral Reflectance Analysis to Detect Yellowness and Esca in Grapevines at Leaf-Level

Plant diseases are one of the main reasons behind major economic and production losses in the agricultural field. Current research activities enable large fields monitoring and plant disease detection using innovative and robust technologies. French grapevines have a reputation for producing premium quality wines, however, these major fruit crops are susceptible to many diseases, including Esca, Downy mildew, Powdery mildew, Yellowing, and many others. In this study, we focused on two main infections (Esca and Yellowing), and data were gathered from fields that were located in Aquitaine and Burgundy regions, France. Since plant diseases can be diagnosed from the properties of the leaf, we acquired both Red-Green-Blue (RGB) digital image and hyperspectral reflectance data from infected and healthy leaves. Biophysical parameters that were produced by the PROSPECT model inversion together with texture parameters compiled from the literature were deduced. Then we investigated their relationship to damage caused by Yellowing and Esca. This study examined whether spectral and textural data can identify the two diseases through the use of Neural Networks. We obtained an overall accuracy of 99% for both of the diseases when textural and spectral data are combined. These results suggest that, first, biophysical parameters present a valid dimension reduction tool that could replace the use of complete hyperspectral data. Second, remote sensing using spectral reflectance and digital images can make an overall nondestructive, rapid, cost-effective, and reproducible technique to determine diseases in grapevines with a good level of accuracy