Physical Contamination Detection in Food Industry Using Microwave and Machine Learning

The detection of contaminants in food products after packaging by a non-invasive technique is a serious need for companies operating in the food industry. In recent years, many technologies have been investigated and developed to overcome the intrinsic drawbacks of the currently employed techniques, such as X-rays and metal detector, and to offer more appropriate solutions with respect to techniques developed in the academic domain in terms of acquisition speed, cost, and the penetration depth (infrared, hyperspectral imaging). A new method based on MW sensing is proposed to increase the degree of production quality. In this paper, we are going to present a novel approach from measurements setup to a binary classification of food products as contaminated or uncontaminated. The work focuses on combining MW sensing technology and ML tools such as MLP and SVM in a complete workflow that can operate in real time in a food production line. A very good performance accuracy that reached 99.8% is achieved using the non-linear SVM algorithm, while the accuracy of the performance of the MLP classifier reached 99.3%

Tri de pommes par imagerie microonde

Nondestructive evaluation for agricultural products is of increasing interest. The researchers investigate the use of microwave imaging systems, which allow non-destructive control of fruits while monitoring their growth and maturity. As for every fruit, the apples face many diseases, which is an economic and an agricultural issue. The objective of this work is to develop a non destructive and an automatic method to sort damaged fruits from the healthy ones by microwave imaging. This work is divided into six chapters, in chapter 1, we begin with a state of the art of the destructive and non destructive methods which are used in quality control of the agricultural products. In chapter 2, we defined the classification methods which are used in this work and also, we described the optimization methods which are used for finding an optimal values of hyper-parameters of classification method. In chapter 3, a non-destructive and an automatic method to sort damaged fruits from the healthy ones by using microwave imaging is presented . The proposed method is a proof of concept that starts with millimeter wave measurements in W-band, which are pre-processed by the two-dimensional Fourier transform (2D-FFT) and segmentation methods, and ends with the classification using Machine Learning algorithm. This method has been validated first, on the apples with a classification error of 6% and then on the peaches where the classification error of 0%. In chapter 4, we addressed the impact of frequency and spatial diversity on the accuracy of the classification, indeed, this study highlights that the limitations of the proposed method are consistent with the physical phenomena. The first results showed the potential of microwave imaging and artificial intelligence to sort fruits, but the acquisition time remains prohibitive for an industrial application, so two investigations were conducted, the first one concerns the simplification of the acquisition scheme by measuring the amplitude of the electromagnetic field. In addition, the preprocessing is also simplified, by removing the 2D-FFT. The second study concerns the reduction of spatial diversity by optimizing the number of measurement points, which automatically leads to a reduction of the measurement time. Using the Grey Wolf Optimizer, the number of measurement points is reduced from 22801 to 196.In chapter 5, the proposed method has been adapted and tested on archaeological samples dating back to more than 8000 years before our era, in order to trace in time and space the introduction of farming in Europe. We aim at identifying two types of pottery shards: "spirals" and "coiling". A new method is developed, which is similar to the one used for fruits but with a new preprocessing step and the use of a neural network of MLP type. The accuracy of the classification is of 99%. As for the fruits, the measurement system was optimized by elaborating two scenarios and using one of the bio-inspired optimization methods developed during this thesis and tested for the first time on real data. The classification error of both optimized systems is less than 1%. At chapter 6, a new approach for the non-destructive and automatic sorting of fruit has been studied, it complies with the requirements of the industry regarding the acquisition time because it requires only one antenna operating on a wide-band. We elaborated two strategies to detect the fruit defect. In the first one, the fruits are sorted in the frequency domain by using the Short Time Fourier Transform method. The second strategy concerns the fruits sorting in the time domain using the inverse of the Short Time Fourier Transform method. For both strategies, the classification error is 1%. The advantages and disadvantages of this new approach are discussed.La recherche d'un nouveau système de contrôle non-destructif temps réel des produits agro-alimentaire est en plein essor depuis quelques dizaines d'années. Le développement des systèmes capables de détecter rapidement les défauts des produits agro-alimentaires à grande échelle est dans l'intérêt commun. De nos jours, de nombreux systèmes de contrôle non-destructif existent, et les plus répondus sont les systèmes d'imagerie optique et les systèmes d'imagerie à Rayon X. Cependant ces systèmes sont coûteux et volumineux. L'imagerie microonde est non-invasive et non ionisante, elle permet de réaliser des systèmes compacts tout en assurant une bonne pénétration dans les matériaux. L'objectif de cette thèse est de la mise en place d'une méthode de tri non-destructive et automatique des fruits abîmés des fruits sains par imagerie microonde, précisément par l'imagerie millimétrique et la classification revient ensuite à répondre à une question binaire (Oui ou Non) sur l'état du fruit. Ce manuscrit est composé de 6 chapitres, au chapitre 1, nous commençons par un état de l'art sur les différentes méthodes destructives et non destructive utilisées pour le contrôle de qualité des produits agricoles. Au chapitre 2, nous décrivons les méthodes de classification utilisées tout au long de cette thèse. Ensuite, les méthodes d'optimisation ont été définies qui sont utilisées par exemple, pour optimiser les hyper-paramètres des méthodes de classification. Au chapitre 3, la méthode de tri non-destructive et automatique des fruits abîmés des fruits sains est présentée. Cette méthode commence par des mesures millimétriques en bande W, pré-traitée par la transformer de Fourier bi-dimensionnelle (TF2D) et la méthode de segmentation et se termine par l'application d'une méthode d'intelligence artificielle. Cette méthode a été validée sur des pommes et des pêches avec une erreur de classification moyenne, respectivement de 6% et 0%. Au chapitre 4, une étude sur l'influence des diversités fréquentielle et spatiale sur l'efficacité de cette méthode a été menée. Les résultats obtenus de cette étude mettent en évidence ses limites, à savoir que la méthode devient inefficace lorsque l'une des deux diversités est réduite. Le temps d'acquisition reste rédhibitoire pour une implémentation industrielle, c'est pourquoi, des investigations ont été menées en proposant deux nouvelles directions. La première concerne la simplification de la chaîne d'acquisition en mesurant uniquement l'amplitude du champ EM. De plus, l'étape de la TF2D est supprimée. En testant cette méthode sur les différentes bases de données, les résultats restent très satisfaisants. La seconde direction est la réduction de la diversité spatiale et cela en utilisant la méthode de Grey Wolf Optimizer, le nombre de points de mesure est réduit de 22801 à 196. Au chapitre 5, nous avons cherché à étendre la méthode à un autre domaine, celui de l'archéologie. En effet, la méthode a été adaptée et testée sur des échantillons archéologiques datant de 3000 à 8000 ans avant notre ère, afin de retracer en temps et en espace l'introduction de l'agriculture en Europe, grâce à deux types de tessons de poteries : les ”spirales” et les ”colombins”. Lorsque les diversités fréquentielle et spatiale sont utilisées les performances sont de 99%. Le système de mesure a été optimisé en élaborant deux scénarios et en utilisant une des méthodes d'optimisation bio-inspirée développée au cours de cette thèse et testée pour la première fois sur des données réelles. Pour les deux scénarios, l'erreur de classification des deux systèmes sont moins de 1%. Au chapitre 6, une nouvelle approche de tri non-destructive et automatique des fruits abîmés a été étudiée, cette nouvelle approche répond aux exigences de l'industrie, en termes de temps d'acquisition, car elle ne nécessite uniquement une antenne opérant sur une large bande. Les avantages et les inconvénients de cette nouvelle approche ont été discutés

Apples sorting by using microwave imaging

La recherche d'un nouveau système de contrôle non-destructif temps réel des produits agro-alimentaire est en plein essor depuis quelques dizaines d'années. Le développement des systèmes capables de détecter rapidement les défauts des produits agro-alimentaires à grande échelle est dans l'intérêt commun. De nos jours, de nombreux systèmes de contrôle non-destructif existent, et les plus répondus sont les systèmes d'imagerie optique et les systèmes d'imagerie à Rayon X. Cependant ces systèmes sont coûteux et volumineux. L'imagerie microonde est non-invasive et non ionisante, elle permet de réaliser des systèmes compacts tout en assurant une bonne pénétration dans les matériaux. L'objectif de cette thèse est de la mise en place d'une méthode de tri non-destructive et automatique des fruits abîmés des fruits sains par imagerie microonde, précisément par l'imagerie millimétrique et la classification revient ensuite à répondre à une question binaire (Oui ou Non) sur l'état du fruit. Ce manuscrit est composé de 6 chapitres, au chapitre 1, nous commençons par un état de l'art sur les différentes méthodes destructives et non destructive utilisées pour le contrôle de qualité des produits agricoles. Au chapitre 2, nous décrivons les méthodes de classification utilisées tout au long de cette thèse. Ensuite, les méthodes d'optimisation ont été définies qui sont utilisées par exemple, pour optimiser les hyper-paramètres des méthodes de classification. Au chapitre 3, la méthode de tri non-destructive et automatique des fruits abîmés des fruits sains est présentée. Cette méthode commence par des mesures millimétriques en bande W, pré-traitée par la transformer de Fourier bi-dimensionnelle (TF2D) et la méthode de segmentation et se termine par l'application d'une méthode d'intelligence artificielle. Cette méthode a été validée sur des pommes et des pêches avec une erreur de classification moyenne, respectivement de 6% et 0%. Au chapitre 4, une étude sur l'influence des diversités fréquentielle et spatiale sur l'efficacité de cette méthode a été menée. Les résultats obtenus de cette étude mettent en évidence ses limites, à savoir que la méthode devient inefficace lorsque l'une des deux diversités est réduite. Le temps d'acquisition reste rédhibitoire pour une implémentation industrielle, c'est pourquoi, des investigations ont été menées en proposant deux nouvelles directions. La première concerne la simplification de la chaîne d'acquisition en mesurant uniquement l'amplitude du champ EM. De plus, l'étape de la TF2D est supprimée. En testant cette méthode sur les différentes bases de données, les résultats restent très satisfaisants. La seconde direction est la réduction de la diversité spatiale et cela en utilisant la méthode de Grey Wolf Optimizer, le nombre de points de mesure est réduit de 22801 à 196. Au chapitre 5, nous avons cherché à étendre la méthode à un autre domaine, celui de l'archéologie. En effet, la méthode a été adaptée et testée sur des échantillons archéologiques datant de 3000 à 8000 ans avant notre ère, afin de retracer en temps et en espace l'introduction de l'agriculture en Europe, grâce à deux types de tessons de poteries : les ”spirales” et les ”colombins”. Lorsque les diversités fréquentielle et spatiale sont utilisées les performances sont de 99%. Le système de mesure a été optimisé en élaborant deux scénarios et en utilisant une des méthodes d'optimisation bio-inspirée développée au cours de cette thèse et testée pour la première fois sur des données réelles. Pour les deux scénarios, l'erreur de classification des deux systèmes sont moins de 1%. Au chapitre 6, une nouvelle approche de tri non-destructive et automatique des fruits abîmés a été étudiée, cette nouvelle approche répond aux exigences de l'industrie, en termes de temps d'acquisition, car elle ne nécessite uniquement une antenne opérant sur une large bande. Les avantages et les inconvénients de cette nouvelle approche ont été discutés.Nondestructive evaluation for agricultural products is of increasing interest. The researchers investigate the use of microwave imaging systems, which allow non-destructive control of fruits while monitoring their growth and maturity. As for every fruit, the apples face many diseases, which is an economic and an agricultural issue. The objective of this work is to develop a non destructive and an automatic method to sort damaged fruits from the healthy ones by microwave imaging. This work is divided into six chapters, in chapter 1, we begin with a state of the art of the destructive and non destructive methods which are used in quality control of the agricultural products. In chapter 2, we defined the classification methods which are used in this work and also, we described the optimization methods which are used for finding an optimal values of hyper-parameters of classification method. In chapter 3, a non-destructive and an automatic method to sort damaged fruits from the healthy ones by using microwave imaging is presented . The proposed method is a proof of concept that starts with millimeter wave measurements in W-band, which are pre-processed by the two-dimensional Fourier transform (2D-FFT) and segmentation methods, and ends with the classification using Machine Learning algorithm. This method has been validated first, on the apples with a classification error of 6% and then on the peaches where the classification error of 0%. In chapter 4, we addressed the impact of frequency and spatial diversity on the accuracy of the classification, indeed, this study highlights that the limitations of the proposed method are consistent with the physical phenomena. The first results showed the potential of microwave imaging and artificial intelligence to sort fruits, but the acquisition time remains prohibitive for an industrial application, so two investigations were conducted, the first one concerns the simplification of the acquisition scheme by measuring the amplitude of the electromagnetic field. In addition, the preprocessing is also simplified, by removing the 2D-FFT. The second study concerns the reduction of spatial diversity by optimizing the number of measurement points, which automatically leads to a reduction of the measurement time. Using the Grey Wolf Optimizer, the number of measurement points is reduced from 22801 to 196.In chapter 5, the proposed method has been adapted and tested on archaeological samples dating back to more than 8000 years before our era, in order to trace in time and space the introduction of farming in Europe. We aim at identifying two types of pottery shards: "spirals" and "coiling". A new method is developed, which is similar to the one used for fruits but with a new preprocessing step and the use of a neural network of MLP type. The accuracy of the classification is of 99%. As for the fruits, the measurement system was optimized by elaborating two scenarios and using one of the bio-inspired optimization methods developed during this thesis and tested for the first time on real data. The classification error of both optimized systems is less than 1%. At chapter 6, a new approach for the non-destructive and automatic sorting of fruit has been studied, it complies with the requirements of the industry regarding the acquisition time because it requires only one antenna operating on a wide-band. We elaborated two strategies to detect the fruit defect. In the first one, the fruits are sorted in the frequency domain by using the Short Time Fourier Transform method. The second strategy concerns the fruits sorting in the time domain using the inverse of the Short Time Fourier Transform method. For both strategies, the classification error is 1%. The advantages and disadvantages of this new approach are discussed

Tri de pommes par imagerie millimétrique

Encadrée par Claire Migliaccio et Jérôme LantériThis work is a proof of concept proposing and describing a complete workflow to differentiate healthy from damaged apples, staring from mm-W measurements and ending-up with classification based on Support Vector Machine. The method has proven to be successful with only 6% error when scan angle and frequency diversity are used. In a first step, we build a database of more than 1800 images obtained by processing measurements with a 2D-FFT. Images are then binarised and used as input of a nonlinear SVM. At this stage, 90% of the data base is used for training and coefficients C and gamma are tuned to reach the smallest error. The 10% remaining images are used for the test. In a second step, we assess and discuss the influence of the physical inputs of the database : the frequency, the sparsity in measurements points and the size of the apples. Finally we explore new scenarios considering other fruits.Ce rapport est une preuve de concept proposant et décrivant un processus complet pour différencier les pommes saines des pommes endommagées, à partir de mesures millimétrique en utilisant une méthode permettant un tri automatique en utilisant les machine à vecteurs de support (SVM). La méthode s’est avérée efficace avec seulement 6 % d’erreur lorsque l’angle de balayage et la diversité de fréquence sont utilisés. Dans un premier temps, nous construisons une base de données de plus de 1800 images obtenues par le traitement de mesures par une FFT 2D. Les images sontensuite binarisées et utilisées en entrée d’un SVM non linéaire. A ce stade, 90 % de la base de données est utilisée pour l’apprentissage et les coefficients C et gamma sont réglés pour atteindre le minimum de taux d’erreur. Les 10 % d’images restantes sont utilisées pour le test. Dans une deuxième étape, nous évaluons et discutons de l’influence des paramètres physiques sur la base de données : la fréquence, les points de mesure et la taille des pommes. Enfin, nous explorons de nouveaux scénarios en considérant d’autres fruits

Tri des tessons Archéologiques par imagerie Microonde et IA

National audienceL’identification des techniques de fabrication des poteries préhistoriques est l’un des moyens les plus précieux pour tracer la carte des mobilités humaines avant l’invention de l’écriture. Nous nous intéressons ici au peuplement de la Méditerranée occidentale à travers le tri de tessons de poterie. L’objectif est de différencier deux techniques de fabrication, en recherchant les caractéristiques formées par les bulles d’air incorporées dans les tessons. Les méthodes actuelles font appel à des systèmes de mesures lourds tels que le CT-Scan. L’imagerie microonde est une alternative intéressante en raison de la possibilité d’avoir des systèmes d’acquisition moins complexes à mettre en oeuvre. Nous nous proposons d’initier une nouvelle technique de mesure non-invasive pour l’archéologie basée sur l’imagerie sub-THz. Nous commençons par des mesures en bande D exploitant les diversités fréquentielles et spatiales, suivies de l’application de laTransformée de Fourier 3D, puis traitons données obtenues par une technique d’Intelligence Artificielle. Les performances de classification sont supérieures à 98%

Impact of the Pre-Processing in AI-Based Classification at Mm-Waves

International audienceBased on various applications involving millimeter- wave (mm-wave) imaging, we highlight the importance of processing the measurements prior to their classification with Artificial Intelligence (AI) algorithms. The key point for enabling a good classification accuracy is to obtain the same structure for the training and the test datasets. Throughout the paper, we discuss a set of pre-processing methods, ranging from 2-DimensionalFast Fourier Transform (2D-FFT) with or without segmentation to 3-Dimensional Fast Fourier Transform (3D-FFT), and their influence on the final classification results

Early detection of damages in fruits with amplitude-only measurements

International audienceFighting fruit diseases, farmers are in demand of an automatic Non Destructive Evaluation system for detecting the damages in fruits. In this paper, we propose a proof of concept using amplitude-only measurements associated with a Machine learning Algorithm of linear Support Vector Machine type, for sorting healthy from damaged peaches hidden by leaves. The system operates in W-band and the total accuracy of the classifier is 100

Fruit Sorting with Amplitude-only Measurements

in the framework of the European Microwave Week 2021International audienceThe food industry is in constant demand of performing and easy to implement Non-Destructive Evaluation NDE techniques. In this paper, we tackle the problem of the automatic inspection of fruits and more specifically, the sorting of healthy and damaged fruits, taking apples and peaches as examples. In a recent work, we have explained how to proceed by combining mm-Wave measurements processed with a 2D-FFTand Machine Learning algorithm. The accuracy reaches at least 80%. Although the 2D-FFT is a real-time processing and thus interesting for an industrial implementation, it requires complex measurements, i.e amplitude and phase, which makes the acquisition system more complex. Here we aim to overcome this difficulty by processing amplitude-only measurements. We make use of an image processing based on the direct conversion of the measured amplitude into images. The images form the dataset for the classifier that we choose as a non-linear SVM with a RBF kernel. The advantage of the SVM is that the computational burden is moved to the training phase where we compute the optimal hyper-parameters C* and γ*, while the test is very fast. First, we describe the complete workflow and use a set of apples measured in W-band in Autumn 2019 for validation purpose. We then extend the validation to measurements of peaches conducted over a long time period (summer 2019 and 2020). Finally, we investigate the robustness of the method over frequency while moving to the D-band. For all tests the accuracy ranges from 96% to 100%

Impact of the Pre-Processing in AI-Based Classification at Mm-Waves

International audienceBased on various applications involving millimeter- wave (mm-wave) imaging, we highlight the importance of processing the measurements prior to their classification with Artificial Intelligence (AI) algorithms. The key point for enabling a good classification accuracy is to obtain the same structure for the training and the test datasets. Throughout the paper, we discuss a set of pre-processing methods, ranging from 2-DimensionalFast Fourier Transform (2D-FFT) with or without segmentation to 3-Dimensional Fast Fourier Transform (3D-FFT), and their influence on the final classification results

Damaged Apple Sorting with mmWave Imaging and Non-Linear Support Vector Machine

International audienceThis paper is a proof of concept proposing and describing a complete workflow to differentiate healthy from damaged apples, starting with mmWave measurements and ending with a classification based on Support Vector Machine. The method has proven to be successful with only 6% error when scan angle and frequency diversity are used. In a first step, we build a database of more than 1800 images obtained by processing measurements with a two-dimensional fast Fourier transform. Images are then converted to binary and used as the input to a non-linear SVM. At this stage, 90% of the database is used for training, and coefficients C and γ are tuned to minimize the error. The remaining 10% of images are used for testing. In a second step, we assess and discuss the influence of the physical inputs of the database: the frequency, the sparsity of measurement points and the size of the apples. Finally we explore new scenarios considering other fruits