Intelligent classification and data augmentation for high accuracy AI applications for quality assurance of mineral aggregates

In this work, a method for automatic analysis of natural aggregates using hyperspectral imaging and high-resolution RGB imaging combined with AI algorithms consisting of an intelligent deep-learning-based recognition routine in form of hybrid cascaded recognition routine, and a necessary demonstration setup are demonstrated. Mineral aggregates are an essential raw material for the production of concrete. Petrographic analysis represents an elementary quality assurance measure for the production of high-quality concrete. Petrography is still a manual examination by specially trained experts, and the difficulty of the task lies in a large intra-class variability combined with low inter-class variability. In order to be able to increase the recognition performance, innovative new classification approaches have to be developed. As a solution, this paper presents an innovative cascaded deep-learning-based classification and uses a deep-learning-based data augmentation method to synthetically generate images to optimize the results

Artificial Intelligence in Concrete Materials: A Scientometric View

Artificial intelligence (AI) has emerged as a transformative and versatile tool, breaking new frontiers across scientific domains. Among its most promising applications, AI research is blossoming in concrete science and engineering, where it has offered new insights towards mixture design optimization and service life prediction of cementitious systems. This chapter aims to uncover the main research interests and knowledge structure of the existing literature on AI for concrete materials. To begin with, a total of 389 journal articles published from 1990 to 2020 were retrieved from the Web of Science. Scientometric tools such as keyword co-occurrence analysis and documentation co-citation analysis were adopted to quantify features and characteristics of the research field. The findings bring to light pressing questions in data-driven concrete research and suggest future opportunities for the concrete community to fully utilize the capabilities of AI techniques.Comment: Book chapter in M. Z. Naser (Ed.), Leveraging Artificial Intelligence in Engineering, Management, and Safety of Infrastructure. CRC Pres

Advances in Computational Intelligence Applications in the Mining Industry

This book captures advancements in the applications of computational intelligence (artificial intelligence, machine learning, etc.) to problems in the mineral and mining industries. The papers present the state of the art in four broad categories: mine operations, mine planning, mine safety, and advances in the sciences, primarily in image processing applications. Authors in the book include both researchers and industry practitioners

Review of deep learning approaches in solving rock fragmentation problems

One of the most significant challenges of the mining industry is resource yield estimation from visual data. An example would be identification of the rock chunk distribution parameters in an open pit. Solution of this task allows one to estimate blasting quality and other parameters of open-pit mining. This task is of the utmost importance, as it is critical to achieving optimal operational efficiency, reducing costs and maximizing profits in the mining industry. The mentioned task is known as rock fragmentation estimation and is typically tackled using computer vision techniques like instance segmentation or semantic segmentation. These problems are often solved using deep learning convolutional neural networks. One of the key requirements for an industrial application is often the need for real-time operation. Fast computation and accurate results are required for practical tasks. Thus, the efficient utilization of computing power to process high-resolution images and large datasets is essential. Our survey is focused on the recent advancements in rock fragmentation, blast quality estimation, particle size distribution estimation and other related tasks. We consider most of the recent results in this field applied to open-pit, conveyor belts and other types of work conditions. Most of the reviewed papers cover the period of 2018-2023. However, the most significant of the older publications are also considered. A review of publications reveals their specificity, promising trends and best practices in this field. To place the rock fragmentation problems in a broader context and propose future research topics, we also discuss state-of-the-art achievements in real-time computer vision and parallel implementations of neural networks

Development of non-invasive diagnostic methods for monitoring biodeterioration of monuments

A large part of the world’s most precious cultural heritage and artworks are made of stone with a finite life, and they are slowly but irreversibly disappearing. Biofilms living at rock-atmosphere interface are heterogeneous, complex consortia whose ability to alter properties of the substratum is defined biodeterioration. This phenomenon received serious attention by scientists only within the last three decades. The present work is aimed to advance the understanding of mechanisms involved in microbial biodeterioration: new investigation tools for the investigation of the biofilms are indeed required, so that the needs of small amount of sampling material to be analyzed in non-invasive and highly reproducible assay can be satisfied. Three sampling campaigns were carried out at the archaeological sites of Oplontis, Pompeii and at Phlegrean Phields. In a series of in vitro colonization experiments, the pioneer attitude of the fungi Fusarium solani and Alternaria tenuissima as well as the cyanobaterium Oculatella subterranea, was tested and monitored for a short-term period. Through the use of many variants of microscopy included CLSM and computer image analysis it has been possible to depict fine structure and architecture of the studied microrganisms, in a controlled environment where the realistic conditions of the respective sampling points have been reproduced. A novel approach for the study of subaerial biofilms via the construction of qPCR primers and fluorescent internal probes is also proposed, based on a deep survey on microrganisms occurring over stone monuments in European countries. A further proposed tool is the characterization of microbial diversity through the use of flow cytometry; phototrophic components of sampled biofilms were analyzed with flow cytometry, which allowed the sorting of the two Genera Cyanidium and Galdieria. Species identification was later obtained with the use of novel-designed species-specific primers targeting plastidial gene rbcL

Development of Mining Sector Applications for Emerging Remote Sensing and Deep Learning Technologies

This thesis uses neural networks and deep learning to address practical, real-world problems in the mining sector. The main focus is on developing novel applications in the area of object detection from remotely sensed data. This area has many potential mining applications and is an important part of moving towards data driven strategic decision making across the mining sector. The scientific contributions of this research are twofold; firstly, each of the three case studies demonstrate new applications which couple remote sensing and neural network based technologies for improved data driven decision making. Secondly, the thesis presents a framework to guide implementation of these technologies in the mining sector, providing a guide for researchers and professionals undertaking further studies of this type. The first case study builds a fully connected neural network method to locate supporting rock bolts from 3D laser scan data. This method combines input features from the remote sensing and mobile robotics research communities, generating accuracy scores up to 22% higher than those found using either feature set in isolation. The neural network approach also is compared to the widely used random forest classifier and is shown to outperform this classifier on the test datasets. Additionally, the algorithms’ performance is enhanced by adding a confusion class to the training data and by grouping the output predictions using density based spatial clustering. The method is tested on two datasets, gathered using different laser scanners, in different types of underground mines which have different rock bolting patterns. In both cases the method is found to be highly capable of detecting the rock bolts with recall scores of 0.87-0.96. The second case study investigates modern deep learning for LiDAR data. Here, multiple transfer learning strategies and LiDAR data representations are examined for the task of identifying historic mining remains. A transfer learning approach based on a Lunar crater detection model is used, due to the task similarities between both the underlying data structures and the geometries of the objects to be detected. The relationship between dataset resolution and detection accuracy is also examined, with the results showing that the approach is capable of detecting pits and shafts to a high degree of accuracy with precision and recall scores between 0.80-0.92, provided the input data is of sufficient quality and resolution. Alongside resolution, different LiDAR data representations are explored, showing that the precision-recall balance varies depending on the input LiDAR data representation. The third case study creates a deep convolutional neural network model to detect artisanal scale mining from multispectral satellite data. This model is trained from initialisation without transfer learning and demonstrates that accurate multispectral models can be built from a smaller training dataset when appropriate design and data augmentation strategies are adopted. Alongside the deep learning model, novel mosaicing algorithms are developed both to improve cloud cover penetration and to decrease noise in the final prediction maps. When applied to the study area, the results from this model provide valuable information about the expansion, migration and forest encroachment of artisanal scale mining in southwestern Ghana over the last four years. Finally, this thesis presents an implementation framework for these neural network based object detection models, to generalise the findings from this research to new mining sector deep learning tasks. This framework can be used to identify applications which would benefit from neural network approaches; to build the models; and to apply these algorithms in a real world environment. The case study chapters confirm that the neural network models are capable of interpreting remotely sensed data to a high degree of accuracy on real world mining problems, while the framework guides the development of new models to solve a wide range of related challenges

Integrated NDE Methods Using Data Fusion-For Bridge Condition Assessment

Bridge management system (BMS) is an effective mean for managing bridges throughout their design life. BMS requires accurate collection of data pertinent to bridge conditions. Non Destructive Evaluation methods (NDE) are automated accurate tools used in BMS to supplement visual inspection. This research provides overview of current practices in bridge inspection and in-depth study of thirteen NDE methods for condition assessment of concrete bridges and eleven for structural steel bridges. The unique characteristics, advantages and limitations of each method are identified along with feedback on their use in practice. Comparative study of current practices in bridge condition rating, with emphasis on the United States and Canada is also performed. The study includes 4 main criteria: inspection levels, inspection principles, inspection frequencies and numerical ratings for 4 provinces and states in North America and 5 countries outside North America. Considerable work has been carried out using a number of sensing technologies for condition assessment of civil infrastructure. Fewer efforts, however, have been directed for integrating the use of these technologies. This research presents a newly developed method for automated condition assessment and rating of concrete bridge decks. The method integrates the use of ground penetrating radar (GPR) and infrared thermography (IR) technologies. It utilizes data fusion at pixel and feature levels to improve the accuracy of detecting defects and, accordingly, that of condition assessment. Dynamic Bayesian Network (DBN) is utilized at the decision level of data fusion to overcome cited limitations of Markov chain type models in predicting bridge conditions based on prior inspection results. Pixel level image fusion is applied to assess the condition of a bridge deck in Montreal, Canada using GPR and IR inspection results. GPR data are displayed as 3D from 24 scans equally spaced by 0.33m to interpret a section of the bridge deck surface. The GPR data is fused with IR images using wavelet transform technique. Four scenarios based on image processing are studied and their application before and after data fusion is assessed in relation to accuracy of the employed fusion process. Analysis of the results showed that bridge condition assessment can be improved with image fusion and, accordingly, support inspectors in interpretation of the results obtained. The results also indicate that predicted bridge deck condition using the developed method is very close to the actual condition assessment and rating reported by independent inspection. The developed method was also applied and validated using three case studies of reinforced concrete bridge decks. Data and measurements of multiple NDE methods are extracted from Iowa, Highway research board project, 2011. The method utilizes data collected from ground penetrating radar (GPR), impact echo (IE), Half-cell potential (HCP) and electrical resistivity (ER). The analysis results of the three cases indicate that each level of data fusion has its unique advantage. The power of pixel level fusion lies in combining the location of bridge deck deterioration in one map as it appears in the fused image. While, feature fusion works in identification of specific types of defects, such as corrosion, delamination and deterioration. The main findings of this research recommend utilization of data fusion within two levels as a new method to facilitate and enhance the capabilities of inspectors in interpretation of the results obtained. To demonstrate the use of the developed method and its model at the decision level of data fusion an additional case study of a bridge deck in New Jersey, USA is selected. Measurements of NDE methods for years 2008 and 2013 for that bridge deck are used as input to the developed method. The developed method is expected to improve current practice in forecasting bridge deck deterioration and in estimating the frequency of inspection. The results generated from the developed method demonstrate its comprehensive and relatively more accurate diagnostics of defects

Volume II: Mining Innovation

Contemporary exploitation of natural raw materials by borehole, opencast, underground, seabed, and anthropogenic deposits is closely related to, among others, geomechanics, automation, computer science, and numerical methods. More and more often, individual fields of science coexist and complement each other, contributing to lowering exploitation costs, increasing production, and reduction of the time needed to prepare and exploit the deposit. The continuous development of national economies is related to the increasing demand for energy, metal, rock, and chemical resources. Very often, exploitation is carried out in complex geological and mining conditions, which are accompanied by natural hazards such as rock bursts, methane, coal dust explosion, spontaneous combustion, water, gas, and temperature. In order to conduct a safe and economically justified operation, modern construction materials are being used more and more often in mining to support excavations, both under static and dynamic loads. The individual production stages are supported by specialized computer programs for cutting the deposit as well as for modeling the behavior of the rock mass after excavation in it. Currently, the automation and monitoring of the mining works play a very important role, which will significantly contribute to the improvement of safety conditions. In this Special Issue of Energies, we focus on innovative laboratory, numerical, and industrial research that has a positive impact on the development of safety and exploitation in mining

Caractérisation minéralogique quantitative automatisée en microscopie optique et applications à l’étude de minerais dans le cadre d’une approche géométallurgique.

La caractérisation minéralogique est essentielle pour la caractérisation des différents produits d’un gisement (lithologie, minerai, stérile, résidu, etc.). Elle peut procurer énormément d’informations pertinentes pour les différents aspects de la mine (exploration, traitement minéral, gestion environnementale des rejets miniers). Cependant, la caractérisation minéralogique souffre aujourd’hui d’une réputation à la fois longue, fastidieuse et couteuse de la part de l’industrie minière. Cette industrie s’est ainsi vue progressivement abandonner l’approche minéralogique pour la caractérisation de leurs gisements. Avec les nouveaux défis technico-économiques apparaissant au sein des gisements (teneurs de plus en plus faibles, extraction de plus en plus profonde, gestion intégrée des rejets miniers et valorisation de nouveaux types de gisement), une nouvelle approche géométallurgique s’est alors développée dans l’industrie. Cette nouvelle vision de la mine consiste à intégrer les variabilités, notamment minéralogiques, des gisements afin de l’intégrer le plus en amont possible dans le développement du projet minier. Le but est de quitter l’approche en silo qu’effectue l’industrie pour permettre plus de communication entre les différents départements d’une mine (exploration, ingénierie, production, environnement) et ainsi permettre une optimisation technico-économique de l’exploitation tout en réduisant les risques techniques et opérationnels. Il s’avère que la caractérisation minéralogique est redevenue une caractérisation indispensable pour cette nouvelle vision géométallurgique de la mine, notamment parce qu’elle peut constituer un langage commun entre les différents départements de la mine. La caractérisation minéralogique permet effectivement de fournir des quantifications de paramètres, notamment de texture (comprenant la granulo-minéralogie, degré de libération/d’exposition et association), sur les différents produits de la mine qui constituent très souvent les variables critiques régissant la modélisation géométallurgique d’un gisement. La géométallurgie met ainsi en avant la pertinence des outils de caractérisations minéralogiques automatisées de type microscope électronique à balayage associé à la spectroscopie en énergie dispersive (MEB-EDS), comme le système QEMSCAN®. Cependant, ces outils, bien que récemment démocratisés, restent encore très dispendieux et contraignants pour l’industrie minière. De plus, ils nécessitent une expertise poussée pour leur utilisation au quotidien au sein de la mine. Par conséquent, la caractérisation minéralogique automatisée reste encore relativement anecdotique au sein des différentes opérations de développement d’une exploitation minière, alors qu’elle reste très souvent indispensable pour l’approche géométallurgique de la mine. Le microscope optique automatisée (MOA) représente quant à lui un outil alternatif plus accessible financièrement que les systèmes types MEB-EDS et permet une caractérisation des minéraux opaques très souvent valorisables (sulfures, oxydes, éléments natifs, alliages) moins contraignante, nécessitant une expertise moins poussée que son homologue électronique. C’est dans ce contexte que les travaux de cette présente thèse se sont développés. L’objectif général a ainsi été de développer et d’améliorer des approches et techniques de caractérisation minéralogique abordables, fiables et précises via l’outil de MOA. Le but était de proposer une caractérisation minéralogique automatisée plus accessible pour l’industrie minière, selon une approche géométallurgique. Cette présente thèse s’est ainsi construite autour de trois axes de recherche : le développement de protocoles de préparations de section polie représentatifs, l’amélioration de techniques d’imagerie optique sous MOA et l’étude comparative et cas d’applications en contexte géométallurgique de l’outil afin de prouver sa fiabilité et sa pertinence. Une nouvelle méthode d’échantillonnage a ainsi été développée afin de décider du nombre approprié de sections polies qui doivent être préparées en fonction de la classe granulométrique considérée. Le but est d’obtenir une représentativité suffisante pour les analyses de minéralogie automatisée. Pour illustrer cette méthode, deux protocoles d'échantillonnage (sous forme de grain à des fins de caractérisation texturales et sous forme de poudre) d'un minerai sulfuré typique théorique, incluant une préparation granulométrique (sizing), sont présentés. Une nouvelle méthode de calcul de la variance de l'erreur fondamentale liée à l'échantillonnage a ainsi été proposée. Ces protocoles d'échantillonnage sont une adaptation de la ligne de sécurité dérivée de la théorie d'échantillonnage de Pierre Gy et sont à ajuster en fonction de la connaissance des propriétés intrinsèques du matériau considéré. La méthode peut être très utile pour mieux anticiper le manque de représentativité des données minéralogiques fournies par les outils de minéralogie automatisé liées à la préparation d’échantillonnage. Au cours de ces travaux de doctorat, une nouvelle résine a été aussi découverte pour la préparation de section polie : la résine acrylique. Cette nouvelle résine a été comparée aux autres résines communément utilisées pour la préparation de section polie : la résine époxy et la résine dite carbon black (assimilé à la résine époxy mélangé avec du graphite). Cette comparaison a compris des mesures rhéologiques ainsi que des analyses par MOA. L’objectif a été de vérifier si une composition minéralogique fiable et sans biais est possible sous MOA avec cette nouvelle résine, attestant que les particules minérales n’ont pas subi une ségrégation préférentielle au sein de la section polie. Pour ce faire, des mélanges de poudres minérales standard ont été préparées en utilisant différents minéraux opaques purs à une fraction granulométrique calibrée entre 25 et 75 μm. Les résultats indiquent que le comportement rhéologique de la résine acrylique à durcissement rapide permet d'obtenir une composition minérale précise tout en évitant toute sédimentation préférentielle des particules par rapport aux autres résines étudiées. La caractérisation minéralogique automatisée nécessite d’obtenir des résultats de quantification non biaisés. Cependant, le MOA ne permet pas de détecter les minéraux transparents (ou de gangue) lors d'une analyse par microscopie optique en lumière réfléchie, car les réflectances de la résine et des minéraux de gangue sont très proches. De nouveaux travaux se sont alors concentrés à proposer une nouvelle méthode innovante pour détecter automatiquement toutes les particules minérales (y compris les particules transparentes) sur une section polie en résine acrylique par imagerie optique réfléchie en utilisant un algorithme d'apprentissage profond (deep learning). Pour ce faire, plusieurs poudres de minerai et de mélanges de standards de minéraux ont été montées en sections polies avec résine acrylique à deux tailles de particules différentes : < 1mm et P80~75 μm. Un maximum d'images optiques a été acquis avec un MOA sur ces sections polies pour entraîner et tester l'algorithme d'apprentissage profond à détecter les particules minérales. Les résultats montrent que l'algorithme d'apprentissage profond détecte facilement toutes les particules minérales dans le motif bullé caractéristique de la matrice de la résine acrylique, ce qui permet de bien différencier les minéraux de gangue sous microscopie optique réfléchie pour la détermination de la composition modale fiable des échantillons étudiés. De plus, les travaux ont pu permettre le développement de l’imagerie hyperspectrale optique afin de permettre une identification minéralogique plus efficace en MOA comparé à ce que proposent les systèmes actuels utilisant l’analyse multispectrale. La synchronisation entre une caméra hyperspectrale et un système de MOA a pu permettre l’acquisition linéaire de cubes hyperspectraux sur différents minéraux opaques. À l’aide de ces mesures brutes hyperspectrales, une base de données de réflectances hyperspectrales a pu être établie. À partir de cette base de données, une procédure supervisée de classification a été exécutée sur différents cubes hyperspectraux issus de l’analyse sur différents échantillons de minerais et standards minéralogiques (mise en section polie) par le dispositif expérimental. La procédure consistait à extraire des images monochromatiques à des longueurs d’onde judicieusement choisies sur ces cubes hyperspectraux bruts afin d’y exécuter des analyses d’images basiques associées à une méthode de classification booléenne pour obtenir des images classifiées minéralogiquement. Les résultats indiquent que cette procédure basique permet une classification minéralogique des images optiques propres et efficaces à partir de mesures hyperspectrales optiques. Les travaux de ce présent doctorat se sont ensuite focalisés sur différentes études comparatives et études de cas d’applications en contexte géométallurgique de la MOA, des études encore manquantes dans le domaine. Le projet Dumont Nickel a ainsi été particulièrement étudié, notamment parce que le gisement nécessite une approche géométallurgique du fait de sa métallogénie particulière. Le défi de développement d’un projet tel que Dumont Nickel consiste à pouvoir quantifier le nickel dit métallurgiquement récupérable à l’aide d’une méthode de quantification minéralogique abordable. Ces travaux proposent de pouvoir quantifier la minéralogie des minerais du gisement pour les futures opérations minières en utilisant le MOA. L’objectif a été de caractériser quatre échantillons de minerais représentatifs des quatre domaines géométallurgiques du gisement par MOA. Ces résultats ont été comparés aux données de quantification minéralogique existantes pour les mêmes échantillons acquis par QEMSCAN®. Les résultats de quantifications minéralogiques obtenus avec les deux techniques ont été comparés en mettant l'accent sur la distribution minéralogique du nickel dans les minéraux opaques. Cette étude comparative prouve l'efficacité de la MOA à des fins de quantification minéralogique telle qu'appliquée aux échantillons étudiés du projet Dumont Nickel. Cette procédure de quantification minéralogique des minéraux opaques a été ensuite poursuivie sur 12 autres échantillons du gisement. Le but a été de vérifier si le MOA attribue les mêmes domaines géométallurgiques que les analyses QEMSCAN® sur ces mêmes échantillons, selon la quantification des minéraux opaques qu’il permet. Les résultats montrent que le MOA est une alternative fiable au QEMSCAN® et peut être utilisé pour l'attribution de domaine pour le projet Dumont Nickel. Néanmoins, ces études comparatives en contexte géométallurgique ont permis de mettre en exergue les limites du système de MOA utilisé au cours du doctorat. Ces limites sont l’impossibilité pour le système de pouvoir détecter les particules transparentes (limite qui a fait l’objet de travaux au cours du doctorat) et de pouvoir les identifier, mais aussi d’autres limites de l’analyse multispectrale optique que propose le système (aberration chromatique). Une troisième étude comparative sur les différents concentrés de flottations du concentrateur LaRonde a aussi pu prouver que le système de MOA utilisé donne des résultats de quantification minéralogique proche du système QEMSCAN®. Cette dernière étude a aussi mis un avant une des limites de l’analyse multispectrale du système : le phénomène d’effet de bordure, expliquant les différences de quantification obtenue entre les deux techniques homologues. Enfin, afin de répondre aux manques d’études de cas d’applications de la MOA, le doctorat a recommandé plusieurs méthodologies d’intégration de la MOA à des fins géométallurgiques dans un contexte général d'un gisement de sulfure polymétallique/aurifère. Les principales étapes des projets miniers (exploration/géologie, faisabilité/programme géométallurgique, exploitation/production et gestion des rejets miniers) ont été utilisées pour illustrer les différentes méthodes proposées. La MOA permet ainsi d'obtenir des données minéralogiques pertinentes dès les premières étapes d'un projet minier et d'intégrer la minéralogie opérationnelle dans les processus de développement d’un circuit de traitement. De nombreux exemples illustrant la quantification minéralogique par MOA ont ainsi été fournis pour chaque étape du cycle minier, ce qui permet d'étayer la définition de différents domaines géométallurgique et géoenvironnementale d'un gisement