Hyperspectral image analysis for questioned historical documents.

This thesis describes the application of spectroscopy and hyperspectral image processing to examine historical manuscripts and text. Major activities in palaeographic and manuscript studies include the recovery of illegible or deleted text, the minute analyses of scribal hands, the identification of inks and the segmentation and dating of text. This thesis describes how Hyperspectral Imaging (HSI), applied in a novel manner, can be used to perform quality text recovery, segmentation and dating of historical documents. The non-destructive optical imaging process of Spectroscopy is described in detail and how it can be used to assist historians and document experts in the exemption of aged manuscripts. This non-destructive optical method of analysis can distinguish subtle differences in the reflectance properties of the materials under study. Many historically significant documents from libraries such as the Royal Irish Academy and the Russell Library at the National University of Ireland, Maynooth, have been the selected for study using the hyperspectral imaging technique. Processing techniques have are described for the applications to the study of manuscripts in a poor state of conservation. The research provides a comprehensive overview of Hyperspectral Imaging (HSI) and associated statistical and analytical methods, and also an in-depth investigation of the practical implementation of such methods to aid document analysts. Specifically, we provide results from employing statistical analytical methods including principal component analysis (PCA), independent component analysis (ICA) and both supervised and automatic clustering methods to historically significant manuscripts and text VIII such as Leabhar na hUidhre, a 12th century Irish text which was subject to part-erasure and rewriting, a 16th Century pastedown cover, and a multi-ink example typical of that found in, for example, late medieval administrative texts such as Gttingen’s kundige bok. The purpose of which is to achieve an overall greater insight into the historical context of the document, which includes the recovery or enhancement of faded or illegible text or text lost through fading, staining, overwriting or other forms of erasure. In addition, we demonstrate prospect of distinguishing different ink-types, and furnishing us with details of the manuscript’s composition, all of which are refinements, which can be used to answer questions about date and provenance. This process marks a new departure for the study of manuscripts and may provide answer many long-standing questions posed by palaeographers and by scholars in a variety of disciplines. Furthermore, through text retrieval, it holds out the prospect of adding considerably to the existing corpus of texts and to providing very many new research opportunities for coming generations of scholars

Surface analysis and visualization from multi-light image collections

Multi-Light Image Collections (MLICs) are stacks of photos of a scene acquired with a fixed viewpoint and a varying surface illumination that provides large amounts of visual and geometric information. Over the last decades, a wide variety of methods have been devised to extract information from MLICs and have shown its use in different application domains to support daily activities. In this thesis, we present methods that leverage a MLICs for surface analysis and visualization. First, we provide background information: acquisition setup, light calibration and application areas where MLICs have been successfully used for the research of daily analysis work. Following, we discuss the use of MLIC for surface visualization and analysis and available tools used to support the analysis. Here, we discuss methods that strive to support the direct exploration of the captured MLIC, methods that generate relightable models from MLIC, non-photorealistic visualization methods that rely on MLIC, methods that estimate normal map from MLIC and we point out visualization tools used to do MLIC analysis. In chapter 3 we propose novel benchmark datasets (RealRTI, SynthRTI and SynthPS) that can be used to evaluate algorithms that rely on MLIC and discusses available benchmark for validation of photometric algorithms that can be also used to validate other MLIC-based algorithms. In chapter 4, we evaluate the performance of different photometric stereo algorithms using SynthPS for cultural heritage applications. RealRTI and SynthRTI have been used to evaluate the performance of (Neural)RTI method. Then, in chapter 5, we present a neural network-based RTI method, aka NeuralRTI, a framework for pixel-based encoding and relighting of RTI data. In this method using a simple autoencoder architecture, we show that it is possible to obtain a highly compressed representation that better preserves the original information and provides increased quality of virtual images relighted from novel directions, particularly in the case of challenging glossy materials. Finally, in chapter 6, we present a method for the detection of crack on the surface of paintings from multi-light image acquisitions and that can be used as well on single images and conclude our presentation

Using middle-infrared reflectance for burned area detection

Tese de doutoramento, Ciências Geofísicas e da Geoinformação (Meteorologia), Universidade de Lisboa, Faculdade de Ciências, 2011A strategy is presented that allows deriving a new index for burned area discrimination over the Amazon and Cerrado regions of Brazil. The index is based on information from the near-infrared (NIR) and middle-infrared (MIR) channels of the Moderate Resolution Imaging Spectroradiometer (MODIS). A thorough review is undertaken of existing methods for retrieving MIR reflectance and an assessment is performed, using simulated and real data, about the added value obtained when using the radiative transfer equation (RTE) instead of the simplified algorithm (KR94) developed by Kaufman and Remer (1994), the most used in the context of burned area studies. It is shown that use of KR94 in tropical environments to retrieve vegetation reflectance may lead to errors that are at least of the same order of magnitude of the reflectance to be retrieved and considerably higher for large values of land surface temperature (LST) and solar zenith angle (SZA). Use of the RTE approach leads to better estimates in virtually all cases, with the exception of high values of LST and SZA, where results from KR94 are also not usable. A transformation is finally defined on the MIR/NIR reflectance space aiming to enhance the spectral information such that vegetated and burned surfaces may be effectively discriminated. The transformation is based on the difference between MIR and NIR in conjunction with the distance from a convergence point in the MIR/NIR space, representative of a totally burnt surface. The transformation allows defining a system of coordinates, one coordinate having a small scatter for pixels associated to vegetation, burned surfaces and soils containing organic matter and the other coordinate covering a wide range of values, from green and dry/stressed vegetation to burned surfaces. The new set of coordinates opens interesting perspectives to applications like drought monitoring and burned area discrimination using remote-sensed information.O coberto vegetal da superfície da Terra tem vindo a sofrer mudanças, por vezes drásticas, que conduzem a alterações tanto na rugosidade da superfície terrestre como no seu albedo, afectando directamente as trocas de calor sensível e latente e de dióxido de carbono entre a superfície terrestre e a atmosfera (Sellers et al., 1996). Neste contexto, as queimadas assumem um papel de extremo relevo (Nobre et al., 1991; O’Brien, 1996; Xue, 1996) na medida em que constituem uma das mais importantes fontes de alteração do coberto vegetal, resultando na destruição de florestas e de recursos naturais, libertando carbono da superfície continental para a atmosfera (Sellers et al., 1995) e perturbando as interacções biosfera-atmosfera (Levine et al., 1995; Scholes, 1995) através de mudanças na rugosidade do solo, na área foliar e noutros parâmetros biofísicos associados ao coberto vegetal. Ora, neste particular, a Amazónia Brasileira constitui um exemplo notável de mudanças no uso da terra e do coberto vegetal nas últimas décadas, como resultado da desflorestação induzida pelo homem bem como por causas naturais (Gedney e Valdes, 2000; Houghton, 2000; Houghton et al., 2000; Lucas et al., 2000), estimando-se que as regiões tropicais sejam responsáveis por cerca de 32% da emissão global de carbono para a atmosfera (Andreae, 1991). Neste contexto, a disponibilidade de informações pormenorizadas e actualizadas sobre as distribuições espacial e temporal de queimadas e de áreas ardidas em regiões tropicais afigura-se crucial, não só para uma melhor gestão dos recursos naturais, mas também para estudos da química da atmosfera e de mudanças climáticas (Zhan et al., 2002). A detecção remota constitui, neste âmbito, uma ferramenta indispensável na medida em que permite uma monitorização em tempo quase real, a qual se revela especialmente útil em áreas extensas e/ou de difícil acesso afectadas pelo fogo (Pereira et al., 1997). Diversos instrumentos, tais como o Land Remote Sensing Satellite/Thematic Mapper (LANDSAT/TM) e o National Oceanic and Atmospheric Administration/Advanced Very High Resolution Radiometer (NOAA/AVHRR) têm vindo a ser extensivamente utilizados na gestão dos fogos florestais, em particular aos níveis da detecção de focos de incêndio e da monitorização de áreas queimadas. Mais recentemente, o instrumento VEGETATION a bordo do Satellite Pour l'Observation de la Terre (SPOT) tem vindo a ser utilizado com sucesso na monitorização de fogos. Finalmente, são de referir os sensores da série Along Track Scanning Radiometer (ATSR) para os quais têm vindo a ser desenvolvidos algoritmos de identificação de focos de incêndio, e ainda o sensor Moderate Resolution Imaging Spectroradiometer (MODIS) que tem vindo a demonstrar capacidades óptimas no que respeita à observação global de fogos, plumas e áreas queimadas. Neste contexto, os métodos actuais de detecção de áreas ardidas através da detecção remota têm vindo a dar prioridade à utilização das regiões do vermelho (0.64 μm) e infravermelho-próximo (0.84 μm) do espectro eletromagnético. No entanto, tanto a região do vermelho quanto a do infravermelho-próximo apresentam a desvantagem de serem sensíveis à presença de aerossóis na atmosfera (Fraser e Kaufman, 1985; Holben et. al., 1986). Desta forma, em regiões tropicais como a Amazónia, onde existem grandes camadas de fumo devido à queima de biomassa, a utlização destas duas regiões do espectro eletromagnético torna-se insatisfatória para a detecção de áreas ardidas. Por outro lado, a região do infravermelho médio (3.7 – 3.9 μm) tem a vantagem de não ser sensível à presença da maior parte dos aerossóis, exceptuando a poeira (Kaufman e Remer, 1994) mostrando-se, ao mesmo tempo, sensível a mudanças na vegetação devido à absorção de água líquida. Com efeito, estudos acerca dos efeitos do vapor de água na atenuação do espectro eletromagnético demonstraram que a região do infravermelho médio é uma das únicas regiões com relativamente pouca atenuação (Kerber e Schut, 1986). Acresce que a região do infravermelho médio apresenta uma baixa variação da irradiância solar (Lean, 1991), tendo-se ainda que a influência das incertezas da emissividade na estimativa da temperatura da superfície é pequena quando comparada com outras regiões térmicas tais como as de 10.5 e 11.5 μm (Salysbury e D’Aria, 1994). A utilização da radiância medida através de satélites na região do infravermelho médio é, no entanto, dificultada pelo facto de esta ser afectada tanto pelo fluxo térmico quanto pelo fluxo solar, contendo, desta forma, duas componentes, uma emitida e outra reflectida, tendo-se que a componente reflectiva contém os fluxos térmico e solar reflectidos pela atmosfera e pela superfície enquanto que as emissões térmicas são oriundas da atmosfera e da superfície. Ora, a componente solar reflectida é de especial interesse para a detecção de áreas ardidas pelo que se torna necessário isolá-la do sinal total medido pelo sensor. Devido à ambiguidade deste sinal, a distinção dos efeitos da reflectância e da temperatura torna-se uma tarefa muito complexa, verificando-se que os métodos em que se não assume nenhuma simplificação, levando-se, portanto, em consideração todos os constituintes do sinal do infravermelho médio se tornam complexos e difíceis de serem aplicados na prática, na medida em que requerem dados auxiliares (e.g. perfis atmosféricos) e ferramentas computacionais (e.g. modelos de tranferência radiativa). Kaufman e Remer (1994) desenvolveram um método simples para estimar a reflectância do infravermelho médio o qual assenta em diversas hipóteses simplificadoras. Apesar do objectivo primário que levou ao desenvolvimento do método ser a identificação de áreas cobertas por vegetação densa e escura em regiões temperadas, este método tem sido lagarmente utilizado nos estudos acerca da discriminação de áreas queimadas, algumas das vezes em regiões tropicais (Roy et al., 1999; Barbosa et al., 1999; Pereira, 1999). Na literatura não existe, no entanto, nenhum estudo acerca da exactidão e precisão deste método quando aplicado com o objectivo de detectar áreas ardidas, em especial em regiões tropicais. Neste sentido, no presente trabalho procedeu-se a um estudo de viabilidade do método proposto por Kaufman e Remer (1994) em simultâneo com a análise da equação de tranferência radiativa na região do infravermelho médio, tendo sido realizados testes de sensibilidade dos algoritmos em relação aos erros nos perfis atmosféricos, ruído do sensor e erros nas estimativas da temperatura da superfície. Para tal recorreu-se ao modelo de transferência radiativa Moderate Spectral Resolution Atmospheric Transmittance and Radiance Code (MODTRAN), dando-se especial atenção ao caso do sensor MODIS. Os resultados demonstraram que a utilização do método proposto por Kaufman e Remer (1994) em regiões tropicais para a estimativa da reflectância no infravermelho médio, leva a erros que são pelo menos da mesma ordem de magnitude do parâmetro estimado e, em alguns casos, muito maior, quando ocorre a combinação de altas temperaturas da superfície terrestre com baixos ângulos zenitais solares. A utilização da equação de transferência radiativa mostrouse uma boa alternativa, desde que estejam disponíveis dados acerca da temperatura da superfíce terrestre assim como dos perfis atmosféricos. Entretanto, nas regiões onde ocorrem altos valores de temperatura da superfície terrestre e baixos ângulos zenitais solares, quaisquer dos dois métodos se mostra pouco utilizável, já que nesta região a estimativa da reflectância constitui um problema mal-posto. Em paralelo, utilizaram-se informações sobre aerossóis de queimada para efectuar simulações do MODTRAN que permitiram avaliar a reposta do canal do infravermelho-médio à este tipo de perturbação do sinal, muito comum na Amazónia Brasileira. A fim de tornar o estudo o mais realístico possível, procedeu-se à coleta de material resultante de queimadas na região Amazónica, mais especificamente em Alta Floresta, Mato Grosso, Brasil. Estes resultado foram então integrados nos estudos em questão, possibilitando a caracterização espectral das áreas ardidas. Com base nos resultados obtido definiu-se uma tranformação no espaço do infravermelho próximo e médio com o objetivo de maximizar a informação espectral de forma a que as superfícies vegetadas pudessem ser efectivamente discriminadas e as áreas ardidas identificadas. A tranformação baseia-se na diferença entre a reflectância nos infravermelhos próximo e médio, em conjunto com a distância a um ponto de convergência no espaço espectral dos infravermelhos próximo e médio, ponto esse representativo de uma área completamente ardida. A tranformação permitiu a definição de um novo sistema de coordenadas, o qual provou ser bastante útil no que diz respeito á identificação de áreas ardidas. Este novo espaço de coordenadas constitui uma inovação na área dos estudos de queimadas, já que permite ao mesmo tempo definir dois tipos de índices, o primeiro dos quais identifica superfícies que contém ou não biomassa e o segundo identifica, de entre as superfícies que contêm biomassa, a quantidade de água presente, podendo variar de vegetação verde (abundância de água) até áreas ardidas (ausência de água). Além de distiguir áreas ardidas, os índices desenvolvidos podem ainda ser aplicados em outros casos como, por exemplo, estudos de estresse hídrico e secas.DSA/INPE; Portuguese Foundation of Science and Technology (Fundação para a Ciência e Tecnologia / FCT)(SFRH/BD/21650/2005

Colour and Colorimetry Multidisciplinary Contributions Vol. XIb

It is well known that the subject of colour has an impact on a range of disciplines. Colour has been studied in depth for many centuries, and as well as contributing to theoretical and scientific knowledge, there have been significant developments in applied colour research, which has many implications for the wider socio-economic community. At the 7th Convention of Colorimetry in Parma, on the 1st October 2004, as an evolution of the previous SIOF Group of Colorimetry and Reflectoscopy founded in 1995, the "Gruppo del Colore" was established. The objective was to encourage multi and interdisciplinary collaboration and networking between people in Italy that addresses problems and issues on colour and illumination from a professional, cultural and scientific point of view. On the 16th of September 2011 in Rome, in occasion of the VII Color Conference, the members assembly decided to vote for the autonomy of the group. The autonomy of the Association has been achieved in early 2012. These are the proceedings of the English sessions of the XI Conferenza del Colore

On Improving Generalization of CNN-Based Image Classification with Delineation Maps Using the CORF Push-Pull Inhibition Operator

Deployed image classification pipelines are typically dependent on the images captured in real-world environments. This means that images might be affected by different sources of perturbations (e.g. sensor noise in low-light environments). The main challenge arises by the fact that image quality directly impacts the reliability and consistency of classification tasks. This challenge has, hence, attracted wide interest within the computer vision communities. We propose a transformation step that attempts to enhance the generalization ability of CNN models in the presence of unseen noise in the test set. Concretely, the delineation maps of given images are determined using the CORF push-pull inhibition operator. Such an operation transforms an input image into a space that is more robust to noise before being processed by a CNN. We evaluated our approach on the Fashion MNIST data set with an AlexNet model. It turned out that the proposed CORF-augmented pipeline achieved comparable results on noise-free images to those of a conventional AlexNet classification model without CORF delineation maps, but it consistently achieved significantly superior performance on test images perturbed with different levels of Gaussian and uniform noise

New Methods for ferrous raw materials characterization in electric steelmaking

425 p.In the siderurgical sector, the steel scrap is the most important raw material in electric steelmaking,contributing between 70% of the total production costs. It is well-known how the degree of which thescrap mix can be optimized, and also the degree of which the melting operation can be controlled andautomated, is limited by the knowledge of the properties of the scrap and other raw-materials in thecharge mix.Therefore, it is of strategic importance having accurate information about the scrap composition of thedifferent steel scrap types. In other words, knowing scrap characteristics is a key point in order to managethe steel-shop resources, optimize the scrap charge mix/composition at the electric arc furnace (EAF),increase the plant productivity, minimize the environmental footprint of steelmaking activities and tohave the lowest total cost of ownership of the plant.As a main objective of present doctoral thesis, the doctorate will provide new tools and methods of scrapcharacterization to increase the current recycling ration, through better knowledge of the quality of thescrap, and thus go in the direction of a 100% recycling ratio. In order to achieve it, two main workinglines were developed in present research. Firstly, it was analysed not only the different existingmethodologies for scrap characterization and EAF process optimization, but also to develop new methodsor combination of existing, Secondly, it was defined a general recommendations guide for implementingthese methods based on the specifics of each plant

UAVs for the Environmental Sciences

This book gives an overview of the usage of UAVs in environmental sciences covering technical basics, data acquisition with different sensors, data processing schemes and illustrating various examples of application

CIRA annual report FY 2015/2016

Reporting period April 1, 2015-March 31, 2016