Neural Networks for Document Image and Text Processing

Nowadays, the main libraries and document archives are investing a considerable effort on digitizing their collections. Indeed, most of them are scanning the documents and publishing the resulting images without their corresponding transcriptions. This seriously limits the document exploitation possibilities. When the transcription is necessary, it is manually performed by human experts, which is a very expensive and error-prone task. Obtaining transcriptions to the level of required quality demands the intervention of human experts to review and correct the resulting output of the recognition engines. To this end, it is extremely useful to provide interactive tools to obtain and edit the transcription. Although text recognition is the final goal, several previous steps (known as preprocessing) are necessary in order to get a fine transcription from a digitized image. Document cleaning, enhancement, and binarization (if they are needed) are the first stages of the recognition pipeline. Historical Handwritten Documents, in addition, show several degradations, stains, ink-trough and other artifacts. Therefore, more sophisticated and elaborate methods are required when dealing with these kind of documents, even expert supervision in some cases is needed. Once images have been cleaned, main zones of the image have to be detected: those that contain text and other parts such as images, decorations, versal letters. Moreover, the relations among them and the final text have to be detected. Those preprocessing steps are critical for the final performance of the system since an error at this point will be propagated during the rest of the transcription process. The ultimate goal of the Document Image Analysis pipeline is to receive the transcription of the text (Optical Character Recognition and Handwritten Text Recognition). During this thesis we aimed to improve the main stages of the recognition pipeline, from the scanned documents as input to the final transcription. We focused our effort on applying Neural Networks and deep learning techniques directly on the document images to extract suitable features that will be used by the different tasks dealt during the following work: Image Cleaning and Enhancement (Document Image Binarization), Layout Extraction, Text Line Extraction, Text Line Normalization and finally decoding (or text line recognition). As one can see, the following work focuses on small improvements through the several Document Image Analysis stages, but also deals with some of the real challenges: historical manuscripts and documents without clear layouts or very degraded documents. Neural Networks are a central topic for the whole work collected in this document. Different convolutional models have been applied for document image cleaning and enhancement. Connectionist models have been used, as well, for text line extraction: first, for detecting interest points and combining them in text segments and, finally, extracting the lines by means of aggregation techniques; and second, for pixel labeling to extract the main body area of the text and then the limits of the lines. For text line preprocessing, i.e., to normalize the text lines before recognizing them, similar models have been used to detect the main body area and then to height-normalize the images giving more importance to the central area of the text. Finally, Convolutional Neural Networks and deep multilayer perceptrons have been combined with hidden Markov models to improve our transcription engine significantly. The suitability of all these approaches has been tested with different corpora for any of the stages dealt, giving competitive results for most of the methodologies presented.Hoy en día, las principales librerías y archivos está invirtiendo un esfuerzo considerable en la digitalización de sus colecciones. De hecho, la mayoría están escaneando estos documentos y publicando únicamente las imágenes sin transcripciones, limitando seriamente la posibilidad de explotar estos documentos. Cuando la transcripción es necesaria, esta se realiza normalmente por expertos de forma manual, lo cual es una tarea costosa y propensa a errores. Si se utilizan sistemas de reconocimiento automático se necesita la intervención de expertos humanos para revisar y corregir la salida de estos motores de reconocimiento. Por ello, es extremadamente útil para proporcionar herramientas interactivas con el fin de generar y corregir la transcripciones. Aunque el reconocimiento de texto es el objetivo final del Análisis de Documentos, varios pasos previos (preprocesamiento) son necesarios para conseguir una buena transcripción a partir de una imagen digitalizada. La limpieza, mejora y binarización de las imágenes son las primeras etapas del proceso de reconocimiento. Además, los manuscritos históricos tienen una mayor dificultad en el preprocesamiento, puesto que pueden mostrar varios tipos de degradaciones, manchas, tinta a través del papel y demás dificultades. Por lo tanto, este tipo de documentos requiere métodos de preprocesamiento más sofisticados. En algunos casos, incluso, se precisa de la supervisión de expertos para garantizar buenos resultados en esta etapa. Una vez que las imágenes han sido limpiadas, las diferentes zonas de la imagen deben de ser localizadas: texto, gráficos, dibujos, decoraciones, letras versales, etc. Por otra parte, también es importante conocer las relaciones entre estas entidades. Estas etapas del pre-procesamiento son críticas para el rendimiento final del sistema, ya que los errores cometidos en aquí se propagarán al resto del proceso de transcripción. El objetivo principal del trabajo presentado en este documento es mejorar las principales etapas del proceso de reconocimiento completo: desde las imágenes escaneadas hasta la transcripción final. Nuestros esfuerzos se centran en aplicar técnicas de Redes Neuronales (ANNs) y aprendizaje profundo directamente sobre las imágenes de los documentos, con la intención de extraer características adecuadas para las diferentes tareas: Limpieza y Mejora de Documentos, Extracción de Líneas, Normalización de Líneas de Texto y, finalmente, transcripción del texto. Como se puede apreciar, el trabajo se centra en pequeñas mejoras en diferentes etapas del Análisis y Procesamiento de Documentos, pero también trata de abordar tareas más complejas: manuscritos históricos, o documentos que presentan degradaciones. Las ANNs y el aprendizaje profundo son uno de los temas centrales de esta tesis. Diferentes modelos neuronales convolucionales se han desarrollado para la limpieza y mejora de imágenes de documentos. También se han utilizado modelos conexionistas para la extracción de líneas: primero, para detectar puntos de interés y segmentos de texto y, agregarlos para extraer las líneas del documento; y en segundo lugar, etiquetando directamente los píxeles de la imagen para extraer la zona central del texto y así definir los límites de las líneas. Para el preproceso de las líneas de texto, es decir, la normalización del texto antes del reconocimiento final, se han utilizado modelos similares a los mencionados para detectar la zona central del texto. Las imagenes se rescalan a una altura fija dando más importancia a esta zona central. Por último, en cuanto a reconocimiento de escritura manuscrita, se han combinado técnicas de ANNs y aprendizaje profundo con Modelos Ocultos de Markov, mejorando significativamente los resultados obtenidos previamente por nuestro motor de reconocimiento. La idoneidad de todos estos enfoques han sido testeados con diferentes corpus en cada una de las tareas tratadas., obtenieAvui en dia, les principals llibreries i arxius històrics estan invertint un esforç considerable en la digitalització de les seues col·leccions de documents. De fet, la majoria estan escanejant aquests documents i publicant únicament les imatges sense les seues transcripcions, fet que limita seriosament la possibilitat d'explotació d'aquests documents. Quan la transcripció del text és necessària, normalment aquesta és realitzada per experts de forma manual, la qual cosa és una tasca costosa i pot provocar errors. Si s'utilitzen sistemes de reconeixement automàtic es necessita la intervenció d'experts humans per a revisar i corregir l'eixida d'aquests motors de reconeixement. Per aquest motiu, és extremadament útil proporcionar eines interactives amb la finalitat de generar i corregir les transcripcions generades pels motors de reconeixement. Tot i que el reconeixement del text és l'objectiu final de l'Anàlisi de Documents, diversos passos previs (coneguts com preprocessament) són necessaris per a l'obtenció de transcripcions acurades a partir d'imatges digitalitzades. La neteja, millora i binarització de les imatges (si calen) són les primeres etapes prèvies al reconeixement. A més a més, els manuscrits històrics presenten una major dificultat d'analisi i preprocessament, perquè poden mostrar diversos tipus de degradacions, taques, tinta a través del paper i altres peculiaritats. Per tant, aquest tipus de documents requereixen mètodes de preprocessament més sofisticats. En alguns casos, fins i tot, es precisa de la supervisió d'experts per a garantir bons resultats en aquesta etapa. Una vegada que les imatges han sigut netejades, les diferents zones de la imatge han de ser localitzades: text, gràfics, dibuixos, decoracions, versals, etc. D'altra banda, també és important conéixer les relacions entre aquestes entitats i el text que contenen. Aquestes etapes del preprocessament són crítiques per al rendiment final del sistema, ja que els errors comesos en aquest moment es propagaran a la resta del procés de transcripció. L'objectiu principal del treball que estem presentant és millorar les principals etapes del procés de reconeixement, és a dir, des de les imatges escanejades fins a l'obtenció final de la transcripció del text. Els nostres esforços se centren en aplicar tècniques de Xarxes Neuronals (ANNs) i aprenentatge profund directament sobre les imatges de documents, amb la intenció d'extraure característiques adequades per a les diferents tasques analitzades: neteja i millora de documents, extracció de línies, normalització de línies de text i, finalment, transcripció. Com es pot apreciar, el treball realitzat aplica xicotetes millores en diferents etapes de l'Anàlisi de Documents, però també tracta d'abordar tasques més complexes: manuscrits històrics, o documents que presenten degradacions. Les ANNs i l'aprenentatge profund són un dels temes centrals d'aquesta tesi. Diferents models neuronals convolucionals s'han desenvolupat per a la neteja i millora de les dels documents. També s'han utilitzat models connexionistes per a la tasca d'extracció de línies: primer, per a detectar punts d'interés i segments de text i, agregar-los per a extraure les línies del document; i en segon lloc, etiquetant directament els pixels de la imatge per a extraure la zona central del text i així definir els límits de les línies. Per al preprocés de les línies de text, és a dir, la normalització del text abans del reconeixement final, s'han utilitzat models similars als utilitzats per a l'extracció de línies. Finalment, quant al reconeixement d'escriptura manuscrita, s'han combinat tècniques de ANNs i aprenentatge profund amb Models Ocults de Markov, que han millorat significativament els resultats obtinguts prèviament pel nostre motor de reconeixement. La idoneïtat de tots aquests enfocaments han sigut testejats amb diferents corpus en cadascuna de les tasques tractadPastor Pellicer, J. (2017). Neural Networks for Document Image and Text Processing [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/90443TESI

Study of grain growth in the early phases of protostars: from envelopes to disks

Die Untersuchung der Eigenschaften des Staubes um junge Protosterne ist entscheidend um zu verstehen, wie früh im Bildungsprozess von Sternen und Planeten, Staubkörner effizient zu koagulieren beginnen und sich von mikrometer-großen Partikeln zu Kieselsteinen und dann zu Planetesimalen entwickeln. Die physikalischen und Staub-Eigenschaften des kollabierenden Wolken-Materials und deren Verbindung mit den Scheibendimensionen sind jedoch noch unzureichend verstanden. Neuere Studien haben Sub-mm/mm-Beobachtungen analysiert, um zu untersuchen, wie effektiv die Staub-Koagulation in den frühesten Stadien der Sternentstehung ist. Allerdings sind die Erkenntnisse über die Korngrößen immer noch nicht schlüssig. Diese Arbeit konzentriert sich auf Per-emb-50, einen Protostern der Klasse I, der sich im Komplex NGC1333 innerhalb des Sternentstehungsgebietes Perseus befindet. Dies ist die erste selbstkonsistente Strahlungstransfermodellierung dieser Quelle, die gleichzeitig die Scheiben-, Hüllkurven- und Staubeigenschaften durch Anpassung der Multi-Wellenlängen-Beobachtungen einschränkt. Im ersten Teil dieser Arbeit untersuchte ich den Staub und die physikalischen Eigenschaften der inneren Hülle von Per-emb-50 innerhalb von 3000 au durch Verwendung von interferometrischen Beobachtungen von NOEMA (NOrthern Erweitertes Millimeter-Array) und SMA (Submillimeter-Array) im Millimeter-Wellenlängenbereich. Beide Datensätze werden durch analytische Modelle angepasst, um einen Vergleich mit früheren Studien zu ziehen, und werden schließlich mit vollständigen Strahlungstranfermodellen gefittet. Der Scheibenradius, die Scheibenmasse, die Hülldichte-Struktur und die Hüllkorngröße werden als freie Parameter bei der Rastersuche belassen. Ich bin zu dem Ergebnis gekommen, dass das Niveau des Kornwachstums gefunden wurde, mit einer maximalen Korngröße von 100 μm, oder niedriger. Diese Arbeit ergab auch, dass die Einbeziehung der Hüllstruktur notwendig ist, um die thermische Emission auf der Scheibe richtig zu modellieren. Tatsächlich wird der Effekt der thermischen Emission der Hülle auf die Scheibe (d.h. die Rückwärmung) bei diesen Objekten oft ignoriert. Die Vorwärmung kann, abhängig vom einigen zehn bis zu hundert Kelvin, Aus diesem Grund kann eine solche Rückwärmung auch die Gasphasenchemie und die Staubmantelchemie in jungen Quellen beeinflussen. Der zweite Teil dieser Arbeit ist eine erweiterte Analyse der Scheibeneigenschaften von Per-emb-50. Insbesondere habe ich hochauflösende Daten aus VLA (Very Large Array)-Beobachtungen mit einer Auflösung von ~20 au kombiniert, die es erlaubt, die Compact Disk zu untersuchen. Die neuen Multi-Wellenlängen-Strahlungstransfer-Modelle zeigten, dass die maximale Korngröße in den äußeren Bereichen der Scheibe, im optisch dünnen Bereich zwischen 25 und 38 au, mit Körnern konsistent ist, die größer als 700 μm sind. Zusätzlich habe ich neue Grenzwerte für den Scheibenradius und die Staubmasse abgeleitet, die präziser sind als frühere, auf analytischen Methoden basierende Studien. Darüber hinaus legt die abgeleitete Scheibenmasse für Per-emb-50 nahe, dass dieser Protostern der Klasse I genügend Masse hat, um zukünftige Riesenplaneten zu bilden, wenn man einen minimalen Massenbudget von 0.01 Msun in Betracht zieht. Bis heute ist dies die detaillierteste selbstkonsistente Modellierung eines Protosterns der Klasse I, bei der große und kleine Maßstäbe und Beobachtungen kombiniert werden. Der letzte Teil dieser Arbeit konzentriert sich auf den Anpassungsrahmen SiDE (Simple Disk Envelope fit). Die vorherige Analyse führte ein großes Gitter von Strahlungstransfermodellen aus, die einen enormen Aufwand an Rechenressourcen und Zeit erfordern; ein Nachteil dabei ist, dass für jeden Parameter eine diskrete Anzahl von Werten untersucht wird. Dieses Rahmenwerk, das während dieser Arbeit entwickelt und getestet wurde, kombiniert die Strahlungstransport-Modellierung, die Verarbeitung der Sichtbarkeiten von MehrwellenŁangen-Beobachtungen und das Markov Chain Monte Carlo emcee Sampler-Tool zur effizienten Untersuchung eines großen Parameterraums. Dieses Werkzeug wird dringend benötigt, da Typische Studien zu planetaren Scheiben müssen eine große Anzahl von Parametern untersuchen. Dazu gehört die Anpassung von Hunderttausenden von Datenpunkt-Beobachtungen, oder sogar Millionen im Falle von ALMA (Atacama Large Millimeter/Sub-Millimeter Array). Um monatelange rechnerische Berechnungen und Analyse zu ersparen, wird dieses Werkzeug (Sampler-Tool) daher dringend benötigt. Dieses Werkzeug ist auch für die Analyse zukünftiger Multi-Wellenlängen-Beobachtungen von großen Gruppen junger Protosterne mit interferometrischen Arrays wie ALMA. Dies wird uns ermöglichen das frühe Kornwachstum zu verstehen. Schließlich hat diese Arbeit ein neues Beispiel geliefert, das zeigt, dass wir nur durch eine detaillierte Strahlungsübertragung-Modellierung die Herausforderung bewältigen können, die Scheiben- und Füllmassen, sowie deren physikalischen und Staub-Eigenschaften effizient auseinanderzuhalten.The study of the properties of the dust around young protostars is crucial for understanding how early in the star and planet formation process dust grains start to efficiently coagulate and evolve from micron sized particles to pebbles and then planetesimals. However, the physical and dust properties of the collapsing cloud material and their connection with the disk scales are still poorly understood. Recent studies have analyzed sub-mm/mm observations to probe how effective is the dust coagulation in the earliest stages of star formation, but the findings about grain sizes are still not conclusive. This thesis focuses on Per-emb-50, a Class I protostar located in the complex NGC 1333 within the Perseus star forming region. This is the first self-consistent radiative transfer modeling of this source that constrains the disk, envelope and dust properties simultaneously by fitting multi-wavelength observations. In the first part of this work I studied the dust and physical properties of the inner envelope of Per-emb-50, within 3000 au, by using NOEMA (NOrthern Extended Millimeter Array) and SMA (Submillimeter Array) interferometric observations at millimeter wavelengths. Both data-sets are fitted with analytical models to compare with previous studies and then fitted by full radiative transfer models. The disk radius, disk mass, envelope density structure and envelope grain size are left as free parameters in the grid search. I find that the level of grain growth in the inner envelope of Per-emb-50 is substantially lower than what is found for other young sources, with a maximum grain size of 100 μm or lower. This work also revealed that the inclusion of the envelope structure is necessary to properly model the thermal emission on the disk. Indeed, the effect of the envelope thermal emission on the disk (i.e. backwarming), is often ignored for those objects. The backwarming, depending of the envelope density profile, can significantly change the disk’s temperature, from a few tens to hundred Kelvin, therefore, it can also affect the gas phase chemistry and the dust mantle chemistry in young sources. The second part of this thesis is an extended analysis of the disk properties of Per-emb-50. In particular, I combined high resolution data from VLA (Very Large Array) observations with a ~20 au resolution that allows to study the compact disk. The new multi-wavelength radiative transfer models revealed that the maximum grain size in the outer regions of the disk, in the optically thin region between 25 and 38 au, is consistent with grains larger than 700 μm. I also derived new limits for the disk radius and dust mass, which are more refined than previous studies based on analytical methods. Additionally, the derived disk mass for Per-emb-50 suggests that this Class I protostar has enough mass to form futures giant planets considering a budget threshold of 0.01 Msun. To date, this is the most detailed self-consistent modeling on a Class I protostar combining large and small scales and observations. The last part of this thesis focuses on the fitting framework SiDE (Simple Disk Envelope fit). The previous analysis ran a large grid of radiative transfer models, which require a huge amount of computational resources and time and it has the disadvantage of exploring a discrete number of values for each parameter. This framework, which was developed and tested during this thesis, combines the radiative transfer modelling, the processing of the visibilities of multi-wavelength observations, and the Markov Chain Monte Carlo emcee sampler tool to efficiently explore a large parameter space. This tool is highly required, as typical protoplanetary disk studies need to explore a large number of parameters, fitting hundreds of thousands of data point observations, or even millions in case of ALMA (Atacama Large Millimeter/sub-millimeter Array), which can save months of computational calculations and analysis. This tool is also designed to analyze future multi-wavelength observations of large samples of young protostars with interferometric arrays such as ALMA, that will allow us to understand the early grain growth. Finally, this work has provided a new example which shows that only through a detailed radiative transfer modeling we can overcome the challenge of robustly disentangling the disk and envelope masses as well as their physical and dust properties

Atti del XXXV Convegno Nazionale di Idraulica e Costruzioni Idrauliche

La XXXV edizione del Convegno Nazionale di Idraulica e Costruzioni Idrauliche (IDRA16), co-organizzata dal Gruppo Italiano di Idraulica (GII) e dal Dipartimento di Ingegneria Civile, Chimica, Ambientale, e dei Materiali (DICAM) dell’Alma Mater Studiorum - Università di Bologna, si è svolta a Bologna dal 14 al 16 settembre 2016. Il Convegno Nazionale è tornato pertanto ad affacciarsi all’ombra del “Nettuno”, dopo l’edizione del 1982 (XVIII edizione). Il titolo della XXXV edizione, “Ambiente, Risorse, Energia: le sfide dell’Ingegneria delle acque in un mondo che cambia”, sottolinea l’importanza e la complessità delle tematiche che rivestono la sfera dello studio e del governo delle risorse idriche. Le sempre più profonde interconnessioni tra risorse idriche, sviluppo economico e benessere sociale, infatti, spronano sia l’Accademia che l’intera comunità tecnico-scientifica nazionale ed internazionale all’identificazione ed alla messa in atto di strategie di gestione innovative ed ottimali: sfide percepite quanto mai necessarie in un contesto ambientale in continua evoluzione, come quello in cui viviamo. La XXXV edizione del Convegno di Idraulica e Costruzioni Idrauliche, pertanto, si è posta come punto d’incontro della comunità tecnico-scientifica italiana per la discussione a tutto tondo di tali problematiche, offrendo un programma scientifico particolarmente ricco e articolato, che ha coperto tutti gli ambiti riconducibili all’Ingegneria delle Acque. L’apertura dei lavori del Convegno si è svolta nella storica cornice della Chiesa di Santa Cristina, uno dei luoghi più caratteristici e belli della città ed oggi luogo privilegiato per l’ascolto della musica classica, mentre le attività di presentazione e discussione scientifica si sono svolte principalmente presso la sede della Scuola di Ingegneria e Architettura dell’Università di Bologna sita in Via Terracini. Il presente volume digitale ad accesso libero (licenza Creative Commons 4.0) raccoglie le memorie brevi pervenute al Comitato Scientifico di IDRA16 ed accettate per la presentazione al convegno a valle di un processo di revisione tra pari. Il volume articola dette memorie in sette macro-tematiche, che costituiscono i capitoli del volume stesso: I. meccanica dei fluidi; II. ambiente marittimo e costiero; III. criteri, metodi e modelli per l’analisi dei processi idrologici e la gestione delle acque; IV. gestione e tutela dei corpi idrici e degli ecosistemi; V. valutazione e mitigazione del rischio idrologico e idraulico; VI. dinamiche acqua-società: sviluppo sostenibile e gestione del territorio; VII. monitoraggio, open-data e software libero. Ciascuna macro-tematica raggruppa più sessioni specialistiche autonome sviluppatesi in parallelo durante le giornate del Convegno, i cui titoli vengono richiamati all’interno del presente volume. La vastità e la diversità delle tematiche affrontate, che ben rappresentano la complessità delle numerose sfide dell’Ingegneria delle Acque, appaiono evidenti dalla consultazione dell’insieme di memorie brevi presentate. La convinta partecipazione della Comunità Scientifica Italiana è dimostrata dalle oltre 350 memorie brevi, distribuite in maniera pressoché uniforme tra le sette macro-tematiche di riferimento. Dette memorie sono sommari estesi di lunghezza variabile redatti in lingua italiana, o inglese. In particolare, la possibilità di stesura in inglese è stata concessa con l’auspicio di portare la visibilità del lavoro presentato ad un livello sovranazionale, grazie alla pubblicazione open access del volume degli Atti del Convegno. Il volume si divide in tre parti: la parte iniziale è dedicata alla presentazione del volume ed all’indice generale dei contributi divisi per macro-tematiche; la parte centrale raccoglie le memorie brevi; la terza parte riporta l’indice analitico degli Autori, che chiude il volume