Программное обеспечение для автоматизированного распознавания и оцифровки архивных данных оптических наблюдений полярных сияний

One of the main tools for recording auroras is the optical observation of the sky in automatic mode using all-sky cameras. The results of observations are recorded in special mnemonic tables, ascaplots. Ascaplots provide daily information on the presence or absence of cloud cover and auroras in various parts of the sky and are traditionally used to study the daily distribution of auroras in a given spatial region, as well as to calculate the probability of their observation in other regions in accordance with the level of geomagnetic activity. At the same time, the processing of ascaplots is currently carried out manually, which is associated with significant time costs and a high proportion of errors due to the human factor. To increase the efficiency of ascaplot processing, we propose an approach that automates the recognition and digitization of data from optical observations of auroras. A formalization of the ascaplot structure is proposed, which is used to process the ascaplot image, extract the corresponding observation results, and form the resulting data set. The approach involves the use of machine vision algorithms and the use of a specialized mask - a debug image for digitization, which is a color image in which the general position of the ascaplot cells is specified. The proposed approach and the corresponding algorithms are implemented in the form of software that provides recognition and digitization of archival data from optical observations of auroras. The solution is a single-user desktop software that allows the user to convert ascaplot images into tables in batch mode, available for further processing and analysis. The results of the computational experiments have shown that the use of the proposed software will make it possible to avoid errors in the digitization of ascaplots, on the one hand, and significantly increase the speed of the corresponding computational operations, on the other. Taken together, this will improve the efficiency of processing ascaplots and conducting research in the relevant area.Одним из основных инструментов регистрации полярных сияний является оптическое наблюдение небосвода в автоматическом режиме с помощью камер всего неба. Результаты наблюдений фиксируются в специальных мнемонических таблицах, аскаплотах. Аскаплоты предоставляют суточную информацию о наличии или отсутствии облачного покрова и полярных сияний в различных частях небосвода и традиционно используются для исследования суточного распределения полярных сияний в заданном регионе, а также для расчета вероятности их наблюдения в других регионах в соответствии с уровнем геомагнитной активности. Обработка аскаплотов в настоящее время осуществляется вручную, что сопряжено с существенными временными затратами и высокой долей ошибок, возникающих по причине человеческого фактора. Для повышения эффективности обработки аскаплотов авторами предложен подход, обеспечивающий автоматизацию распознавания и оцифровки данных оптических наблюдений полярных сияний. Предложена формализация структуры аскаплота, применяемая для обработки его изображения, а также извлечение соответствующих результатов наблюдений и формирование результирующего набора данных. Подход предусматривает использование алгоритмов машинного зрения (в частности, в данном случае имеет место применение алгоритма классификации по правилам) и применение специализированной маски – отладочного изображения для оцифровки, представляющего собой цветное изображение, в котором задано общее положения ячеек аскаплотов. Предложенный подход и соответствующие алгоритмы реализованы в форме программного обеспечения для распознавания и оцифровки архивных данных оптических наблюдений полярных сияний. Решение представляет собой однопользовательское настольное программное обеспечение, позволяющее пользователю в пакетном режиме выполнять преобразование изображений аскаплотов в таблицы, доступные для последующей обработки и анализа. Результаты проведенных вычислительных экспериментов показали, что применение предложенного программного обеспечения позволит избежать ошибок при оцифровке аскаплотов, с одной стороны, и существенно повысить скорость соответствующих вычислительных операций, с другой. В совокупности это позволит повысить эффективность обработки аскаплотов и проведения исследований в соответствующей области

Robust Table Detection and Structure Recognition from Heterogeneous Document Images

We introduce a new table detection and structure recognition approach named RobusTabNet to detect the boundaries of tables and reconstruct the cellular structure of each table from heterogeneous document images. For table detection, we propose to use CornerNet as a new region proposal network to generate higher quality table proposals for Faster R-CNN, which has significantly improved the localization accuracy of Faster R-CNN for table detection. Consequently, our table detection approach achieves state-of-the-art performance on three public table detection benchmarks, namely cTDaR TrackA, PubLayNet and IIIT-AR-13K, by only using a lightweight ResNet-18 backbone network. Furthermore, we propose a new split-and-merge based table structure recognition approach, in which a novel spatial CNN based separation line prediction module is proposed to split each detected table into a grid of cells, and a Grid CNN based cell merging module is applied to recover the spanning cells. As the spatial CNN module can effectively propagate contextual information across the whole table image, our table structure recognizer can robustly recognize tables with large blank spaces and geometrically distorted (even curved) tables. Thanks to these two techniques, our table structure recognition approach achieves state-of-the-art performance on three public benchmarks, including SciTSR, PubTabNet and cTDaR TrackB2-Modern. Moreover, we have further demonstrated the advantages of our approach in recognizing tables with complex structures, large blank spaces, as well as geometrically distorted or even curved shapes on a more challenging in-house dataset.Comment: Accepted by Pattern Recognition on 27 Aug. 202

Improving data management through automatic information extraction model in ontology for road asset management

lRoads are a critical component of transportation infrastructure, and their effective maintenance is paramount in ensuring their continued functionality and safety. This research proposes a novel information management approach based on state-of-the-art deep learning models and ontologies. The approach can automatically extract, integrate, complete, and search for project knowledge buried in unstructured text documents. The approach on the one hand facilitates implementation of modern management approaches, i.e., advanced working packaging to delivery success road management projects, on the other hand improves information management practices in the construction industry