8 research outputs found

    Спосіб вимірювання спотворення синусоїдального сигналу

    Get PDF
    Спосіб вимірювання спотворення синусоїдального сигналу, при якому проводять фіксацію електронної величини рівня несинусоїдальності віднесеного до рівня сигналу, який контролюється, з подальшим формуванням сигналу для керування відповідними коригуючими пристроями. Рівень несинусоїдальності визначають для довільних значень амплітуди та частоти вхідного сигналу відносно до його рівня

    Виготовлення дослідного зразка безпілотного апарату та впровадження результатів дослідження

    Get PDF
    Мета роботи – підвищення функціональної ефективності бортової системи безпілотного літального апарату, що здійснює у автономному режимі локальну навігацію та класифікаційний аналіз спостережень за умов ресурсних та інформаційних обмежень. Методи дослідження – аналіз літературних джерел, методи розрідженого кодування, методи нейромережевого та інформаційно-екстремального моделювання

    Розробка інформаційного та програмного забезпечення бортової системи безпілотного апарату, що функціонує в режимі навчання вирішувальних правил та класифікаційного аналізу спостережень

    Get PDF
    Мета роботи – підвищення функціональної ефективності бортової системи безпілотного літального апарату, що здійснює у автономному режимі локальну навігацію та класифікаційний аналіз спостережень за умов ресурсних та інформаційних обмежень. Методи дослідження – аналіз літературних джерел, методи розрідженого кодування, методи нейромережевого та інформаційноекстремального моделювання

    Розробка інформаційного та програмного забезпечення бортової системи безпілотного апарату, що функціонує в режимі самонавчання екстрактора ознакового опису середовища для навігації та класифікаційного аналізу спостережень

    Get PDF
    Мета роботи – підвищення функціональної ефективності бортової системи безпілотного літального апарату, що здійснює у автономному режимі локальну навігацію та класифікаційний аналіз спостережень за даними різнотипних сенсорів за умов ресурсних та інформаційних обмежень, і неповної визначеності, обумовленої довільними умовами спостереження та нестаціонарністю середовища

    Models and methods of intelligent information technology for assessing the functional state of sewage pipes

    No full text
    Дисертація присвячена розв’язанню актуальної науково-прикладної задачі автоматизації процесу оцінювання функціонального стану трубопроводу водовідведення за даними відеоінспекції через розроблення інформаційної технології інтелектуального аналізу даних. Застосування розробленої інформаційної технології оцінювання функціонального стану труб водовідведення дозволяє підвищити точність автоматичного формування звітів про інспекцію. Аналіз наукових джерел показав, що візуальні спостереження в інспекції труб водовідведення досить сильно відрізняються від зображень відкритих наборів даних, що знижує ефективність використання техніки переносу знань (transfer learning) для початкової ініціалізації моделі аналізу даних. При цьому неоднозначність кодування дефектів складної конфігурації, висока варіативність візуальних спостережень, рутинність і дороговартісність розмітки даних, обумовлюють обмеженість обсягу і високу незбалансованість розмічених навчальних даних, що обмежує ефективність традиційних методів навчання з учителем. Залежність кодування функціонального стану труби від зміни рівня води, орієнтації камери і дефектів під час відеоінспекції, наявність значної кількості артефактів та шумів обумовлюють необхідність врахування просторово часової контекстної інформації. Тому одним із складних завдань, на дослідження якого спрямована дисертаційна робота, є створення інтелектуальної інформаційної технології машинного навчання для автоматичного аналізу даних відеоінспекції труб водовідведення за умов обмеженого обсягу навчальних даних та ресурсів, доступних для навчання та обслуговування системи. Водночас вирішення цього завдання полягає в необхідності аналізу просторово-часової контекстної інформації. Об’єктом дослідження є процес оцінювання функціонального стану труб водовідведення. Предметом дослідження є моделі й методи інформаційної технології оцінювання функціонального стану труб водовідведення. У дисертаційній роботі визначено актуальність застосування інформаційних технологій у галузі інспекції труб водовідведення. Для інспекції труб водовідведення використовують відеокамери, в тому числі тепловізійні, сонари, георадари, лазерні сканери, електросканери та їх комбінації з метою виявлення дефектів та оцінювання цілісності стінок труб та стану ґрунту навколо труб. На основі проведеного аналізу методів та підходів до інспекції труб водовідведення встановлено, що основним джерелом інформації є відеокамери, оскільки відеоінспекція вимагає найменше накладних витрат, а інформативність отриманих даних забезпечує виявлення більшості важливих типів дефектів. основна тенденція розвитку сучасних технологій аналізу даних відеоінспекції пов’язана з впровадженням технологій машинного зору та штучного інтелекту, хоча ці технології досі не надають достатнього рівня автоматизації через недостатню достовірність сформованих звітів. Таким чином, їх удосконалення є важливим напрямком досліджень. За результатами аналізу процесу відеоінспекції труб водовідведення обґрунтовано потребу у створенні нової інтелектуальної інформаційної технології оцінювання функціонального стану труб водовідведення шляхом використання ідей і методів композиції простих моделей, контрастного навчання, завадозахищеного кодування та інформаційно-екстремальної інтелектуальної технології (ІЕІ-технології). Таким чином, основний напрямок підвищення ефективності моделей оцінювання функціонального стану труб водовідведення полягає в адаптації вхідного математичного опису та побудові в процесі навчання класифікаційних вирішувальних правил, що призначені для розпізнавання контексту, розпізнавання дефектів в окремих контекстах та оцінювання зміни рівня води, шляхом максимізації критерію ефективності. Уперше розроблено метод навчання ієрархічного екстрактора ознак, що на відміну від відомих, забезпечує підвищення функціональної ефективності вирішувальних правил за умов зашумленості та незбалансованості навчальних даних шляхом поєднання принципів переносу знань, сіамських мереж, контрастного самонавчання та самокоректуючих двійкових кодів. Запропонований метод машинного навчання забезпечує точність 98% для класифікаційного аналізу дефектів у контексті спостереження з орієнтацією камери вперед вздовж труби, що перевищує на 11% результат традиційного підходу до навчання з кінця-в-кінець з повнозв’язним шаром класифікації. Оскільки в контексті спостереження, що відповідає орієнтації камери на бічну стінку, присутня помітна незбалансованість даних, то ефективність класифікації дефектів оцінюється F1-метрикою і становить F1=0,977, що на 5% більше ніж в рамках традиційного підходу. Отримана точність класифікації дефектів в рамках запропонованого підходу перевищує на 6% результати отримані іншими авторами, і дозволяє отримати більшу точність звітів про функціональний стан труб водовідведення. Удосконалено моделі екстракції ознакового опису спостережень шляхом поєднання локальної і просторово-часової візуальної контекстної інформації, що дозволяє підвищити інформативність ознакового опису відеоспостережень інспекції трубопроводу водовідведення за умов неповної визначеності. Встановлено перевагу використання 1D згорткової моделі порівняно з LSTM (Long Short-Term Memory) та GRU (Gated Recurrent Units) мережами для аналізу міжкадрових залежностей. Також емпірично доведено, що регулярна згорткова архітектура темперальної мережі є найбільш ефективною під час аналізу міжкадрових залежностей відеоінспекції труб. Мікроусереднене значення F1-міри навченого в рамках запропонованого підходу екстрактора ознак для розпізнавання контексту спостережень з алфавіту 11 класів становить 0,92, що перевищує на 5% результат для моделі без врахування міжкадрових залежностей. Для алфавіту класів, що описує рівні води від 0% до 55% з кроком в 5% мікроусереднене значення F1-міри в рамках запропонованого підходу становить 0,879 і перевищує на 9% значення для моделі без врахування міжкадрових залежностей. Набули подальшого розвитку моделі і алгоритми синтезу вирішувальних правил для класифікаційного аналізу спостережень, які основані на композиції моделей та оптимізації параметрів класифікаційних вирішувальних правил та гіперпараметрів екстрактора ознак за інформаційним критерієм. Тобто моделі з інформаційно-екстремальними вирішувальними правилами для розпізнавання контексту, рівня води та дефектів компонуються для оцінювання функціонального стану труби. За результатами перевірки 100 звітів про інспекцію, що формують за результатами агрегації результатів розпізнавання вздовж труби, отримано оцінку повної ймовірності помилкових рішень під час формування звітів, яка не перевищує 3%, що свідчить про прийнятний для практичного використання рівень точності згенерованих системою звітів. У результаті виконаного дослідження було розроблено узагальнену та деталізовану функціональну модель процесу оптимізації параметрів системи класифікаційного аналізу даних в рамках запропонованої інформаційної технології. Розроблено узагальнену та деталізовану функціональну модель процесу аналізу даних відеоінспекції для формування звітів в рамках запропонованої інформаційної технології. Запропоновано структуру і програмну реалізацію хмарного сервісу для автоматичного формування звіту про функціональний стан труб водовідведення за даними відеоінспекції. Перевагою даного рішення є можливість асинхронної обробки множини відео за рахунок черги повідомлень та пакетного оброблення задач. Одержані наукові результати досліджень у вигляді інформаційного та програмного забезпечення впроваджено під час підготовки персоналу та проведення інспекції каналізаційної мережі в КП "Міськводоканал" СМР (м. Суми), під час розроблення інтелектуальної системи відеомоніторингу інфраструктурних об’єктів в Товаристві з обмеженою відповідальністю “РОЗУМНІ ТЕХНОЛОГІЇ «ТИТУЛ»” (м. Суми), під час розроблення програмного забезпечення модуля машинного зору для дистанційно-керованої мобільної платформи в Товаристві з обмеженою відповідальністю “НОРД ТРЕК” (м. Шостка, Сумська область), під час розроблення системи класифікаційного аналізу даних відеоінспекції трубопроводу водовідведення в компанії Molfar.AI sp. z o.o., (місто Гданськ, Польща), а також у навчальному процесі кафедри комп’ютерних наук Сумського державного університету під час викладання дисципліни “Introduction to Data Science”.The dissertation is devoted to solving the actual scientific and applied problem of automating the process of assessing the functional state of sewage pipelines based on video inspection data through the development of information technology for intelligent data analysis. The application of the developed information technology for assessing the functional state of sewage pipes allows increasing the accuracy of automatic formation of inspection reports. An analysis of scientific sources revealed that visual observations in sewer pipe inspections differ significantly from images in open datasets, reducing the efficiency of transfer learning techniques for initial data analysis model initialization. Meanwhile, the ambiguity of encoding complex configuration defects, high variability of visual observations, the routine and costly nature of data labeling, result in limited volume and high imbalance of labeled training data, which restricts the effectiveness of traditional supervised learning methods. The encoding of the functional state of the pipe is dependent on changes in the water level, camera orientation, and defects during video inspection. The presence of a significant number of artifacts and noise necessitates consideration of spatio-temporal contextual information. Therefore, one of the complex tasks that the dissertation aims to research is the creation of intelligent information technology for machine learning for automatic data analysis of sewer pipe video inspection under conditions of limited training data volume and resources available for system training and maintenance. At the same time, solving this task involves the necessity of analyzing spatio-temporal contextual information. The object of the study is the process of assessing the functional state of sewer pipes. The subject of the study is models and methods of information technology for assessing the functional state of sewer pipes. The dissertation defines the relevance of applying information technology in the field of sewer pipe inspection. For sewer pipe inspections, video cameras are used, including thermal imaging cameras, sonars, ground-penetrating radars, laser scanners, electro scanners, and their combinations with the aim of detecting defects and assessing the integrity of the pipe walls and the state of the ground around the pipes. Based on the conducted analysis of methods and approaches to sewer pipe inspection, it has been established that video cameras are the primary source of information, as video inspection requires the least overhead costs, and the informativeness of the obtained data ensures the detection of most important types of defects. The main trend in the development of modern data analysis technologies for video inspection is associated with the implementation of machine vision and artificial intelligence technologies, although these technologies do not yet provide a sufficient level of automation due to the inadequate reliability of the formed reports. Therefore, their improvement is an important direction of research. Based on the analysis of the sewer pipe video inspection process, the need for creating a new intelligent information technology for assessing the functional state of sewer pipes by using the ideas and methods of model composition, contrastive learning, noise-resistant coding, and information-extreme intelligent technology (IEI-technology) has been substantiated Thus, the main direction for enhancing the effectiveness of models for evaluating the functional state of sewer pipes lies in adapting the input mathematical description and constructing classification decision rules during the learning process. These rules are intended for context recognition, defect recognition in individual contexts, and water level change assessment, all achieved through maximizing efficiency criteria. For the first time, a method has been developed for training a hierarchical feature extractor, which, unlike known ones, ensures an increase in the functional efficiency of decision rules under conditions of noisy and imbalanced training data by combining the principles of knowledge transfer, siamese networks, contrastive self-learning, and self correcting binary codes. The proposed machine learning method provides an accuracy of 98% for classification analysis of defects in the context of observations with a forward facing camera orientation along the pipe, which is 11% higher than the result of the traditional end-to-end learning approach with a fully connected classification layer. Given the significant data imbalance present in the context of observations corresponding to the camera orientation towards the side wall, the effectiveness of defect classification is assessed using the F1-metric and amounts to F1=0.977, which is 5% higher than within the traditional approach. The obtained accuracy of defect classification within the proposed approach exceeds by 6% the results obtained by other authors, and allows for greater accuracy of reports on the functional state of sewer pipes. Feature extraction models have been refined by combining local and spatio temporal visual contextual information, which allows to increase the informativeness of the feature description of video inspections of the sewer pipeline under conditions of incomplete definiteness. The advantage of using a 1D convolutional model over LSTM and GRU networks for analyzing inter-frame dependencies has been established. Additionally, it has been empirically proven that the regular convolutional architecture of the temporal network is the most effective during the analysis of inter-frame dependencies in pipe video inspection. The micro-averaged F1-score of the feature extractor trained within the proposed approach for recognizing the context of observations from an alphabet of 11 classes is 0.92, which is 5% higher than the result for a model without considering inter-frame dependencies. For an alphabet of classes describing water levels from 0% to 55% in 5% increments, the micro-averaged F1-score within the proposed approach is 0.879 and exceeds by 9% the value for a model without considering inter-frame dependencies. Models and algorithms for the synthesis of decision rules for the classification analysis of observations, which are based on model composition and optimization of parameters of classification decision rules and hyperparameters of the feature extractor according to the information criterion, have been further developed. That is, models with information-extreme decision rules for recognizing context, water level, and defects are composed for assessing the functional state of the pipe. Based on the verification of 100 inspection reports formed as a result of aggregating recognition results along the pipe, an assessment of the total probability of erroneous decisions during report formation was obtained, which does not exceed 3%. This indicates an acceptable level of accuracy for practical use of the reports generated by the system. As a result of the conducted research, a generalized and detailed functional model of the process of optimizing the parameters of the data classification analysis system was developed within the proposed information technology. A generalized and detailed functional model of the video inspection data analysis process was also developed for report generation within the proposed information technology. The structure and software implementation of a cloud service for automatic report generation about the functional state of sewage pipes based on video inspection data have been proposed. The advantage of this solution is the ability to process multiple videos asynchronously due to the message queue and batch processing of tasks. The obtained scientific results in the form of informational and software provision have been implemented during the training of personnel and conducting of sewer network inspections at KP "Miskvodokanal" SMR (Sumy city), during the development of an intelligent video monitoring system for infrastructure objects at the Limited Liability Company “SMART TECHNOLOGIES “TITUL”” (Sumy city), during the development of software for a machine vision module for a remotely controlled mobile platform at the Limited Liability Company “NORD TREK” (Shostka city, Sumy region), during the development of a classification analysis system for sewer pipeline video inspection data at the company Molfar.AI sp. z o.o., (Gdansk, Poland), and also in the educational process of the Department of Computer Science of Sumy State University while teaching the discipline “Introduction to Data Science”

    Многоэтапный метод глубинного обучения с предварительным самообучением для классификационного анализа дефектов сточных труб

    No full text
    Розроблено багатоетапний метод машинного навчання з попереднім самонавчанням для класифікаційного аналізу дефектів на стінках стічних труб за зображеннями відеоінспекції. Об’єктом дослідження є процес розпізнавання дефектів на стінках стічних труб. Предметом дослідження є метод машинного навчання для класифікаційного аналізу дефетів стічних труб на зображеннях відеоінспекції за умов обмеженого та незбалансованого набору розмічених навчальних даних. Запропоновано п’ятиетапний алгоритм навчання класифікатора. На першому етапі відбувається контрастне навчання з використанням екземпляр-прототипної контрасної функції втрат, де для вимірювання схожості закодованих зразків використовується нормалізована відстань Евкліда. На другому етапі розглядаються два варіанти регуляризованої функції втрат – триплетна функція NCA та контрастноцентрована функція. Регуляризуюча складова на другому етапі навчання використовується для штрафування за помилку округлення вихідного вектора ознак до дискретного виду і забезпечує реалізацію інформаційного пляшкового горла. На наступному етапі здійснюється обчислення двійкового коду кожного класу для реалізації кодів, що виправляють помилки, але з урахуванням структури класів і відношень між їх ознаками. Отриманий еталонний вектор кожного класу є цільовою розміткою зображення для навчання з використанням крос-ентропійної функції втрат. Останній етап навчання здійснює оптимізацією параметрів вирішувальних правил за інформаційним критерієм для врахування дисперсії розподілу класів в двійковому просторі Хеммінга. Для порівняння результатів навчання на різних етапах та в рамках різного підходу використовується мікро-усереднена метрика F1, що обчислюється на тестових даних. Результати, отримані на відкритому наборі даних Sewer-ML, підтверджують придатність запропонованого методу навчання до практичного використання, отримане значення F1- метрики дорівнює 0,977. Було показано, що запропонований метод забезпечує збільшення значення мікро-усередненої метрики F1 на 9 % порівняно з результатами, отриманими традиційним методом навчання.A machine learning semi-supervised method was developed for the classification analysis of defects on the surface of the sewer pipe based on CCTV video inspection images. The aim of the research is the process of defect detection on the surface of sewage pipes. The subject of the research is a machine learning method for the classification analysis of sewage pipe defects on video inspection images under conditions of a limited and unbalanced set of labeled training data. A five-stage algorithm for classifier training is proposed. In the first stage, contrast training occurs using the instance-prototype contrast loss function, where the normalized Euclidean distance is used to measure the similarity of the encoded samples. The second step considers two variants of regularized loss functions – a triplet NCA function and a contrast-center loss function. The regularizing component in the second stage of training is used to penalize the rounding error of the output feature vector to a discrete form and ensures that the principle of information bottlenecking is implemented. The next step is to calculate the binary code of each class to implement error-correcting codes, but considering the structure of the classes and the relationships between their features. The resulting prototype vector of each class is used as a label of image for training using the cross-entropy loss function. The last stage of training conducts an optimization of the parameters of the decision rules using the information criterion to consider the variance of the class distribution in Hamming binary space. A micro-averaged metric F1, which is calculated on test data, is used to compare learning outcomes at different stages and within different approaches. The results obtained on the Sewer-ML open dataset confirm the suitability of the training method for practical use, with an F1 metric value of 0.977. The proposed method provides a 9 % increase in the value of the microaveraged F1 metric compared to the results obtained using the traditional method.Разработан многоэтапный метод машинного обучения с предварительным самообучением для классификационного анализа дефектов на стенках сточных труб по изображениях видеоинспекции. Объектом исследования является процесс распознавания дефектов на стенках сточных труб. Предметом исследования является метод машинного обучения для классификационного анализа дефектов сточных труб на изображениях видеоинспекции в условиях ограниченного и несбалансированного набора размеченных обучающих данных. Предложено пятиэтапный алгоритм обучения классификатора. На первом этапе происходит контрастное обучение с использованием экземпляр-прототипной контрастной функцией потерь, где для измерения сходства закодированных образцов используется нормализованное расстояние Эвклида. На втором этапе рассматривается два варианта регуляризированных функций потерь – триплетная функция NCA и контрастно-центрированная функция. Регуляризирующая составляющая на втором этапе обучения используется для штрафования за ошибку округления выходного вектора признаков к дискретному виду и обеспечивает реализацию принципа информационного бутылочного горла. На следующем этапе производится вычисление двоичного кода каждого класса для реализации кодов, исправляющих ошибки, но с учетом структуры классов и отношений между их признаками. Полученный эталонный вектор каждого класса является целевой разметкой изображения для обучения с использованием кросс-энтропийной функции потерь. Последний этап обучения осуществляет оптимизацией параметров решающих правил по информационному критерию для учета дисперсии распределения классов в двоичном пространстве Хемминга. Для сравнения результатов обучения на разных этапах и в рамках разного подхода используется микро-усредненная метрика F1, которая вычисляется на тестовых данных. Результаты, полученные на открытом наборе данных Sewer-ML, подтверждают пригодность метода обучения к практическому использованию, полученное значение F1-метрики равное 0,977. Было показано, что предложенный метод обеспечивает увеличение значения микро-усредненной метрики F1 на 9 % в сравнении с результатами, полученными традиционным методом

    Model and training method for water level classification in sewer pipes based on video inspection data

    No full text
    Розроблено та досліджено модель та метод навчання для класифікаційного аналізу рівня води на кадрах відео інспекції стічних труб. Об’єктом дослідження є процес розпізнавання рівня води з урахуванням просторово-часового контексту під час інспекції стічних труб. Предметом дослідження є модель та метод машинного навчання для класифікаційного аналізу рівня води на відео-послідовностях інспекції труб за умов обмеженого та незбалансованого набору навчальних даних. Запропоновано чотирьохетапний алгоритм навчання класифікатора. На першому етапі навчання відбувається навчання з нормалізованою триплетною функцією втрат та регуляризуючою складовою для штрафування за помилку округлення вихідного сигналу мережі до двійкового коду. Наступний етап потрібний для визначення двійкового коду класу відповідно до принципів завадозахищеного кодування з самовиправленням помилок, але з урахуванням внутрікласових і міжкласових відношень. Обчислений еталонний вектор кожного класу використовується як цільова розмітка зразка для подальшого навчання з використанням об’єднаної крос-ентропійної функції втрат. Останній етап машинного навчання пов’язаний з оптимізацією параметрів вирішувальних правил за інформаційним критерієм для врахування меж відхилення двійкового подання спостережень кожного класу від відповідних еталонних векторів. Як модель класифікатора розглядається поєднання 2D згорткового екстрактора ознак кадру з темпоральною мережею для аналізу міжкадрових залежностей. При цьому виконується порівняння різних варіантів темпоральної мережі. Розглядаються 1D регулярна згорткова мережа з дірявими згортками, 1D каузальна згорткова мережа з дірявими згортками, рекурентна LSTM-мережа, рекурентна GRU-мережа. Порівняння ефективності моделей відбувається за мікро-усередненою метрикою F1, що обчислюється на тестовій вибірці. Результати, отримані на наборі даних від компанії Ace Pipe Cleaning (Канзас Сіті, США), підтверджують придатність моделі і методу навчання до практичного використання, отримане значення F1-метрики дорівнює 0,88. При цьому результати навчання за запропонованим методом порівнювалися з результатами, отриманими традиційним методом. Було показано, що запропонований метод забезпечує збільшення значення мікро-усередненої метрики F1 на 9 %.Разработаны и исследованы модели и метод обучения для классификационного анализа уровня воды на кадрах видео инспекции сточных труб. Объектом исследования является процесс распознавания уровня воды с учетом пространственно-временного контекста во время инспекции сточных труб. Предметом исследования является модель и метод машинного обучения для классификационного анализа уровня воды на видео-последовательностях инспекции труб в условиях ограниченного и несбалансированного набора обучающих данных. Предложено четырех этапный алгоритм обучения классификатора. На первом этапе обучения происходит обучение с нормализованной триплетной функцией потерь и регуляризирующей составляющей для штрафования за ошибку округления выходного сигнала сети к двоичному коду. Следующий этап нужен для определения двоичного кода класса в соответствии с принципами помехозащищенного кодирования с само исправлением ошибок, но с учетом внутриклассовых и межклассовых отношений. Вычисленный эталонный вектор каждого класса используется как целевая разметка образца для дальнейшего обучения с использованием объединенной кросс-энтропийной функции потерь. Последний этап машинного обучения связан с оптимизацией параметров решающих правил по информационному критерию для учета границ отклонения двоичного представления наблюдений каждого класса от соответствующих эталонных векторов. Как модель классификатора рассматривается сочетание 2D свёрточного экстрактора признаков кадра с темпоральной сетью для анализа межкадровых зависимостей. При этом выполняется сравнение различных вариантов темпоральной сети. Рассматриваются 1D регулярная свёрточная сеть с дырявыми свертками, 1D каузальная свёрточная сеть с дырявыми свёртками, рекуррентная LSTM-сеть, рекуррентная GRU-сеть. Сравнение эффективности моделей происходит по микро-усредненной метрике F1, вычисляемой на тестовой выборке. Результаты, полученные на наборе данных от компании Ace Pipe Cleaning (Канзас Сити, США), подтверждают пригодность модели и метода обучения к практическому использованию, полученное значение F1-метрики равно 0,88. При этом результаты обучения по предложенному методу сравнивались с результатами, полученными традиционным методом. Было показано, что предложенный метод обеспечивает увеличение значения микро-усредненной F1-метрики на 9 %.Models and training methods for water-level classification analysis on the footage of sewage pipe inspections have been developed and investigated. The object of the research is the process of water-level recognition, considering the spatial and temporal context during the inspection of sewage pipes. The subject of the research is a model and machine learning method for water-level classification analysis on video sequences of pipe inspections under conditions of limited size and an unbalanced set of training data. A four-stage algorithm for training the classifier is proposed. At the first stage of training, training occurs with a softmax triplet loss function and a regularizing component to penalize the rounding error of the network output to a binary code. The next step is to define a binary code (reference vector) for each class according to the principles of error-correcting output codes, but considering the intraclass and interclass relations. The computed reference vector of each class is used as the target label of the sample for further training using the joint cross-entropy loss function. The last stage of machine learning involves optimizing the parameters of the decision rules based on the information criterion to account for the boundaries of deviation of the binary representation of the observations of each class from the corresponding reference vectors. As a classifier model, a combination of 2D convolutional feature extractor for each frame and temporal network to analyze inter-frame dependencies is considered. The different variants of the temporal network are compared. We consider a 1D regular convolutional network with dilated convolutions, 1D causal convolutional network with dilated convolutions, recurrent LSTM-network, recurrent GRU-network. The performance of the models is compared by the micro-averaged metric F1 computed on the test subset. The results obtained on the dataset from Ace Pipe Cleaning (Kansas City, USA) confirm the suitability of the model and training method for practical use, the obtained value of F1-metric is 0.88. The results of training by the proposed method were compared with the results obtained using the traditional method. It was shown that the proposed method provides a 9 % increase in the value of micro-averaged F1-measure
    corecore