Розробка методу структурної оптимізації нейронної мережі за критерієм ефективності використання ресурсів

At present, mathematical models in the form of artificial neural networks (ANNs) are widely used to solve problems on approximation. Application of this technology involves a two-stage approach that implies determining the structure for a model of ANN and the implementation of its training. Completion of the learning process makes it possible to derive a result of the approximation whose accuracy is defined by the complexity of ANN structure. In other words, increasing the ANN complexity allows obtaining a more precise result of training.In this case, obtaining the model of ANN that implements approximation at the assigned accuracy is defined as the process of optimization.However, an increase in the ANN complexity leads not only to the improved accuracy, but prolongs the time of computation as well.Thus, the indicator «assigned accuracy» cannot be used in the problems on determining the optimum neural network architecture. This relates to that the result of the model structure selection and the process of its training, based on the required accuracy of approximation, might be obtained over a period of time unacceptable for the user.To solve the task on structural identification of a neural network, the approach is used in which the model’s configuration is determined based on a criterion of efficiency. The process of implementation of the constructed method implies adjusting a time factor related to solving the problem and the accuracy of approximation.The proposed approach makes it possible to substantiate the principle of choosing the structure and parameters of a neural network based on the maximum value for the indicator of effective use of resourcesДля решения задач аппроксимации в настоящее время широко используются математические модели в виде искусственных нейронных сетей (ИНС). Использование этой технологии предполагает двухэтапный подход, в ходе которого определяется структура модели ИНС и осуществляется ее обучение. Завершение процесса обучения позволяет получить результат аппроксимации, точность которого определяется сложностью структуры ИНС. То есть, повышение сложности ИНС позволяет получать более точный результат обучения.При этом получение модели ИНС, осуществляющей аппроксимацию с заданной точностью, определяется как процесс оптимизации.Однако повышение сложности ИНС приводит не только к повышению точности, но и к повышению времени расчета.Таким образом, показатель «заданная точность» не может использоваться в задачах определения оптимальной архитектуры нейронной сети. Это связано с тем, что результат выбора структуры модели и процесса её обучения, основанных на требуемой точности аппроксимации, может занять неприемлемый для пользователя временной промежуток.Для решения задачи структурной идентификации нейронной сети используется подход, в рамках которого осуществляется определение конфигурации модели по критерию эффективности. В процессе реализации разработанного метода согласовывается временной фактор решения задачи и точностью аппроксимации.Предложенный подход позволяет обосновать принцип выбора структуры и параметров нейронной сети, опираясь на максимальное значение показателя эффективности использования ресурсовДля вирішення задач апроксимації широко використовуються математичні моделі у вигляді штучних нейронних мереж (ШНМ). Використання цієї технології передбачає двох етапний підхід. На першому етапі визначається структура моделі ШНМ, а на другому етапі здійснюється навчання для отримання максимального наближення до еталонної моделі. Максимальне значення наближення до еталону визначається складністю архітектури ШНМ. Тобто, підвищення складності моделі ШНМ дозволяє підвищувати точність апроксимації, а, відповідно, і результату навчання. При цьому визначення структури моделі ШНМ, що здійснює апроксимацію із заданою точністю, визначається як процес оптимізації.Однак підвищення складності ШНМ призводить не тільки до підвищення точності, а і до підвищення часу обчислювального процесу.Таким чином, показник «задана точність» не може використовуватися в задачах визначення оптимальної архітектури нейронної мережі. Це пов'язано з тим, що результат вибору структури моделі і процесу її навчання, котрий базується на забезпеченні необхідної точності апроксимації, може зайняти неприйнятний для користувача часовий проміжок.Для вирішення завдання структурної ідентифікації нейронної мережі використовується підхід, у рамках якого здійснюється визначення конфігурації моделі за критерієм ефективності. У процесі реалізації розробленого методу узгоджується часовий чинник вирішення завдання і точністю апроксимації.Запропонований підхід дозволяє обґрунтувати принцип вибору структури і параметрів нейронної мережі, спираючись на максимальне значення показника ефективності використання ресурсі

Розробка методу структурної оптимізації нейронної мережі за критерієм ефективності використання ресурсів

At present, mathematical models in the form of artificial neural networks (ANNs) are widely used to solve problems on approximation. Application of this technology involves a two-stage approach that implies determining the structure for a model of ANN and the implementation of its training. Completion of the learning process makes it possible to derive a result of the approximation whose accuracy is defined by the complexity of ANN structure. In other words, increasing the ANN complexity allows obtaining a more precise result of training.In this case, obtaining the model of ANN that implements approximation at the assigned accuracy is defined as the process of optimization.However, an increase in the ANN complexity leads not only to the improved accuracy, but prolongs the time of computation as well.Thus, the indicator «assigned accuracy» cannot be used in the problems on determining the optimum neural network architecture. This relates to that the result of the model structure selection and the process of its training, based on the required accuracy of approximation, might be obtained over a period of time unacceptable for the user.To solve the task on structural identification of a neural network, the approach is used in which the model’s configuration is determined based on a criterion of efficiency. The process of implementation of the constructed method implies adjusting a time factor related to solving the problem and the accuracy of approximation.The proposed approach makes it possible to substantiate the principle of choosing the structure and parameters of a neural network based on the maximum value for the indicator of effective use of resourcesДля решения задач аппроксимации в настоящее время широко используются математические модели в виде искусственных нейронных сетей (ИНС). Использование этой технологии предполагает двухэтапный подход, в ходе которого определяется структура модели ИНС и осуществляется ее обучение. Завершение процесса обучения позволяет получить результат аппроксимации, точность которого определяется сложностью структуры ИНС. То есть, повышение сложности ИНС позволяет получать более точный результат обучения.При этом получение модели ИНС, осуществляющей аппроксимацию с заданной точностью, определяется как процесс оптимизации.Однако повышение сложности ИНС приводит не только к повышению точности, но и к повышению времени расчета.Таким образом, показатель «заданная точность» не может использоваться в задачах определения оптимальной архитектуры нейронной сети. Это связано с тем, что результат выбора структуры модели и процесса её обучения, основанных на требуемой точности аппроксимации, может занять неприемлемый для пользователя временной промежуток.Для решения задачи структурной идентификации нейронной сети используется подход, в рамках которого осуществляется определение конфигурации модели по критерию эффективности. В процессе реализации разработанного метода согласовывается временной фактор решения задачи и точностью аппроксимации.Предложенный подход позволяет обосновать принцип выбора структуры и параметров нейронной сети, опираясь на максимальное значение показателя эффективности использования ресурсовДля вирішення задач апроксимації широко використовуються математичні моделі у вигляді штучних нейронних мереж (ШНМ). Використання цієї технології передбачає двох етапний підхід. На першому етапі визначається структура моделі ШНМ, а на другому етапі здійснюється навчання для отримання максимального наближення до еталонної моделі. Максимальне значення наближення до еталону визначається складністю архітектури ШНМ. Тобто, підвищення складності моделі ШНМ дозволяє підвищувати точність апроксимації, а, відповідно, і результату навчання. При цьому визначення структури моделі ШНМ, що здійснює апроксимацію із заданою точністю, визначається як процес оптимізації.Однак підвищення складності ШНМ призводить не тільки до підвищення точності, а і до підвищення часу обчислювального процесу.Таким чином, показник «задана точність» не може використовуватися в задачах визначення оптимальної архітектури нейронної мережі. Це пов'язано з тим, що результат вибору структури моделі і процесу її навчання, котрий базується на забезпеченні необхідної точності апроксимації, може зайняти неприйнятний для користувача часовий проміжок.Для вирішення завдання структурної ідентифікації нейронної мережі використовується підхід, у рамках якого здійснюється визначення конфігурації моделі за критерієм ефективності. У процесі реалізації розробленого методу узгоджується часовий чинник вирішення завдання і точністю апроксимації.Запропонований підхід дозволяє обґрунтувати принцип вибору структури і параметрів нейронної мережі, спираючись на максимальне значення показника ефективності використання ресурсі

Assessment of Geometrical Features of Internal Flaws with Artificial Neural Network Optimized by a Thermodynamic Equilibrium Algorithm

In nondestructive testing (NDT), geometrical features of a flaw embedded inside the material such as its location, length, and orientation angle are critical factors to assess the severity of the flaw and make post-manufacturing decisions. In this study, a novel evolutionary optimization algorithm has been developed for machine learning (ML). This algorithm has been inspired by thermodynamic laws and can be adopted for artificial neural network (ANN). To this end, it was applied to the oscillograms from virtual ultrasonic NDT to estimate geometrical features of flaws. First, a numerical model of NDT specimen was constructed using acoustic finite element analysis (FEA) to produce the ultrasonic signals. The model was validated by comparing the produced signals with the experimental data from NDT tests on the specimens without and with defects. Then, 750 numerical models containing flaws with different locations, lengths, and angles were generated by FEA. Next, the oscillograms produced by the models were divided into 3 datasets: 525 for training, 113 for validation, and 112 for testing. Training inputs of the network were parameters extracted from ultrasonic signals by fitting them to sine functions. The proposed evolutionary algorithm was implemented to train the network. Lastly, to evaluate the network performance, outputs of the network including flaw’s location, length, and angle were compared with the desired values for all datasets. Deviations of the outputs from desired values were calculated by a regression analysis. Statistical analysis was also performed by measuring Root Mean Square Error (RMSE) and Efficiency (E). RMSE in x-location, y-location, length, and angle estimations are 0.09 mm, 0.19 mm, 0.46 mm, and 0.75, with efficiencies of 0.9229, 0.9466, 0.9140, and 0.9154, respectively for the testing dataset, which demonstrates high accuracy in estimation. Results suggest that the proposed AI-based method can be used to characterize flaws with time of flight NDT approach. This research introduces optimized smart ultrasonic NDT as an exact and rapid method in detection of internal flaw, its geometrical features, and also proves the need to replace this method with conventional method which requires interpretation of the human