РАСПОЗНАВАНИЕ МИКРОСКОПИЧЕСКИХ ИЗОБРАЖЕНИЙ ПЫЛЬЦЕВЫХ ЗЕРЕН С ПОМОЩЬЮ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ VGG-16

The article presents the result of an experiment on the application of transfer learning using the Visual Geometry Group with 16 layers (VGG-16) convolutional neural network in relation to the problem of recognizing pollen grains in images. An analysis of the information-theoretical base on the application of machine learning algorithms to the problem of classifying pollen grains over the past few years has shown the need to develop (apply) a new method for recognizing images of pollen grains obtained using an optical microscope. Currently, automatic classification for pollen identification is becoming a very active area of research. The article substantiates the task of automating the classification of pollen grains. The aim of the study is to analyze the efficiency and accuracy of classifying microscopic images of pollen grains using transfer learning of the VGG-16 convolutional neural network. Transfer learning was performed using the VGG-16 neural network, which has 13 convolutional layers grouped into 5 blocks with pooling and 3 smoothing layers at the output. Since transfer learning is used, the number of training epochs can be chosen to be small. For this network, only the smoothing output layers change, and the feature extraction remains the same as in the classical model. Therefore, it was chosen to use 10 training epochs. Other hyperparameters are as follows: Drop Out regularization with a probability of 50%, optimization method is ADAM, activation function is sigmoid, loss function is cross-entropy, batch size is 32 images. As a result, by adjusting the hyperparameters of the model and using augmentation, it was possible to achieve a share of correct recognitions of about 80%. At the same time, due to the different number of training examples, the particular characteristics of the classes differ somewhat. Thus, the maximum precision and recall reach 94% and 83%, respectively, for the Dandelion type. In the future, studies are planned to use augmentation as a preprocessing to create a balanced sample. By applying the VGG-16 convolutional neural network to the problem of pollen grain image recognition, high accuracy and efficiency of the method were achieved.В статье приводится результат эксперимента по применению трансферного обучения с помощью сверточной нейронной сети Visual Geometry Group with 16 layers (VGG-16) применительно к задаче распознавания пыльцевых зерен на изображениях. Анализ информационно-теоретической базы по применению алгоритмов машинного обучения к задаче классификации пыльцевых зерен за последние несколько лет показал необходимость разработки (применения) нового метода к распознаванию изображений пыльцевых зерен, полученных с помощью оптического микроскопа. В настоящее время автоматическая классификация для идентификации пыльцы становится очень активной областью исследований. В статье обоснована задача автоматизации классификации пыльцевых зерен. Целью исследования является анализ эффективности и точности классификации микроскопических изображений пыльцевых зерен с помощью трансферного обучения сверточной нейронной сети VGG-16. Трансферное обучение было выполнено с помощью нейронной сети VGG-16, имеющей 13 сверточных слоев, группируемых в 5 блоков с пулингом и 3 сглаживающих слоя на выходе. Поскольку применяется трансферное обучение, то количество эпох обучения можно выбрать небольшим. У данной сети меняются только сглаживающие выходные слои, а извлечение признаков осуществляется с весами классической модели. Поэтому было выбрано использовать 10 эпох обучения. Другие гиперпараметры – регуляризация Drop Out с вероятностью 50 %, метод оптимизации – ADAM, функция активации – sigmoid, функция потерь – кросс-энтропия, размер батча – 32 изображения. В результате за счет настройки гиперпараметров модели и использования аугментаций удалось достичь доли верных распознаваний порядка 80 %. При этом в связи с разным количеством обучающих примеров частные характеристики по классам несколько отличаются. Так, максимальные точность и полнота достигают 94 и 83 % соответственно для типа Одуванчик. В будущем планируются исследования для применения аугментации в качестве предобработки для создания сбалансированной выборки. За счет применения сверточной нейронной сети VGG-16 к задаче распознаваний изображений пыльцевых зерен были достигнуты высокие показатели точности и эффективности метода

The detection of handguns from live-video in real-time based on deep learning

Many people have been killed indiscriminately by the use of handguns in different countries. Terroristacts, online fighting games and mentally disturbed people are considered the common reasons for these crimes.  A real-time handguns detection surveillance system is built to overcome these badacts, based on convolutional neural networks (CNNs). This method is focused on the detection of different weapons, such as (handgun and rifles). The identification of handguns from surveillance cameras and images requires monitoring by human supervisor, that can cause errors. To overcome this issue,the designed detection system sends an alert message to the supervisor when aweapon is detected. In the proposed detection system, a pre-trained deep learning model MobileNetV3-SSDLite is used to perform the handgundetection operation. This model has been selected becauseit is fast and accurate in infering to integrate network for detecting and classifying weaponsin images. The experimental result using global handguns datasets of various weapons showed that the use of MobileNetV3 with SSDLite model bothenhance the accuracy level in identifying the real time handguns detection