Recognizing military vehicles in social media images using deep learning

This paper presents a system that uses machine learning to recognize military vehicles in social media images. To do so, the system draws on recent advances in applying deep neural networks to computer vision tasks, while also making extensive use of openly available libraries, models and data. Training a vehicle recognition system over three classes, the paper reports on two experiments that use different architectures and strategies to overcome the challenges of working with limited training data: data augmentation and transfer learning. The results show that transfer learning outperforms data augmentation, achieving an average accuracy of 95.18% using 10-fold cross-validation, while also generalizing well on a separate testing set consisting of social media content.Peer reviewe

Засоби розпізнавання техніки на відеоматеріалах, знятих БПЛА в реальному часі

Актуальність теми. Технології компʼютерного зору щороку набувають все більшої популярності. За останнє десятиліття ця сфера суттєво розвинулась та набула нових методів та технологій. На даний момент на полі бою широко використовують БПЛА цивільного класу, які не мають жодних інструментів для полегешення ведення розвідувальних дій. Використання компʼютерного зору має широкий потенціал для покращення можливостей пілотів цивільних БПЛА, а також для зменшення когнітивного навантаження у процесі пілотування. Також наразі немає загальновизначених методів для розпізнавання обʼєктів в умовах дуже поганої якості зображення. Тож розробка запропонованої системи є актуальною задачею як з наукової так і з практичної точки зору. Хмарні технології щороку набувають все більшої популярності. За останнє десятиліття найбільші провайдери хмарних технологій декілька разів повністю змінювали підхід до хмарних технологій, прийшовши в результаті до теперішнього стану, який і почав привертати все більше уваги. Через збільшення користувачів, а також розмірів їхніх проєктів, було вирішено проблему автоматизації розгортання хмарних інфраструктур за допомогою спеціальних засобів. Однак ці засоби розраховані на користувачів, які детально розбираються у кожному хмарному ресурсі, а також знають усі тонкощі взаємодії між цими ресурсами. Зі збільшенням популярності хмарних технологій, а з ними і засобів автоматизації, постає потреба в менш детальному та більш швидкому і легкому способі опису хмарної інфраструктури. Тому розробка такого способу, що дозволить за допомогою простих високорівневих абстракцій описувати хмарні ресурси у різних провайдерів, є актуальною задачею як з практичної, так і з наукової точки зору. Об’єктом дослідження є процеси розпізнавання техніки засобами компʼютерного зору. Предметом дослідження є система розпізнавання техніки за допомогою компʼютерного зору в реальному часі. Мета роботи: створення системи розпізнавання техніки на кадрах з БПЛА в реальному часі. Наукова новизна полягає в наступному: 1. Запропоновано новий спосіб навчання нейронних мереж для роботи в умовах поганої якості відеосигналу шляхом штучного додавання завад під час навчання. 2. Запропоновано новий застосунок, що дозволяє в реальному часі розпізнавати техніку на відеоматеріалах від БПЛА. Практична цінність отриманих в роботі результатів полягає в тому, що створена система покращує ситуаційну обізнаність операторів БПЛА, дозволяє автоматично вести облікову статистику зафіксованої техніки, знижує когнітивне навантаження та зменшує ймовірність людської помилки під час дешифрування відео. Все це допомогаєпілотам краще оцінювати ситуацію та швидше приймати рішення в критичні моменти. Апробація роботи. Результати були представлені та обговорювалися на науковій конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2022 (Київ, 16-18 листопада 2022 р.), та на нуковій конференції “IX Міжнародна науково-технічна Internet-конференція.” (25 листопада 2022р.). Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів та висновків. У вступі подано загальну характеристику роботи, зроблено оцінку сучасного стану проблеми, обґрунтовано актуальність напрямку досліджень, сформульовано мету і задачі досліджень, показано наукову новизну отриманих результатів і практичну цінність роботи, наведено відомості про апробацію результатів. У першому розділі розглянуто існуючі засоби та способи розпізнавання об’єктів, а також проведено порівняльний аналіз, який дає змогу визначити переваги та недоліки цих засобів. У другому розділі розглянуті особливості застосування комп’ютерного зору у військовій сфері, методи протидії, специфічні проблеми та питання безпеки даних У третьому розділі описані засоби розробки, запропонований новий спосіб тренування мереж та описано процес створення застосунку. У четвертому розділі проаналізовано швидкість та якість роботи отриманої нейронної мережі, порівняльний аналіз нового та класичного способів тренування, проведений огляд інтерфейсу застосунку. Проведена перевірка відповідності застосунку поставленим вимогам. У висновках представлені результати проведеної роботи. Робота представлена на 80 аркушах, містить посилання на список використаних літературних джерел. Ключові слова: комп’ютерний зір, машинне навчання, визначення обʼєктів, розпізнавання техніки, нейронні мережіRelevance of the topic. Computer vision technologies are becoming more and more popular every year. Over the past decade, this field has significantly developed and acquired new methods and technologies. Currently, civilian class UAVs are widely used on the battlefield, which do not have any tools to facilitate reconnaissance operations. The use of computer vision has great potential to improve the capabilities of civilian UAV pilots, as well as to reduce the cognitive load during piloting. Also, there are currently no generally accepted methods for object recognition in conditions of very poor image quality. Therefore, the development of the proposed system is an urgent task both from a scientific and practical point of view. Cloud technologies are becoming more and more popular every year. Over the past decade, the largest cloud technology providers have completely changed their approach to cloud technologies several times, resulting in the current state, which has begun to attract more and more attention. Due to the increase in the number of users and the size of their projects, the problem of automating the deployment of cloud infrastructures with the help of special tools has been solved. However, these tools are designed for users who have a detailed understanding of each cloud resource, as well as know all the subtleties of interaction between these resources. With the increasing popularity of cloud technologies, and with them automation tools, there is a need for a less detailed and faster and easier way to describe cloud infrastructure. Therefore, the development of such a method that will allow using simple high-level abstractions to describe cloud resources from different providers is an urgent task both from a practical and scientific point of view. The object of research is the processes of recognition of equipment by means of computer vision. The subject of research is a system for recognizing vehicles using computer vision in real time. Purpose of the work: to create a system for recognizing vehicles on UAV footage in real time. The scientific novelty is as follows: 1. A new method of training neural networks to work in conditions of poor video signal quality by artificially adding noise during training. 2. A new application is proposed that allows real-time recognition of equipment on video footage from UAVs. The practical value of the results obtained in the work lies in the fact that the created system improves the situational awareness of UAV operators, allows you to automatically keep accounting statistics of recorded equipment, reduces cognitive load and reduces the likelihood of human error during video decoding. All this helps pilots to better assess the situation and make faster decisions at critical moments. Approbation of the work. The results were presented and discussed at the scientific conference of undergraduate and graduate students "Applied Mathematics and Computing" PMC-2022 (Kyiv, November 16-18, 2022), and at the scientific conference "IX International Scientific and Technical Internet Conference." (November 25, 2022). Structure and scope of work. The master's thesis consists of an introduction, four chapters and conclusions. The introduction gives a general description of the work, assesses the current state of the problem, substantiates the relevance of the research area, formulates the purpose and objectives of the research, shows the scientific novelty of the results and the practical value of the work, and provides information on the approbation of the results. In the first section, the existing means and methods of object recognition are considered, and a comparative analysis is carried out to determine the advantages and disadvantages of these tools. In the second section, the features of the use of computer vision in the military sphere, methods of counteraction, specific problems and data security issues are considered The third section describes the development tools, proposes a new way of training networks and describes the process of creating an application. The fourth section analyzes the speed and quality of the resulting neural network, a comparative analysis of the new and classical methods of training, an overview of the application interface. The compliance of the application with the requirements was checked. The conclusions present the results of the work. The work is presented on 80 pages, contains references to the list of references. Keywords: computer vision, machine learning, object detection, recognitio

Розпізнавання стратегічних технічних об'єктів за допомогою згорткових нейронних мереж

Дипломна робота: 119 с., 42 рис., 1 додаток, 43 джерел Мета роботи – використати апарат згорткових штучних нейронних мереж для розпізнавання стратегічних технічних об'єктів. Об’єктом дослідження є методи та моделі розпізнавання об’єктів. Пpедметом досліджень є системи розпізнавання стратегічних технічних об’єктів на основі глибоких згорткових нейронних мереж. Актуальність даного методу випливає із стратегічної важливості швидкого та точного розпізнавання, обробки та аналізу візуальної інформації із камер дронів, наземної техніки та об’єктів та інших джерел. Така інформація може бути життєво важливою як у військовій, так і у цивільній сферах, наприклад для журналістики, своєчасного попередження мирних громадян про небезпеку та їх захисту. У даній роботі запропонована модель для розпізнавання стратегічних технічних об'єктів на основі глибоких згорткових нейронних мереж, орієнтована на використання на БПЛА різних класів та за умов значно обмежених обчислювальних ресурсів.Thesis: 119 p., 42 fig., 1 appendice, 43 sources The purpose of this work is to use the apparatus of convolutional artificial neural networks for recognition of strategic technical objects. The object of research is methods and models of object recognition. The subject of research is recognition systems of strategic technical objects based on deep convolutional neural networks. The relevance of this method stems from the strategic importance of rapid and accurate recognition, processing and analysis of visual information from drone cameras, ground vehicles and objects and other sources. Such information can be vital in both the military and civilian areas, such as journalism, the timely warning of civilians of danger and their protection. In this thesis, a model for recognizing strategic technical objects based on deep convolutional neural networks is proposed, aimed at use on UAVs of various classes and under conditions of significantly limited computing resources

Suomen- ja englanninkieliset digitaaliset kaupunkitilat Helsingissä : Case Instagram

Ubiikkien internet yhteyksien, mobiililaitteiden ja nousevien sosiaalisen median käyttäjämäärien myötä massadataa yksilöistä, kaupungeista, kulttuureista ja yhteiskunnista tuotetaan suuria määriä. Tarve nykyaikaisen nopeasti muuttuvan digitalisoituvan maailmamme ymmärtämiselle kasvaa jatkuvasti. Tämä tekee sosiaalisen median massadata-aineistoista arvokkaan maantieteelliselle tutkimukselle, mutta massadata on laadultaan, määrältään ja monipuolisuudeltaan sellaista, että sen käsittely vaatii uusia ja tehokkaita poikkitieteellisiä metodeja. Sosiaalisen median spatiaalisen massadatan tarkastelu mahdollistaa sen kautta välittyvien digitaalisten kaupunkitilojen tutkimisen. Tässä työssä selvitetään Helsingin alueelta tehtyjen suomen- ja englanninkielisten Instagram-julkaisujen lingvististä sisältöä tarkoituksena (1) selvittää kyseisten Instagram-julkaisujen aiheet, (2) aiheiden spatiotemporaalinen rakenne, (3) kielten väliset erot aiheissa ja (4) lingvististen teknologioiden soveltuvuus maantieteelliseen tutkimukseen. Näiden päämäärien saavuttamiseksi, työssä yhdistellään luonnollisen kielen prosessoinnin ja geoinfromatiikan metodeja soveltamalla aihemallinnusta eri spatiaalisissa mittakaavoissa. Erilaisia visualisointitekniikoita hyödynnetään kielikohtaisten aiheiden analysointiin Helsingin eri kaupunginosissa. Tulokset osoittavat, että suomen- ja englanninkielisten Instagram-julkaisujen aiheet eroavat toisistaan spatiaalisesti, temporaalisesti, vaikka molempien kielten osalta aineisto osoittautui sävyltään ja temporaaliselta rytmiltään samankaltaiseksi. Tuloksena syntyneet spatiaaliset aihemallit vaikuttavat tukevan teoreettista keskustelua digitaalisista kaupunkitiloista, mutta useaa sosiaalisen median alustaa ja useita poikkitieteellisiä metodeja yhdistävää tutkimusta tarvitaan vahvemman empiirisen näytön saamiseksi. Luonnollisen kielen prosessinnin metodit vaikuttavat soveltuvan hyvin maantieteelliseen tutkimukseen, erityisesti sosiaalisen median aineistojen kanssa. With ubiquitous internet access, mobile smart devices and increasing amounts of social media users, big data about individuals, cultures and societies is being produced in vast quantities. This renders social media data valuable for geographic research, but such data requires novel interdisciplinary methods. Spatial social media big data enables the investigation of emergent digital urban spaces. This Master’s thesis analyses the linguistic content of English and Finnish Instagram posts uploaded from Helsinki, Finland, in order to identify (1) common topics, (2) how these topics evolve over space and time, (3) differences in finnish and english spatiotemporal topics and (4) applicability of natural language processing in geographic research. To do so, the study combines methods from natural language processing and geoinformatics, applying the technique of topic modelling at various spatial scales. Different visualization techniques are used to support the analysis of language-specific topics in different neighborhoods of Helsinki. The results show that the topics of Finnish and English Instagram posts differ spatially, temporally and at different scales, although the data for both languages was shown to be similar in sentiment and temporal rhythm. The resulting spatial topics models appear to support theories of digital urban spaces to some extent, but more comprehensive analysis of digital urban spaces requires data from various social media platforms and diverse interdisciplinary methods. Natural language processing methods hold much potential for geographic research, particularly for analyzing social media data