Comparative Analysis of Open Source Frameworks for Machine Learning with Use Case in Single-Threaded and Multi-Threaded Modes

The basic features of some of the most versatile and popular open source frameworks for machine learning (TensorFlow, Deep Learning4j, and H2O) are considered and compared. Their comparative analysis was performed and conclusions were made as to the advantages and disadvantages of these platforms. The performance tests for the de facto standard MNIST data set were carried out on H2O framework for deep learning algorithms designed for CPU and GPU platforms for single-threaded and multithreaded modes of operation.Comment: 4 pages, 6 figures, 4 tables; XIIth International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT 2017), Lviv, Ukrain

Performance Evaluation of Distributed Computing Environments with Hadoop and Spark Frameworks

Recently, due to rapid development of information and communication technologies, the data are created and consumed in the avalanche way. Distributed computing create preconditions for analyzing and processing such Big Data by distributing the computations among a number of compute nodes. In this work, performance of distributed computing environments on the basis of Hadoop and Spark frameworks is estimated for real and virtual versions of clusters. As a test task, we chose the classic use case of word counting in texts of various sizes. It was found that the running times grow very fast with the dataset size and faster than a power function even. As to the real and virtual versions of cluster implementations, this tendency is the similar for both Hadoop and Spark frameworks. Moreover, speedup values decrease significantly with the growth of dataset size, especially for virtual version of cluster configuration. The problem of growing data generated by IoT and multimodal (visual, sound, tactile, neuro and brain-computing, muscle and eye tracking, etc.) interaction channels is presented. In the context of this problem, the current observations as to the running times and speedup on Hadoop and Spark frameworks in real and virtual cluster configurations can be very useful for the proper scaling-up and efficient job management, especially for machine learning and Deep Learning applications, where Big Data are widely present.Comment: 5 pages, 1 table, 2017 IEEE International Young Scientists Forum on Applied Physics and Engineering (YSF-2017) (Lviv, Ukraine

Performance Analysis of Open Source Machine Learning Frameworks for Various Parameters in Single-Threaded and Multi-Threaded Modes

The basic features of some of the most versatile and popular open source frameworks for machine learning (TensorFlow, Deep Learning4j, and H2O) are considered and compared. Their comparative analysis was performed and conclusions were made as to the advantages and disadvantages of these platforms. The performance tests for the de facto standard MNIST data set were carried out on H2O framework for deep learning algorithms designed for CPU and GPU platforms for single-threaded and multithreaded modes of operation Also, we present the results of testing neural networks architectures on H2O platform for various activation functions, stopping metrics, and other parameters of machine learning algorithm. It was demonstrated for the use case of MNIST database of handwritten digits in single-threaded mode that blind selection of these parameters can hugely increase (by 2-3 orders) the runtime without the significant increase of precision. This result can have crucial influence for optimization of available and new machine learning methods, especially for image recognition problems.Comment: 15 pages, 11 figures, 4 tables; this paper summarizes the activities which were started recently and described shortly in the previous conference presentations arXiv:1706.02248 and arXiv:1707.04940; it is accepted for Springer book series "Advances in Intelligent Systems and Computing

Deep Learning for Fatigue Estimation on the Basis of Multimodal Human-Machine Interactions

The new method is proposed to monitor the level of current physical load and accumulated fatigue by several objective and subjective characteristics. It was applied to the dataset targeted to estimate the physical load and fatigue by several statistical and machine learning methods. The data from peripheral sensors (accelerometer, GPS, gyroscope, magnetometer) and brain-computing interface (electroencephalography) were collected, integrated, and analyzed by several statistical and machine learning methods (moment analysis, cluster analysis, principal component analysis, etc.). The hypothesis 1 was presented and proved that physical activity can be classified not only by objective parameters, but by subjective parameters also. The hypothesis 2 (experienced physical load and subsequent restoration as fatigue level can be estimated quantitatively and distinctive patterns can be recognized) was presented and some ways to prove it were demonstrated. Several "physical load" and "fatigue" metrics were proposed. The results presented allow to extend application of the machine learning methods for characterization of complex human activity patterns (for example, to estimate their actual physical load and fatigue, and give cautions and advice).Comment: 12 pages, 10 figures, 1 table; presented at XXIX IUPAP Conference in Computational Physics (CCP2017) July 9-13, 2017, Paris, University Pierre et Marie Curie - Sorbonne (https://ccp2017.sciencesconf.org/program

Реалізація спеціалізованої нейронної мережі на мобільній платформі

В даному дипломному проєкті була розроблена спеціалізована нейронна мережа, метою якої є сегментація супутникових зображень видимого спектру з подальшим виділенням областей лісових вирубок. Нейронна мережа дозволяє дослідити лісні угіддя на предмет наявності вирубок, та прискорити роботу робітників лісової промисловості з питань виявлення незаконних вирубок лісу. Нейронна мережа побудована на основі мови програмування Python та фреймворку TensorFlow 2.4.1.In this diploma project a specialized neural network was developed, the purpose of which is the segmentation of satellite images of the visible spectrum with the subsequent selection of areas of deforestation. The neural network allows to investigate forest lands for the presence of deforestation, and to accelerate the work of forest industry workers on the detection of illegal deforestation. The neural network is based on the Python programming language and the TensorFlow 2.4.1 framework

Метод адаптації глибоких нейронних мереж до апаратного забезпечення зі спеціалізованою архітектурою

Таран В.І. Метод адаптації глибоких нейронних мереж до апаратного забезпечення зі спеціалізованою архітектурою. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 123 – Комп’ютерна інженерія з галузі знань 12 – Інформаційні технології. – Національний Технічний Університет України «Київський Політехнічний Інститут імені Ігоря Сікорського», Київ, 2022. Дисертаційна робота присвячена розробці комплексного методу адаптації глибоких нейронних мереж, що дозволяє підвищити продуктивність та ефективність обробки даних глибокими нейронними мережами на апаратному забезпеченні зі спеціалізованою архітектурою. Вперше було розроблено комплексний метод адаптації глибоких нейронних мереж для спеціалізованих обчислювальних архітектур. Розроблено метод адаптивного ітеративного прунінгу для зменшення розміру моделей нейронних мереж за рахунок поступового зменшення розміру мережі шляхом видалення зайвих каналів у згорткових шарах та додатковому навчанні отриманої зменшеної моделі для відновлення точності розпізнавання. Відповідно до розробленого методу, гіперпараметри мережі адаптивно змінюються, щоб компенсувати втрати точності після кожної ітерації прунінгу та зменшити час ітерації обробки даних. Розроблено метод підвищення ефективності процесу обробки даних нейронними мережами на спеціалізованих обчислювальних архітектурах, що враховує технічні особливості обробки даних за допомогою глибоких нейронних мереж на спеціалізованих прискорювачах, наприклад, ітерація виконання обчислень. Також цей метод дозволяє визначити параметри такі, як розмір порції даних, щоб збільшити продуктивність обробки даних за рахунок зменшення впливу накладних витрат ініціалізації і передачі даних. Розроблено метод підвищення ефективності інфраструктури для обробки даних за допомогою глибоких нейронних мереж за рахунок зміни програмної та апаратної складової такої, як операційна система та інтерфейси підключення. Це дозволяє збільшити продуктивність та ефективність обробки даних за допомогою нейронних мереж на цільовій системі. Розроблено програмний компонент діагностики легеневих аномалій за даними рентген знімків для дослідження ефективності роботи спеціалізованого прискорювача Coral Edge TPU USB в задачах медичного застосунку. В якості архітектури глибокої нейронної мережі для даної задачі було обрано ResNet50, яку було треновано на наборі даних ChestXray та адаптовано під спеціалізований прискорювач відповідно до розробленого комплексного методу адаптації. Проведено аналіз результатів застосування методу адаптації глибоких нейронних мереж, що включає в себе адаптивний ітеративний прунінг, підвищення ефективності процесу обробки даних нейронною мережею та підвищення ефективності програмно-апаратної складової цільової хостсистеми. За результатами застосування розробленого методу адаптивного ітеративного прунінгу було досягнуто прискорення 32,2 із точністю розпізнавання 96,2% (10 ітерацій прунінгу). За результатами аналізу технічних особливостей роботи спеціалізованих обчислювальних архітектур було виявлено, що значні показники прискорення, при використанні TPU у порівнянні з GPU, досягаються на пізніх ітераціях (>3) виконання обробки даних моделями глибоких нейронних мереж, коли витрати на ініціалізацію не впливають на продуктивність. Даний фактор треба враховувати при підвищенні ефективності процесу обробки даних нейронними мережами на прискорювачах зі спеціалізованою архітектурою. В результаті аналізу факторів, що впливають на продуктивність цільової інфраструктури обробки даних за допомогою глибоких нейронних мереж, було досягнуто значних різниць в продуктивності при застосуванні різних комбінацій забезпечення цільової інфраструктури. При цьому, досягнуте прискорення склало 8,7. Розроблені методи є складовою комплексного методу адаптації глибоких нейронних мереж і дозволяють підготувати обрану модель нейронної мережі для її застосування на зазначених вище прискорювачах нейронних мереж зі спеціалізованою архітектурою.Taran V.I. Method of deep neural networks adaptation for hardware with specialized architecture. - Qualified scientific work on the rights of the manuscript. Dissertation for the degree of Doctor of Philosophy in the specialty 123 - Computer Engineering and 12 - Information Technologies. - National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Kyiv, 2022. The dissertation work is devoted to the development of the complex adaptation method of deep neural networks, which allows to increase productivity and efficiency of deep neural networks applications on the hardware with specialized architecture. The complex deep neural networks adaptation method for specialized hardware was developed. The method of adaptive iterative pruning for decreasing neural network model size was developed, which is based on subsequent decrease of the model size by removing redundant channels in convolution layers and additional model training for accuracy recovery. According to the proposed method, model hyper parameters are changed after every iteration to compensate accuracy loss and to achieve time decreasing of data processing iteration. The method of neural network data processing efficiency improvement for specialized accelerators was developed. It is based on the technical aspects of deep neural network data processing on hardware with specialized architectures, for example data processing iteration and allows to determine processing parameters for decreasing influence of overheads. The method of neural network processing infrastructure efficiency improvement was developed. It allows to optimize hardware and software configuration of the target system for increasing deep neural network data processing productivity. The testing software for medical diagnostics in the context of edge computing was developed. It utilizes the developed deep neural networks adaptation method and specialized accelerator Coral Edge TPU. The result analysis of the deep neural network adaptation method application was performed. It includes adaptive iterative pruning method, data processing efficiency improvement method and computational infrastructure efficiency improvement method. The speedup up to 32,2 and 96,2% accuracy were achieved after performing 10 iteration of the developed adaptive iterative pruning method. Based on the technical processing properties analysis for specialized processing architectures, some factors were identified, which have influence on the data processing. The considerable speedup values, while utilizing TPU compared to GPU, were achieved on the later data processing iterations (>3) with deep neural networks models, when initialization overheads had small influence on the accelerator performance. Such factor should be taken into account, while improving deep neural networks data processing efficiency on the accelerators with specialized architecture. Based on the deep neural network processing infrastructure analysis of factors, which had influence on the processing productivity, the following was identified. Considerable productivity difference was achieved, while utilizing different software and hardware combinations of the processing infrastructure. The achieved speedup value was up to 8,7. Developed methods are parts of the complex deep neural networks adaptation method. It allows to prepare the selected neural network model for application on the accelerator with specialized architecture