A Review on GPU Based Parallel Computing for NP Problems

Now a days there are different number of optimization problems are present. Which are NP problems to solve this problems parallel metaheuristic algorithm are required. Graph theories are most commonly studied combinational problems. In this paper providing the new move towards solve this combinational problem with GPU based parallel computing using CUDA architecture. Comparing those problem with relevant to the transfer rate, effective memory utilization and speedup etc. to acquire the paramount possible solution. By applying the different algorithms on the optimization problem to catch the efficient memory exploitation, synchronized execution, saving time and increasing speedup of execution. Due to this the speedup factor is enhance and get the best optimal solution

Метод оптимізації паралельних обчислень в розподілених гетерогенних комп’ютерних системах на основі багаторівневого балансування навантаження

Структура i обсяг роботи: магістерська дисертація викладена на 128 cторiнкаx, складається зі вступу, 3 розділів, висновку, містить 20 рисунків, 4 таблиці, 13 формул, список використаних джерел із 33 найменувань на 5 cторiнкаx. Актуальність роботи. Станом на сьогодні спостерігається поява все більшої кількості комп’ютерних систем які мають гетерогенну структуру, засновану на використанні центрального процесора та акселераторів з відмінною від нього архітектурою. В той же час, для достатнього рівня швидкодії складних програмних комплексів стає не достатньо застосування лише паралельних систем, стандартною практикою для високонавантажених обчислень стає їх розгортка в розподілених комп’ютерних системах, для яких паралельні системи є лише складовими елементами. Для всіх розподілених систем одним з ключових факторів, що визначають ефективність роботи системи, є вміле балансування навантаження на всіх рівнях цієї системи. Вирішенню цієї NP-повної задачі наразі присвячено цілий розділ комп’ютерних наук, але вона досі лишається актуальною проблемою, оскільки абсолютно ідеального рішення за прийнятний час в ній знайти наразі не можливо. А в випадку, коли кінцеві вузли розподіленої системи являють собою гетерогенні комп’ютерні системи, то задача ускладняється ще більше, оскільки необхідно провести балансування обчислень між різнорідними елементами із зазвичай значно відмінними між собою характеристиками продуктивності та комунікабельності. Наразі існує великий набір стандартних методів балансування навантаження в розподілених системах, але більшість із них орієнтовані на конкретний тип задач, лише невелика кількість не прив’язані до конкретних задач. сучасні засоби організації паралельних обчислень в розподілених комп’ютерних системах з акселераторами приймають низький рівень абстракції, що веде до рядку складнощів та обмежень. Вбудовані в них методи балансування навантаження орієнтовані на гомогенні і здебільшого повнозв’язні системи. Мета роботи: підвищення ефективності проведення паралельних обчислень в гетерогенних розподілених комп’ютерних системах шляхом оптимального розподілу та балансування навантаження на її складові елементи. Завдання дослідження: 1. Виконати аналіз сучасних підходів до організації паралельних обчислень в РГКС, а також основні методи оптимізації таких обчислень. 2. Виділити основні проблеми які виникають при організації РГКС та паралельних обчислень в них, дослідити та систематизувати існуючі пропозиції їх вирішення. 3. Запропонувати методи та підходи до вирішення виявлених проблем, які дозволять підвищити ефективність паралельних обчислень в РГКС. 4. Провести експериментальні дослідження ефективності запропонованих методів та підходів шляхом розробки та тестування пакету програм для реальних РГКС. 5. Провести порівняльний аналіз створених програмних комплексів для РГКС із вже існуючими реалізаціями альтернативних підходів за показниками максимально досягнутих показників прискорення та ефективності. Об’єкт дослідження: паралельні та розподілені обчислення, високопродуктивні обчислення. Предмет дослідження: методи організації паралельних обчислень в розподілених гетерогенних комп’ютерних системах, методи планування обчислень та балансування навантаження в РГКС. Методи дослідження: методи статистичного опрацювання даних, теорія паралельних та розподілених обчислень, теорія планування, теорія оптимізації, теорія компіляторів, теорія алгоритмів, теорія графів. Публікації: 1. «Дослідження ефективності дрібнозернистого паралелізму в багатоядерних комп'ютерних системах», «Вісник НТУУ «КПІ. Інформатика, управління та обчислювальна техніка: зб. наук. праць», 2020, № 66, с. 56 – 61. Також результати та розвиток цього дослідження були представлені на міжнародних конференціях CSNT-2017, CSNT-2018, ICSFTI-2018 та опубліковані у відповідних збірниках праць даних конференцій. 2. «Neural network acceleration method in the two-component CPU-GPU computer systems», Збірник тез доповідей VI Міжнародної конференції «High Performance Computing» (HPC-UA 2020) [на рев’ю]. Також матеріали цього дослідження були представлені на міжнародних конференціях CSNT-2019, ICSFTI-2019 та опубліковані у відповідних збірниках праць даних конференцій. 3. «Застосування технології WCF для підвищення ефективності обчислень в сучасних розподілених комп’ютерних системах», Збірник тез доповідей XIII Міжнародної науково-технічної конференції «Комп’ютерні системи та мережні технології» (CSNT-2020) [очікує публікації]. 4. «Застосування технології WCF для підвищення ефективності паралельних обчислень в хмарних розподілених комп’ютерних системах», Безпека. Відмовостійкість. Інтелект: збірник праць міжнародної науково-практичної конференції ICSFTI2020 [очікує публікації].Structure and scope of master's thesis: Master's thesis is presented on 128 pages, consists of introduction, 3 sections, conclusion, contains 20 drawings, 4 tables, 13 formulas, a bibliography of 33 titles on 5 pages. Relevance of work. Today, an increasing number of computer systems have a heterogeneous structure based on the use of central processing unit and accelerators with a different architecture. At the same time, it is not enough to use only parallel systems for a sufficient level of performance of complex software systems; it is standard practice for high-load computations to deploy them in distributed computer systems, in which parallel systems are only constituent elements. For all distributed systems, one of the key characteristics of the system performance is the ability to balance workloads at all levels of the system. A whole section of computer science is currently devoted to solving NP-complete problem, but it still remains an actual problem, since it is not possible to find the perfect solution in an acceptable time for now. And if the end nodes of a distributed system are heterogeneous computer systems, the task becomes even more complicated as it is necessary to balance the computations between heterogeneous elements with typically significantly different performance and communication characteristics. Currently, there is a large set of standard load balancing methods in distributed systems, but most of them are focused on specific types of tasks, and only a small number are not tied to them. Modern parallel computing tools in distributed computer systems with accelerators accept a low level of abstraction, leading to a number of difficulties and limitations. The load balancing techniques built into them are oriented on homogeneous and fully connected systems. Purpose of work: increasing the efficiency of parallel computing in distributed heterogeneous computer systems by optimally distributing and balancing the load on its elements. Research tasks: 1. To analyze modern approaches to the organization of parallel calculations in DHCS, as well as the basic methods of optimization of such computations; 2. To identify the main problems that arise in the organization of DHCS and parallel calculations in them, to investigate and systematize existing proposals for their solution; 3. To highlight the main problems and disadvantages of existing approaches and technologies, propose own solutions of the identified problems and ideas for improving the work of DHCS; 4. Conduct experimental studies of the effectiveness of the proposed methods and approaches by developing and testing a software systems for real DHCS; 5. To carry out a comparative analysis of the created software systems for DHCS with already existing implementations of alternative approaches based on the achieved acceleration and efficiency. Object of research: parallel and distributed computing, high-performance computing. Subject of research: methods of organization of parallel calculations in distributed heterogeneous computer systems, methods of calculations planning and load balancing in DHCS. Research methods: methods of statistical data processing, theory of parallel and distributed calculations, theory of planning, theory of optimization, theory of compilers, theory of algorithms, theory of graphs. Publications: 1. “Doslidzhennia efektyvnosti dribnozernystoho paralelizmu v bahatoiadernykh kompiuternykh systemakh” [The investigation of effectiveness in using of finegrained parallelism in multicore computer systems], Visnyk NTUU “KPI”. Informatyka, upravlinnia ta obchysliuvalna tekhnika: zbirnyk naukovykh prats [Herald of NTUU “KPI”. Information technology, management and computing technics: a collection of scientific papers], vol. 66, pp. 56 – 61., in press. Also, the results of this study were presented at international conferences CSNT-2017, CSNT-2018, ICSFTI-2018 and published in the relevant proceedings of these conferences. 2. «Neural network acceleration method in the two-component CPU-GPU computer systems», Proceedings of the 6 th International Conference “High Performance Computing HPC-UA 2020” [on review]. Also, the results of this study were presented at international conferences CSNT-2019, ICSFTI-2019 and published in the relevant proceedings of these conferences. 3. «Zastosuvannia tekhnolohii WCF dlia pidvyshchennia efektyvnosti obchyslen v suchasnykh rozpodilenykh komp’iuternykh systemakh» [The application of WCF technology to increase the efficiency of computing in modern distributed computer systems], Proceedings of the XIII International Conference CSNT2020 [in press]. 4. «Zastosuvannia tekhnolohii WCF dlia pidvyshchennia efektyvnosti paralelnykh obchyslen v khmarnykh rozpodilenykh komp’iuetrnykh systemakh» [The application of WCF technology to increase the efficiency of parallel computing in cloud distributed computer systems], Proceedings of the The International Conference on Security, Fault Tolerance, Intelligence (ICSFTI2020) [in press]