Building high availability central data catalog service powered by IBM Mainframe technology in the ukrainian national grid-infrastructure

Проведено аналіз особливостей застосування служб рівня кооперації української національної грід-інфраструктури, зокрема служби центрального каталогу даних LFC. Сформовано вимоги до реалізації високодоступного центрального каталога даних із використанням високонадійного обчислювального комплексу IBM Mainframe Z800. Показано особливості апаратної архітектури z/Architecture та програмного забезпечення проміжного рівня Nordugrid ARC, що були враховані при розробленні методики формування високодоступної служби LFC. Методику впроваджено для побудови системи з використанням мейнфрейму та обчислювального кластеру Київського національного університету імені Тараса Шевченка. Техніку формування опису грід-завдання для використання конфігурації високонадійної служби запроваджено до реалізації грід-порталу віртуальної лабораторії MolDynGrid в українській національній грід-інфраструктурі.Analysis of cooperation level service applications in Ukrainian national grid-infrastructure is conducted focusing on LFC central data catalog services. Methods for building high available central data catalog service employing IBM Z800 Mainframe installation are presented. Specialities of zSeries hardware architecture and Nordugrid ARC middleware software were taken into account for service implementation on top of the mainframe and HPC cluster of Taras Shevchenko National University of Kyiv. Grid job description generation technique for accessing high available LFC service was applied to the implementation of MolDynGrid Virtual Laboratory grid-portal in the Ukrainian national grid-infrastructure

Мікросервісна архітектура у високонавантажених додатках у реальному часі

Робота публікується згідно наказу ректора № 311/од від 27.05.2021р. "Про розміщення кваліфікаційний робіт здобувачів вищої освіти в репозитарій університету". Науковий керівник:д.т.н., доцент Савченко Аліна СтаніславівнаСтворення високонавантаженої системи обробки даних у реальному часі вимагає від проектувальників брати до уваги обʼєми данних, які щосекундно будуть проходити через неї, вирішувати питання гнучного масштабування та підтримки додатковими програмними частинами. Під час розробки високонавантаженої системи часто застосовується мікросервісна архітектура, яка базується на використанні мікросервісів, що забезпечують легкість масштабування відповідних складових частин великої системи. Архітектура у цій технології проектується на основі вимог до програмної системи (ПС) шляхом обрання відповідних технологій для доставки повідомлень від одного сервісу до іншого за допомогою брокерів повідомлень, API-шлюзів. Популярність використання мікросервісів почалась з компанії Netflix, які активно просувають цю технологію в маси, а такі гіганти як Amazon, у свою чергу, з 2015 року регулярно випускають у провідних видавництвах книги про мікросервісну архітектуру і навіть проводять кілька регулярних конференцій, повністю присвячених мікросервісам. Протилежністю мікросервісів є монолітний підхід до розробки. Концепція “моноліту” полягає в тому, що різні компоненти додатка об’єднуються в одну програму на одній платформі. Усі частини програмного забезпечення уніфіковані, і його функції управляються одному місці. Головна проблема такого підходу була виявлена безліччю нових компаній, таких як Facebook, Uber та Spotify, які прийшли з інноваційними ідеями, агресивною стратегією та рішенням швидко рухати інший спосіб розробки, який би призводив до високого зростання їх додатків. Подібні компанії помітили, що монолітний підхід не справляється із завданнями розробки швидкодіючого програмного забезпечення обробки даних у реальному часі, а часто зіткнення з проблемою поділу відповідальності між модулями – лише призводило до бажання створити більш релевантну архітектуру. 10 Потребувався перехід від програми, де все працює в єдиному цілому – до додатку, який можна розділити на кілька блоків та визначити між ними протоколи (правила) взаємодії. Головною причиною появи мікросервісів стала гостра необхідність розробки продукту кількома командами та дроблення продукту на кілька незалежних елементів. Більше того, ефективність такого підходу мала призвести до того, щоб кожна команда могла розробляти свою частину незалежно від інших абсолютно різними підходами або навіть різними мовами програмування. Мікросервісна архітектура полягає у розробці програмних додатків шляхом створення окремих незалежних один від одного модулів. Кожен з них відповідає за певне завдання, може бути змінено, доповнено та розширено. Програма складається з великої кількості сервісів, які взаємодіють між собою за допомогою обміну повідомленнями. Мікросервісна архітектура поділяє систему на модулі (сервіси) відповідно до запитів бізнесу. Подібні послуги складаються з повного набору технологій, необхідних для конкретного бізнес-запиту: інтерфейс користувача, сховище, зовнішні зв'язки. Окремі модулі можуть бути написані різними мовами, використовувати різні бібліотеки. Отже, метою дипломного проекту є розробка мікросервісної архітектури у високонавантажених додатках в реальному часі та створення інтерфейсу прикладного програмування. Для досягнення поставленої мети необхідно проаналізувати та вирішити наступні задачі: • провести аналітичний огляд предметної області; • визначити критерії оцінки їх ефективності; • розробити архітектуру для спілкування мікросервісів; • розробити інфтерфейс прикладного програмування для застосування розробленої технології