Формирование индивидуальной среды моделирования в гибридном высокопроизводительном вычислительном комплексе

The article is devoted to the problem of solving scientific problems in the field of high-performance computing systems. An approach to solving a certain kind of problems in materials science is the use of mathematical modeling technologies implemented by specialized modeling systems. The greatest efficiency of the modeling system is shown when deployed in hybrid high-performance computing systems (HHPC), which have high performance and allow solving problems in an acceptable time with sufficient accuracy. However, there are a number of limitations that affect the work of the research team with modeling systems in the HHPC computing environment: the need to access graphics accelerators at the stage of development and debugging of algorithms in the modeling system, the need to use several modeling systems in order to obtain the most optimal solution, the need to dynamically change settings modeling systems for solving problems. The solution to the problem of the above limitations is assigned to an individual modeling environment functioning in the HHPC computing environment. The optimal solution for creating an individual modeling environment is the technology of virtual containerization. An algorithm for the formation of an individual modeling environment in a hybrid high-performance computing complex based on the «docker» virtual containerization system is proposed. An individual modeling environment is created by installing the necessary software in the base container, setting environment variables, installing custom software and licenses. A feature of the algorithm is the ability to form a library image from a base container with a customized individual modeling environment. In conclusion, the direction for further research work is indicated. The algorithm presented in the article is independent of the implementation of the job management system and can be used for any high-performance computing system.Статья посвящена проблеме решения научных задач в области материаловедения в среде высокопроизводительных вычислительных комплексов. Подходом к решению определенного рода задач в материаловедения является применение технологий математического моделирования, реализуемых специализированными системами моделирования. Наибольшую эффективность системы моделирования проявляют при развертывании в гибридных высокопроизводительных вычислительных комплексах (ГВВК), обладающих высокой производительностью и позволяющих решать задачи за приемлемое время с достаточной точностью. Однако существует ряд ограничений, влияющих на работу научного коллектива с системами моделирования в вычислительной среде ГВВК: необходимость доступа к графическим ускорителям на этапе разработки и отладки алгоритмов в системе моделирования, необходимость применения нескольких систем моделирования с целью получения наиболее оптимального варианта решения, необходимость динамического изменения настроек системы моделирования при решении задач. Решение проблемы вышеуказанных ограничений возлагается на индивидуальную среду моделирования, функционирующую в вычислительной среде ГВВК. Оптимальным решением для создания индивидуальной среды моделирования является технология виртуальной контейнеризации. Предлагается алгоритм формирования индивидуальной среды моделирования в гибридном высокопроизводительном вычислительном комплексе на основе системы виртуальной контейнерезации docker. Индивидуальная среда моделирования создается путем установки в базовый контейнер необходимого программного обеспечения, настройки переменных среды, установки пользовательского ПО и лицензий. Особенностью алгоритма является возможность формирования библиотечного образа из базового контейнера с настроенной индивидуальной средой моделирования. В заключении обозначены направление для проведения дальнейшей исследовательской работы. Представленный в статье алгоритм является независимым от реализации системы управления заданиями и может применяться для любого высокопроизводительного вычислительного комплекса

Основные научно-технические проблемы применения гибридных высокопроизводительных вычислительных комплексов в материаловедении

The article discusses the use of hybrid HPC clusters for the execution of software designed to calculate the electronic structure and atomic scale materials modeling. Modern software systems, which are designed to solve the problems of materials science, use the capabilities of various hardware computing accelerators to increase productivity. The use of such computing technologies requires the adaptation of application program code to hybrid computing architectures, which include classic central processing units (CPUs) and specialized graphics accelerators (GPUs).The use of large computing hybrid systems requires the development of methods for ensuring the workloading of such computing systems that will allow efficient use of computing resources and avoid equipment downtime.First of all, these methods should allow parallel execution of user applications using computational accelerators. However, in practice, software environments designed to solve application problems cannot be deployed in the same computing environment due to software incompatibility. In order to overcome this limitation and ensure the parallel execution of diverse types of materials science tasks, the creation of individual task execution environments based on virtualization technologies and cloud technologies.The continuation of virtualization technologies and the provision of cloud services is the construction of digital platforms. The article proposes the use of a digital platform for hosting scientific materials science services that provide calculations using various application software systems. Digital platforms make it possible to provide a unified user interface to scientific materials science services. The platform provides opportunities for finding the necessary scientific services, transferring source data and results between users, the platform and hybrid high-performance clusters.В статье рассматриваются вопросы применения гибридных высокопроизводительных комплексов для исполнения программных систем, предназначенных для расчета электронной структуры и моделирования материалов на атомном уровне. Современные программные системы, предназначенные для решения задач материаловедения используют для увеличения производительности возможности различных аппаратных ускорителей вычислений. Использование таких вычислительных технологий требуют адаптации программного кода приложений к гибридным вычислительным архитектурам, включающим в себя классические центральные процессоры (CPU) и специализированные графические ускорители (GPU).Применение крупных вычислительных гибридных комплексов требует разработки методов обеспечения загрузки таких вычислительных комплексов, которые позволят эффективно использовать вычислительные ресурсы и избегать простоя оборудования. В первую очередь данные методы должны позволять обеспечивать параллельное выполнение пользовательских приложений, использующих ускорители вычислений. Однако, на практике программные среды, предназначенные для решения прикладных задач не могут быть развернуты в одной вычислительной среде из-за несовместимости программного обеспечения. С целью преодоления этого ограничения и обеспечения параллельного выполнения разнотипных задач материаловедения создание индивидуальных сред исполнения заданий на основе технологий виртуализации и облачных технологий. Развитием технологий виртуализации и предоставления облачных сервисов является построение цифровых платформ. В статье предлагается использование цифровой платформы для размещения научных сервисов материаловедения, которые обеспечивают расчеты с использованием различных прикладных программных систем. Цифровые платформы позволяют предоставить единый интерфейс пользователей к научным сервисам материаловедения. Платформа предоставляет возможности по поиску необходимых научных сервисов, передаче исходных данных и результатов между пользователями, платформой и гибридными высокопроизводительными комплексами