Agent communication method in cooperative environment based on the artificial neural networks

The problem of communication between cooperating agents in multiagent environments is considered in this paper. An algorithm is proposed that is based in reinforcement learning and recurrent neural networks. Main idea behind the algorithm is to use an additional recurrent network that translates information from internal state of one agent to internal state of another agent. Experimental evaluation is performed on model environment. Experimental results have shown that proposed method is potentially useful but requires additional investigation. В роботі розглядається проблема комунікації кооперуючих агентів у мультиагентних середовищах. Запропоновано алгоритм на основі підходів навчання з підкріпленням з використанням рекурентних нейронних мереж. Головна ідея алгоритму – це використання додаткової рекурентної мережі, яка виконує обмін інформацією між внутрішніми станами двох агентів під час комунікації. Обраний підхід заснований на застосуванні алгоритму A3C, рекурентної нейронної мережі Long Short-Term Memory (LSTM) для керування агентом та додаткової рекурентної мережі (мережі комунікації). Досліджено два варіанта архітектури нейронної мережі. За першою версією агенти спочатку «спілкуються», а потім використовується результат у якості додаткових даних про середовище. Друга версія спочатку аналізує дані про середовище, а потім реалізує «спілкування» агентів, обмінюючись високорівневою інформацією. Проведено експериментальну оцінку запропонованого алгоритму на прикладі модельної задачі. Результати експерименту довели, що запропонований підхід покращує ефективність кооперуючих агентів. Перевагою алгоритму є те, що він не потребує наявності складних та структурованих обчислювальних систем та може бути фізично реалізованим за допомогою дуже маленьких об’єктів, таких, як наприклад макромолекули. В работе рассматривается проблема коммуникации кооперирующих агентов в мультиагентной среде. Предлагается алгоритм на основе подходов обучения с подкреплением с использованием рекуррентных нейронных сетей. Главная идея алгоритма – использование дополнительной нейронной сети, которая выполняет обмен информацией между внутренними состояниями двух агентов во время коммуникации. Предлагаемый подход основан на применении алгоритма A3C, рекуррентной нейронной сети Long Short-Term Memory (LSTM) для управления агентом и дополнительной рекуррентной сети (сети коммуникации). Исследовано два варианта построения архитектуры нейронной сети. Первая версия сначала организовывает взаимодействие агентов, а затем использует результат в качестве дополнительных данных о среде. Вторая версия сначала анализирует данные о среде, а потом коммуницирует, обмениваясь высокоуровневой информацией. Проведена экспериментальная оценка предложенного алгоритма на примере модельной задачи. Результаты эксперимента показали, что предложенный алгоритм улучшает эффективность кооперирующих агентов. Преимуществом алгоритма можно считать то, что он не требует наличия сложных и структурированных вычислительных систем и может быть физически реализован с помощью очень маленьких объектов, таких, как например макромолекулы

Initial-state dependence of coupled electronic and nuclear fluxes in molecules

We demonstrate that coupled electronic and nuclear fluxes in molecules can strongly depend on the initial state preparation. Starting the dynamics of an aligned D2 + molecule at two different initial conditions, the inner and the outer turning points, we observe qualitatively different oscillation patterns of the nuclear fluxes developing after 30 fs. This corresponds to different orders of magnitude bridged by the time evolution of the nuclear dispersion. Moreover, there are attosecond time intervals within which the electronic fluxes do not adapt to the nuclei motion depending on the initial state. These results are inferred from two different approaches for the numerical flux simulation, which are both in good agreement

Построение асимптотического разложения решения уравнения нейрона, описываемого дифференциальным уравнением с переменным запаздыванием

The difference-differential equation with variable delay which describes an impulse neuron model is analyzed. The asymptotic expansion of solution of the equation constructed in the paper has the higher order in comparison with the result of the previous research.Исследуется дифференциальное уравнение с переменным запаздыванием, описывающее динамику биологической нервной клетки. Построено асимптотическое разложение решения уравнения, имеющее более высокий порядок по сравнению с результатами предыдущих работ

Релаксационные циклы обобщённого уравнения импульсного нейрона

In the paper we analyze the generalized model of the V. V. Mayorov and I. Yu. Myshkin pulsed neuron. The neuron equation contains a delay of the sodium conductance with respect to the transmembrane potential as well as the potassium one. We proved the exisence and stability of the periodic solution and obtained its asymptotic expansion.Рассмотрена обобщенная модель импульсного нейрона В. В. Майорова и И. Ю. Мышкина. В уравнение, описывающее нейрон, введено запаздывание не только калиевой, но и натриевой проводимости относительно трансмембранного потенциала. Доказаны существование и устойчивость периодического решения уравнения нейрона, построено асимптотическое разложение решения

THE USE OF NEW REAGENT KITS FOR DETECTION AND DESCRIPTION OF ADDITIONAL ALLELES

During the screening typing of recruited volunteers with Volga Federal District for unrelated hematopoietic stem cell registry on the loci (HLA)-A, B, DRB1, DRB345 in sample No 1758 identified a new allele at locus A. The use of basic kit AlleleSEQR HLA-A Sequencing in combination with HARP – A2F98A allowed to determine the genotype of this sample – А*30:01:01, a new allele А*25, В*13, 44, DRB1*03, 09, DRB3*02, DRB4*01

Методы идентификации авторства в определении студенческого плагиата

In the modern educational context the problem of plagiarism is urgent and requires the development of effective methods of detection and prevention of this phenomenon. The application of authorship identification methods in the field of student plagiarism detection is considered. Different check, detect and analyze plagiarism approaches in various works are investigated. Both classical methods, which include text comparison and similarity search, and modern methods based on machine learning algorithms, as well as their combination and potential modifications, are considered. The advantages and limitations of each method are also discussed, and recommendations are given for choosing one or another approach according to the specific requirements of the research.Special attention is paid to such modern methods as metadata analysis and the application of neural networks. Stylistic analysis reveals authorial peculiarities such as word choice, preferred wording, and even punctuation. Lexical and syntactic models are used to identify repetitive phrases and structures that may indicate plagiarism. Statistical methods can identify anomalies in the use of words and phrases, and machine learning can create models to calculate the probability of plagiarism based on large amounts of data.Ultimately, an comparison of authorship identification techniques in the field of student plagiarism detection is provided, which aims to provide valuable information about different approaches and their applicability, and to help researchers and educators develop effective strategies for detecting and preventing plagiarism in educational environments.В современном образовательном контексте проблема плагиата является актуальной и требует разработки эффективных методов обнаружения и предотвращения данного явления. Рассмотрено применение методов идентификации авторства в области обнаружения студенческого плагиата. Исследованы различные подходы, используемые для проверки, обнаружения и анализа плагиата в различных работах. Рассмотрены как классические методы, в числе которых сравнение текстов и поиск сходства, так и современные методы, основанные на алгоритмах машинного обучения, а также их комбинирование и потенциальные модификации. Также обсуждены преимущества и ограничения каждого метода и даны рекомендации по выбору того или иного подхода в соответствии с конкретными требованиями исследования. Особое внимание уделено таким современным методам, как анализ метаданных и применение нейронных сетей. Стилистический анализ позволяет выявить авторские особенности, такие как выбор слов, предпочтительные формулировки и даже пунктуация. Лексические и синтаксические модели используются для выявления повторяющихся фраз и структур, которые могут указывать на плагиат. Статистические методы позволяют выявить аномалии в употреблении слов и фраз, а машинное обучение – создать модели, позволяющие рассчитать вероятность плагиата на основе большого количества данных.В конечном итоге предоставлено сравнение методов идентификации авторства в области определения студенческого плагиата, что имеет целью дать ценную информацию о различных подходах и их применимости, а также поможет исследователям и преподавателям разработать эффективные стратегии выявления и предотвращения плагиата в образовательной среде

Construction of the Initial Part of a Ion Linear Accelerator from Similar Short Cavities

The construction of the initial part of a normally conducting linac for hydrogen ion beams with a pulsed current of ~20 mA up to an energy of ~70 MeV is considered. The RFQ at a frequency of ~160 MHz accelerates ions to an energy of ~4 MeV. Further acceleration is carried out at a doubled frequency by short, up to $5\beta\lambda$, cavities, operating in the TM010 mode, with drift tubes. Focusing is carried out by doublets of quadrupole lenses placed between the cavities. The structure of the accelerating-focusing channel, with given beam parameters, with reserves provides both the conditions for stable longitudinal and transverse motion of particles, and reliable technical implementation. The main results of the simulations of particle dynamics and the main parameters of the elements of the channel are presented. The possibility of constructing an linac with a higher output energy is analyzed.Comment: in Russian languag

Thz range low-noise sis receivers for space and ground-based radio astronomy

We report on research in the field of low-noise receiving systems in the sub-terahertz (THz) range, carried out in recent years, aimed at developing receivers with quantum sensitivity for implementation in space and ground-based radio telescopes. Superconductor-Insulator-Superconductor (SIS) mixers based on high-quality tunnel junctions are the key elements of the most sensitive sub-THz heterodyne receivers. Motivations and physical background for technology improvement and optimization, as well as fabrication details, are described. This article presents the results of the SIS receiver developments for the 211–275 GHz and 790–950 GHz frequency ranges with a noise temperature in the double sideband (DSB) mode of approximTELY 20 K and 200 K, respectively. These designs and achievements are implemented in the development of the receiving systems for the Russian Space Agency mission “Millimetron”, and for the ground-based APEX (Atacama Pathfinder EXperiment) telescope

Reconstruction of recombination sites in genomic structures of the strains of genotype 6 of hepatitis C virus

The encoded portion of the complete genomes of 46 strains of the genotype 6 of hepatitis C virus through bioinformatics RDP programs complex group of 6 recombinants strains was identified, in which 7 recombination sites were fixed. Strains correspond to the three-recombinant HCV subtypes: 6a, 6b and 61. For each of the identified recombinant we defined parent strains from which they can be obtained. Three recombinants were obtained from parent strains of the same subtype (homologous inside subgenotypic recombination). For the remaining three recombinants parent strains were members of three different subtypes (between subgenotypic recombination).In one strain we identified a unique recombination site in a highly conservative NS3 gene. Most of the recombination sites occurred in the region of the structural genes C, E1 and E2, and in the area of non-structural genes NS5a and NS5b.In the recombinant strain DQ480518-6a two recombination site were identified. One site is located in the structural and nonstructural genes (E2 + NS1 + NS2), and a second one in non-structural region. Dimensions of recombination sites can vary from 86 to 1072 nucleotide bases. The study identified "hot spots" of recombination in the strains of genotype 6 of hepatitis C virus. The recombinants were found in the population of the three countries: the United States (from the serum of an immigrant), Hong Kong and China

Immunogenetic characteristics of unrelated hematopoietic stem cell donors recruited in the Sverdlovsk, Saratov, Yaroslavl and Vladimir regions

Aim of the study was to investigate the distribution features of HLA alleles and multilocus haplotypes in potential donors of hematopoietic stem cells recruting in the Sverdlovsk, Saratov, Yaroslavl and Vladimir regions. Material and methods. Sequence Based Typing technology was used to identify human leukocyte antigen (HLA)-A, -B, -C, -DRB1 alleles from 2683 Russian unrelated bone marrow volunteers living in the Sverdlovsk (n = 1018), Saratov (n = 825), Yaroslavl (n = 604) and Vladimir (n = 236) regions. HLA allele and haplotype frequencies were estimated via maximum-likelihood analysis from genotypic data through an expectation-maximization (EM) algorithm for unknown gametic phase. Results and discussion. In all studied populations, 16 HLA-A, 13 HLA-C, 13 HLA-DRB1 alleles were selected. In the locus HLA-B, 28 alleles were detected in the populations of the Sverdlovsk and Yaroslavl regions, 27alleles – in the Saratov region, 25 alleles – in the Vladimir. Seventeen alleles, HLA-A*02, HLA-A*03, HLA-A*01, HLA-A*24, HLA-B*07, HLA-B*35, HLA-С*07, HLA-С*06, HLA-С*04, HLA-С*03, HLA-С*12, HLA-DRB1*15, HLA-DRB1*07, HLA-DRB1*01, HLA-DRB1*13, HLA-DRB1*04, HLA-DRB1*11 exhibit frequencies over 10 %. The highest frequency extended haplotype in the all studied populations HLA-A*01-B*08-C*07-DRB1*03, was observed frequencies of 4,4 % – in the Sverdlovsk region, 3,2 % – in the Saratov region, 4,9 % – in the Yaroslavl region and 4,2 % – in the Vladimir region. Routine HLA typing allowed us to define four new HLA alleles in the populations of the Sverdlovsk and Saratov region