Вопросы реализации нейросетевых алгоритмов на мемристорных кроссбарах

The property of natural parallelization of matrix-vector operations inherent in memristor crossbars creates opportunities for their effective use in neural network computing. Analog calculations are orders of magnitude faster in comparison to calculations on the central processor and on graphics accelerators. Besides, mathematical operations energy costs are significantly lower. The essential feature of analog computing is its low accuracy. In this regard, studying the dependence of neural network quality on the accuracy of setting its weights is relevant. The paper considers two convolutional neural networks trained on the MNIST (handwritten digits) and CIFAR_10 (airplanes, boats, cars, etc.) data sets. The first convolutional neural network consists of two convolutional layers, one subsample layer and two fully connected layers. The second one consists of four convolutional layers, two subsample layers and two fully connected layers. Calculations in convolutional and fully connected layers are performed through matrix-vector operations that are implemented on memristor crossbars. Sub-sampling layers imply the operation of finding the maximum value from several values. This operation can be implemented at the analog level. The process of training a neural network runs separately from data analysis. As a rule, gradient optimization methods are used at the training stage. It is advisable to perform calculations using these methods on CPU. When setting the weights, 3—4 precision bits are required to obtain an acceptable recognition quality in the case the network is trained on MNIST. 6-10 precision bits are required if the network is trained on CIFAR_10.Присущее мемристорным кроссбарам свойство естественной параллелизации матрично-векторных операций создает возможности для их эффективного использования в нейросетевых вычислениях. Аналоговые вычисления производятся на порядки быстрее по сравнению с вычислениями на центральном процессоре и на графических ускорителях. Кроме того, значительно ниже энергозатраты на проведение математических операций. При этом существенной особенностью аналоговых вычислений является небольшая точность. В связи с этим актуальным является исследование зависимости качества работы нейронной сети от точности задания ее весов. Рассмотрены две сверточные нейронные сети, обученные на наборах данных MNIST (рукописные цифры) и CIFAR_10 (самолеты, лодки, машины и т. д.). Первая состоит из двух сверточных слоев, одного слоя подвыборки и двух полносвязанных слоев, а вторая — из четырех сверточных слоев, двух слоев подвыборки и двух полносвязаных слоев. Вычисления в сверточных и полносвязных слоях выполняются через матрично-векторные операции, которые эффективно реализуются на мемристорных кроссбарах. Слои подвыборки подразумевают операцию нахождения максимального значения из нескольких, которая также может быть реализована на аналоговом уровне. Процесс обучения нейронной сети происходит отдельно от анализа данных. Как правило, на этапе обучения используются градиентные методы оптимизации, реализацию которых целесообразно выполнять на центральном процессоре. Показано, что для получения приемлемого качества распознавания в случае с сетью, обученной на MNIST, требуется 3—4 бита точности при задании ее весов, а в случае с сетью, обученной на CIFAR_10, — 6—8 бит

Математическое моделирование самообучающейся нейроморфной сети, основанной на наноразмерных мемристивных элементах с 1T1R-кроссбар-архитектурой

Artificial neural networks play an important role in the modern world. Their main field of application is the tasks of recognition and processing of images, speech, as well as robotics and unmanned systems. The use of neural networks is associated with high computational costs. In part, it was this fact that held back their progress, and only with the advent of high-performance computing systems did the active development of this area begin. Nevertheless, the issue of speeding up the work of neural network algorithms is still relevant. One of the promising directions is the creation of analog implementations of artificial neural networks, since analog calculations are performed orders of magnitude faster than digital ones. The memristor acts as the basic element on which such systems are built. A memristor is a resistance, the conductivity of which depends on the total charge passed through it. Combining them into a matrix (crossbar) allows one layer of artificial synapses to be implemented at the hardware level. Traditionally, the STDP method based on Hebb’s rule has been used as an analog learning method. In this work, we are modeling a two-layer fully connected network with one layer of synapses. The memristive effect can manifest itself in different substances (mainly in different oxides), so it is important to understand how the characteristics of memristors will affect the parameters of the neural network. Two oxides are considered: titanium oxide (TiO2) and hafnium oxide (HfO2). For each oxide, a parametric identification of the corresponding mathematical model is performed to best fit the experimental data. The neural network is tuned depending on the oxide used and the process of training it to recognize five patterns is simulated.Искусственные нейронные сети играют важную роль в современном мире. Основная их область применения это задачи распознавания и обработки изображений, речи, а также робототехника и беспилотные системы. Использование нейронных сетей связано с большими вычислительными затратами. Отчасти именно этот факт сдерживал их прогресс, и только с появлением высокопроизводительных вычислительных систем  началось активное развитие данной области. Тем не менее, вопрос ускорения работы нейросетевых алгоритмов все еще актуален. Одним из перспективных направлений является создание аналоговых реализаций искусственных нейронных сетей, так как аналоговые вычисления производятся на порядки быстрее, чем цифровые. В качестве базового элемента, на котором строятся такие системы, выступает мемристор. Мемристор представляет собой резистор, проводимость которого зависит от суммарного пройденного через него заряда. Объединение мемристоров в матрицу (кроссбар) позволяет реализовать на аппаратном уровне один слой искусственных синапсов. Традиционно в качестве аналогового метода обучения применяется метод STDP, основанный на правиле Хебба. В работе выполняется моделирование двухслойной полносвязной сети с одним слоем синапсов. Мемристивный эффект может проявляться в разных веществах (в основном в разных оксидах), поэтому важно понимать, как характеристики мемристоров будут влиять на параметры нейронной сети. Рассматриваются два оксида: оксид титана (TiO2) и оксид гафния (HfO2). Для каждого оксида выполняется параметрическая идентификация соответствующей математической модели для наилучшего согласования с экспериментальными данными. Производится настройка нейронной сети в зависимости от используемого оксида и моделируется процесс ее обучения распознаванию пяти шаблонов

Квантово-механическое моделирование переключения поляризации в кристаллах HfO2

The work is devoted to the study of the process of changing the polarization of hafnium oxide crystals in the orthorhombic phase associated with the gradual weakening of the polarization effects in FeRAM elements based on thin films of hafnium oxide HfO2. To solve the problem, quantum-mechanical calculations of the structure of orthorhombic hafnium oxide were carried out, a possible way of crystal rearrangement during a change in polarization upon application of voltage was identified, and its optimization was carried out using the elastic band method. The values of the polarization change and the energy barrier of the corresponding transition are obtained. A study of the stability of this transition has been carried out. The results of a series of computational experiments using high-performance computing systems of hybrid architecture based on the Center for Collective Use of the FRC IU RAS are presented. An analysis of the results shows that, despite the low energy barrier of the transition, the probability of a spontaneous change in polarization is low due to the impossibility of changing the polarization of an individual cell without taking into account the influence of the polarizations of neighboring cells.Работа посвящена исследованию процесса изменения поляризации кристаллов оксида гафния в орторомбической фазе, связанного с постепенным ослаблением поляризационных эффектов в FeRAM-элементах на основе тонких пленок оксида гафния HfO2.Для решения задачи проведены квантово-механические расчеты структуры орторомбического оксида гафния, идентифицирован возможный путь перестройки кристалла при смене поляризации при приложении напряжения и произведена его оптимизация с помощью метода эластичной ленты. Получены величины изменения поляризации и энергетический барьер соответствующего перехода. Проведено исследование устойчивости данного перехода. Представлены результаты серии вычислительных экспериментов с применением высокопроизводительных вычислительных систем гибридной архитектуры на базе Центра коллективного пользования Федеральный исследовательский центр «Информатика и управление». Анализ результатов показывает, что, несмотря на невысокий энергетический барьер перехода, вероятность самопроизвольной смены поляризации невелика благодаря невозможности смены поляризации отдельной ячейки без учета влияния поляризаций соседних ячеек.

Обратная коэффициентная задача теплопереноса в слоистых наноструктурах

The rapid development of electronics leads to the creation and use of electronic components of small dimensions, including nanoelements of complex, layered structure. The search for effective methods for cooling electronic systems dictates the need for the development of methods for the numerical analysis of heat transfer in nanostructures. A characteristic feature of energy transfer in such systems is the dominant role of contact thermal resistance at interlayer interfaces. Since the contact resistance depends on a number of factors associated with the technology of heterostructures manufacturing, it is of great importance to determine the corresponding coefficients from the results of temperature measurements.The purpose of this paper is to evaluate the possibility of reconstructing the thermal resistance coefficients at the interfaces between layers by solving the inverse problem of heat transfer.The complex of algorithms includes two major blocks — a block for solving the direct heat transfer problem in a layered nanostructure and an optimization block for solving the inverse problem. The direct problem was formulated in an algebraic (finite difference) form under the assumption of a constant temperature within each layer, which is due to the small thickness of the layers. The inverse problem was solved in the extreme formulation, the optimization was carried out using zero-order methods that do not require the calculation of the derivatives of the optimized function. As a basic optimization algorithm, the Nelder—Mead method was used in combination with random restarts to search for a global minimum.The results of the identification of the contact thermal resistance coefficients obtained in the framework of a quasi-real experiment are presented. The accuracy of the identification problem solution is estimated as a function of the number of layers in the heterostructure and the «measurements» error.The obtained results are planned to be used in the new technique of multiscale modeling of thermal regimes of the electronic component base of the microwave range, when identifying the coefficients of thermal conductivity of heterostructure.Стремительное развитие электроники естественным образом приводит к созданию и использованию электронных компонент малых размеров, в число которых входят наноэлементы сложной (слоистой) структуры. Поиск эффективных методов охлаждения электронных систем диктует необходимость развития методов численного анализа тепловыделения и теплопереноса в наноструктурах. Характерной особенностью теплопереноса в слоистых наноструктурах является доминирующая роль контактного термического сопротивления на межслоевых интерфейсах (тепловой проводимости интерфейсов). При этом контактное сопротивление зависит от целого ряда факторов, связанных с технологией изготовления гетероструктур, что обуславливает необходимость определения соответствующих коэффициентов по результатам температурных измерений. Рассмотрена возможность восстановления коэффициентов термического сопротивления на границах соприкосновения слоев, изготовленных из разных материалов, с помощью решения обратной задачи теплопереноса. Комплекс алгоритмов состоит из двух основных блоков: блока решения прямой задачи теплопереноса в слоистой наноструктуре и блока оптимизации для решения обратной задачи. Прямая задача сформулирована в алгебраическом (разностном) виде в предположении о постоянстве температуры в пределах каждого слоя, что связано с малой толщиной слоев. Обратная задача решена в экстремальной постановке, оптимизация проведена с помощью методов нулевого порядка, не требующих вычисления производных оптимизируемой функции. В качестве базового оптимизационного алгоритма использован метод Нелдера—Мида (деформируемого многогранника) в сочетании со случайными рестартами для поиска глобального минимума. Представлены результаты восстановления коэффициентов контактного термического сопротивления, полученные в рамках квазиреального эксперимента. Дана оценка точности решения задачи идентификации в зависимости от числа слоев в гетероструктуре и от погрешности «измерений». Полученные результаты планируется использовать в новой методике многоуровневого моделирования тепловых режимов электронной компонентной базы СВЧ-диапазона, при идентификации коэффициентов теплопроводности элементов гетероструктур

Моделирование полевых элементов Холла на основе наноразмерных гетероструктур «кремний на изоляторе»

The article is devoted to the issues of numerical simulation of field Hall sensors based on the "silicon on insulator" structure with two control gates. To solve the problem, a two-level local-one-dimensional computational model is used. At the first level, a series of one-dimensional Schrödinger—Poisson equations are solved, which describe the distribution of the electron density across the heterostructure in different sections. The obtained information is transmitted to the second level, where the current characteristics of the element are calculated. The numerical simulation results are compared with the experimental data obtained for field Hall sensors. Comparative analysis shows good agreement between calculated and experimental data. The developed computer model makes it possible to carry out a multivariate analysis of various heterostructures, which creates the basis for optimizing devices of the class under consideration.Статья посвящена вопросам численного моделирования полевых датчиков Холла (ПДХ) на основе структуры «кремний на изоляторе» с двумя управляющими затворами. Для решения задачи применяется двухуровневая локально-одномерная вычислительная модель. На первом уровне решается серия одномерных уравнений Шредингера—Пуассона, описывающих распределение плотности носителей заряда поперек гетероструктуры в различных сечениях. Полученная информация передается на второй уровень, где осуществляется расчет токовых характеристик элемента. Результаты численного моделирования сопоставляются с экспериментальными данными, полученными для полевых датчиков Холла. Сравнительный анализ показывает хорошее согласование расчетных и экспериментальных данных. Разработанная компьютерная модель позволяет оперативно проводить многовариантный анализ различных структур ПДХ, что создает основу для оптимизации устройств рассматриваемого класса