Memory Management Support for Multi-Programmed Remote Direct Memory Access (RDMA) Systems

Current operating systems offer basic support for network interface controllers (NICs) supporting remote direct memory access (RDMA). Such support typically consists of a device driver responsible for configuring communication channels between the device and user-level processes but not involved in data transfer. Unlike standard NICs, RDMA-capable devices incorporate significant memory resources for address translation purposes. In a multi-programmed operating system (OS) environment, these memory resources must be efficiently shareable by multiple processes. For such sharing to occur in a fair manner, the OS and the device must cooperate to arbitrate access to NIC memory, similar to the way CPUs and OSes cooperate to arbitrate access to translation lookaside buffers (TLBs) or physical memory. A problem with this approach is that today’s RDMA NICs are not integrated into the functions provided by OS memory management systems. As a result, RDMA NIC hardware resources are often monopolized by a single application. In this paper, I propose two practical mechanisms to address this problem: (a) Use of RDMA only in kernel-resident I/O subsystems, transparent to user-level software; (b) An extended registration API and a kernel upcall mechanism delivering NIC TLB entry replacement notifications to user-level libraries. Both options are designed to re-instate the multiprogramming principles that are violated in early commercial RDMA systems

SplitFS: Reducing Software Overhead in File Systems for Persistent Memory

We present SplitFS, a file system for persistent memory (PM) that reduces software overhead significantly compared to state-of-the-art PM file systems. SplitFS presents a novel split of responsibilities between a user-space library file system and an existing kernel PM file system. The user-space library file system handles data operations by intercepting POSIX calls, memory-mapping the underlying file, and serving the read and overwrites using processor loads and stores. Metadata operations are handled by the kernel PM file system (ext4 DAX). SplitFS introduces a new primitive termed relink to efficiently support file appends and atomic data operations. SplitFS provides three consistency modes, which different applications can choose from, without interfering with each other. SplitFS reduces software overhead by up-to 4x compared to the NOVA PM file system, and 17x compared to ext4-DAX. On a number of micro-benchmarks and applications such as the LevelDB key-value store running the YCSB benchmark, SplitFS increases application performance by up to 2x compared to ext4 DAX and NOVA while providing similar consistency guarantees

PSIM: a crop scheduling simulation

1979 Fall..Covers not scanned.Includes bibliographical references.PSIM is a simulation model of raw product supply for a commercial pea canning operation. The primary purpose of the computer model is generation of planting and harvest schedules based on the heat unit system for predicting crop maturation. The simulation will schedule up to 30 plantings, each consisting of 20 subplantings, for as many as ten cultivars. Output includes a planting schedule, a table of projected harvest dates based on historical temperature data, final harvest dates based on a current year's temperature data, and yield figures. Maturity and yield are treated as stochastic elements in the model and samples are taken from normal distributions for both characteristics. Model rationale is presented along with a program listing, technical and user documentation. The heat unit system itself is examined in a review of the literature

Метод резервування та відновлення даних при їх зберіганні на віддалених носіях

Актуальність теми. Особливостями сучасного етапу вдосконалення інформаційних технологій є поглиблення процесів інформаційної інтеграції та значне розширення застосування хмарних та розподілених обчислень. Прогрес технології глобальних мереж, досягнутий в останні десять років, докорінно змінив організацію комп’ютерної обробки інформації на користь розподілених систем зберігання даних та віддалених обчислень. Широкого розповсюдження набула практика розподіленого зберігання інформації користувачів на віддалених сховищах. Крім таких очевидних переваг, як практична відсутність обмежень на об’єм пам'яті, доступність інформації користувача для широкого кола інших користувачів, зручність обміну даними, сучасна технологія зберігання інформації в хмарах забезпечує якісно більш високий рівень надійності. Втрата даних при їх зберіганні на магнітних, оптичних чи твердотільних накопичувачах може відбуватися в результаті виходу з ладу обладнання, помилок в роботі програмного забезпечення, хакерських атак, дій вірусних програм, комп’ютерних хробаків, катаклізмів політичного, терористичного, природного, військового чи техногенного характеру. При цьому можуть втрачатися як окремі блоки даних, так і вся інформація на певному сховищі. При зберіганні даних користувачів у хмарі, основну роль в забезпеченні надійності відіграє рознесення даних користувача по різним, географічно віддаленим, сховищам. Це обмежує втрати даних під дією наведених вище причин, відносно невеликим об’ємом. Втрачені дані можуть бути відновлені за рахунок використання резервних блоків, які формуються з інформаційних блоків. В цьому ракурсі резервування та відновлення втрачених даних відіграють важливу роль в технології забезпечення високої надійності розподіленого зберігання інформації користувачів. Відповідно, подальший розвиток технологій віддаленого зберігання даних диктує необхідність адекватного вдосконалення методів їх резервування та відновлення втраченої інформації. Таким чином, наукова задача підвищення ефективності резервування та відновлення даних користувачів при їх розподіленому зберіганні на віддалених сховищах є актуальною для сучасного етапу розвитку інформаційних та комп’ютерних технологій. Мета і задачі дослідження. Метою цієї роботи є підвищення ефективності відновлення даних, втрачених при їх віддаленому зберіганні за рахунок розробки методів резервування, які враховують особливості реальних систем віддаленого інформації на розподілених сховищах, а також дозволяють прискорити процес відновлення даних, доступ до яких втрачено. Задачами дослідження, відповідно до поставленої мети є: Дослідження та аналіз можливостей застосування лінійних кодів для відновлення втрачених даних на дисках. Розробка та дослідження методу відновлення даних з двох втрачених дисків з використанням двох додаткових дисків та трьох втрачених дисків з використанням трьох додаткових дисків на основі діагональних та прямих контрольних сум, а також розробка покращень, що дозволяють досягти високої продуктивності відновлення даних при програмній та апаратній реалізації. Розробка програмного забезпечення для реалізації спрощеного методу резервування та відновлення даних із трьох втрачених носіїв на основі діагональних та прямих сум, які дозволяють прискорити процес відновлення даних із втрачених дисків. Об’єкт дослідження — процедури резервування та відновлення даних з віддалених носіїв зберігання інформації, доступ до яких втрачено. Предмет дослідження — методи та засоби відновлення даних при втраченому доступі до одного-трьох носіїв в розподілених системах віддаленого зберігання інформації, які використовують теоретично найменшу кількість додаткових носіїв і дозволяють досягти високої продуктивності процедури відновлення даних. Методи дослідження. Для досягнення поставлених в магістерській роботі задач, використано теорію ймовірності та математичної статистики, теорію організації обчислень, теорію комбінаторики та булевих функцій, а також застосування методів моделювання систем Наукова новизна одержаних результатів полягає в наступному: Запропоновано та досліджено метод прискореного відновлення обмеженої кількості втрачених інформаційних блоків, який відрізняється тим, що кількість блоків даних, з яких формується кожен з резервних блоків обмежена заданими граничними значеннями часу реконструкції втрачених блоків, що дозволяє за рахунок збільшення надлишковості резервування, прискорити процес відновлення інформації при її віддаленому зберіганні в порівнянні з відомими методами. Запропоновано модифікацію методу відновлення даних з двох втрачених дисків з використанням двох додаткових дисків, а також трьох втрачених дисків із використанням трьох додаткових, яка полягає в формуванні кодів другого та третього додаткових накопичувачів у вигляді сум за модулем 2 всіх основних та побічних діагоналей матриці. Доведено, що в запропонованій модифікації кількість слів на другому та третьому додаткових накопичувачах становить m+n-1≈m. Суттєвою перевагою запропонованого способу є простота обчислювальних процедур відновлення, які легко можуть бути реалізовані на апаратному рівні і забезпечують більшу продуктивність в порівнянні з іншими методами, які потребують розв’язання систем рівнянь. Практичне значення отриманих результатів роботи визначається тим, що використання розроблених методів дозволяє забезпечити ефективне резервування інформації, що зберігається в віддалених рознесених сховищах, з урахуванням вимог до надійності її доступності кожного користувача. Отримані результати дозволяють забезпечити заданий рівень доступності даних конкретного користувача відповідно до його вимог щодо надійності та оперативності доступу до даних, що зберігаються на віддалених від нього носіях. Отримані результати дозволяють за рахунок використання простих в обчислювальній реалізації лінійних перетворень та оптимізованих специфікацій значно прискорити процес відновлення втрачених даних. Особистий внесок здобувача. Магістерська дисертація є самостійно виконаною роботою, в якій відображено особистий авторський підхід та особисто отримані теоретичні та прикладні результати, що відносяться до вирішення задачі резервування та відновлення даних при їх зберіганні на віддалених носіях. Формулювання мети та завдань дослідження проводилось спільно з науковим керівником

The design and application of an extensible operating system

Tanenbaum, A.S. [Promotor

Application Performance on the Direct Access File System

The Direct Access File System (DAFS) is a distributed file system built on top of direct-access transports (DAT). Direct-access transports are characterized by using remote direct memory access (RDMA) for data transfer and user-level networking. The motivation behind the DAT-enabled distributed file system architecture is the reduction of the CPU overhead on the I/O data path. In collaboration with Duke University we have created and made available an open-source implementation of DAFS for the FreeBSD platform. In this paper we describe a performance evaluation study of DAFS that was performed with this software. The goal of this work is to determine whether the architecture of DAFS brings any fundamental performance benefits to applications compared to traditional distributed file systems. In our study we compare DAFS to a version of NFS optimized to reduce the I/O overhead. We conclude that DAFS can accomplish superior performance for latency-sensitive applications, outperforming NFS by up to a factor of 2. Bandwidth-sensitive applications do equally well on both systems, unless they are CPU-intensive, in which case they perform better on DAFS. We also found that RDMA is a less restrictive mechanism to achieve copy avoidance than that used by the optimized NFS.Engineering and Applied Science