Doctor of Philosophy

dissertationAdvancements in process technology and circuit techniques have enabled the creation of small chemical microsystems for use in a wide variety of biomedical and sensing applications. For applications requiring a small microsystem, many components can be integrated onto a single chip. This dissertation presents many low-power circuits, digital and analog, integrated onto a single chip called the Utah Microcontroller. To guide the design decisions for each of these components, two specific microsystems have been selected as target applications: a Smart Intravaginal Ring (S-IVR) and an NO releasing catheter. Both of these applications share the challenging requirements of integrating a large variety of low-power mixed-signal circuitry onto a single chip. These applications represent the requirements of a broad variety of small low-power sensing systems. In the course of the development of the Utah Microcontroller, several unique and significant contributions were made. A central component of the Utah Microcontroller is the WIMS Microprocessor, which incorporates a low-power feature called a scratchpad memory. For the first time, an analysis of scaling trends projected that scratchpad memories will continue to save power for the foreseeable future. This conclusion was bolstered by measured data from a fabricated microcontroller. In a 32 nm version of the WIMS Microprocessor, the scratchpad memory is projected to save ~10-30% of memory access energy depending upon the characteristics of the embedded program. Close examination of application requirements informed the design of an analog-to-digital converter, and a unique single-opamp buffered charge scaling DAC was developed to minimize power consumption. The opamp was designed to simultaneously meet the varied demands of many chip components to maximize circuit reuse. Each of these components are functional, have been integrated, fabricated, and tested. This dissertation successfully demonstrates that the needs of emerging small low-power microsystems can be met in advanced process nodes with the incorporation of low-power circuit techniques and design choices driven by application requirements

Efficiently Manifesting Asynchronous Programming Errors in Android Apps

Android, the #1 mobile app framework, enforces the single-GUI-thread model, in which a single UI thread manages GUI rendering and event dispatching. Due to this model, it is vital to avoid blocking the UI thread for responsiveness. One common practice is to offload long-running tasks into async threads. To achieve this, Android provides various async programming constructs, and leaves developers themselves to obey the rules implied by the model. However, as our study reveals, more than 25% apps violate these rules and introduce hard-to-detect, fail-stop errors, which we term as aysnc programming errors (APEs). To this end, this paper introduces APEChecker, a technique to automatically and efficiently manifest APEs. The key idea is to characterize APEs as specific fault patterns, and synergistically combine static analysis and dynamic UI exploration to detect and verify such errors. Among the 40 real-world Android apps, APEChecker unveils and processes 61 APEs, of which 51 are confirmed (83.6% hit rate). Specifically, APEChecker detects 3X more APEs than the state-of-art testing tools (Monkey, Sapienz and Stoat), and reduces testing time from half an hour to a few minutes. On a specific type of APEs, APEChecker confirms 5X more errors than the data race detection tool, EventRacer, with very few false alarms

A Modern Primer on Processing in Memory

Modern computing systems are overwhelmingly designed to move data to computation. This design choice goes directly against at least three key trends in computing that cause performance, scalability and energy bottlenecks: (1) data access is a key bottleneck as many important applications are increasingly data-intensive, and memory bandwidth and energy do not scale well, (2) energy consumption is a key limiter in almost all computing platforms, especially server and mobile systems, (3) data movement, especially off-chip to on-chip, is very expensive in terms of bandwidth, energy and latency, much more so than computation. These trends are especially severely-felt in the data-intensive server and energy-constrained mobile systems of today. At the same time, conventional memory technology is facing many technology scaling challenges in terms of reliability, energy, and performance. As a result, memory system architects are open to organizing memory in different ways and making it more intelligent, at the expense of higher cost. The emergence of 3D-stacked memory plus logic, the adoption of error correcting codes inside the latest DRAM chips, proliferation of different main memory standards and chips, specialized for different purposes (e.g., graphics, low-power, high bandwidth, low latency), and the necessity of designing new solutions to serious reliability and security issues, such as the RowHammer phenomenon, are an evidence of this trend. This chapter discusses recent research that aims to practically enable computation close to data, an approach we call processing-in-memory (PIM). PIM places computation mechanisms in or near where the data is stored (i.e., inside the memory chips, in the logic layer of 3D-stacked memory, or in the memory controllers), so that data movement between the computation units and memory is reduced or eliminated.Comment: arXiv admin note: substantial text overlap with arXiv:1903.0398

Towards Computational Efficiency of Next Generation Multimedia Systems

To address throughput demands of complex applications (like Multimedia), a next-generation system designer needs to co-design and co-optimize the hardware and software layers. Hardware/software knobs must be tuned in synergy to increase the throughput efficiency. This thesis provides such algorithmic and architectural solutions, while considering the new technology challenges (power-cap and memory aging). The goal is to maximize the throughput efficiency, under timing- and hardware-constraints

Understanding and Improving the Latency of DRAM-Based Memory Systems

Over the past two decades, the storage capacity and access bandwidth of main memory have improved tremendously, by 128x and 20x, respectively. These improvements are mainly due to the continuous technology scaling of DRAM (dynamic random-access memory), which has been used as the physical substrate for main memory. In stark contrast with capacity and bandwidth, DRAM latency has remained almost constant, reducing by only 1.3x in the same time frame. Therefore, long DRAM latency continues to be a critical performance bottleneck in modern systems. Increasing core counts, and the emergence of increasingly more data-intensive and latency-critical applications further stress the importance of providing low-latency memory access. In this dissertation, we identify three main problems that contribute significantly to long latency of DRAM accesses. To address these problems, we present a series of new techniques. Our new techniques significantly improve both system performance and energy efficiency. We also examine the critical relationship between supply voltage and latency in modern DRAM chips and develop new mechanisms that exploit this voltage-latency trade-off to improve energy efficiency. The key conclusion of this dissertation is that augmenting DRAM architecture with simple and low-cost features, and developing a better understanding of manufactured DRAM chips together lead to significant memory latency reduction as well as energy efficiency improvement. We hope and believe that the proposed architectural techniques and the detailed experimental data and observations on real commodity DRAM chips presented in this dissertation will enable development of other new mechanisms to improve the performance, energy efficiency, or reliability of future memory systems.Comment: PhD Dissertatio

Deep latent-variable models for neural text generation

Text generation aims to produce human-like natural language output for down-stream tasks. It covers a wide range of applications like machine translation, document summarization, dialogue generation and so on. Recently deep neural network-based end-to-end architectures are known to be data-hungry, and text generated from them usually suffer from low diversity, interpretability and controllability. As a result, it is difficult to trust the output from them in real-life applications. Deep latent-variable models, by specifying the probabilistic distribution over an intermediate latent process, provide a potential way of addressing these problems while maintaining the expressive power of deep neural networks. This presentation will explain how deep latent-variable models can improve over the standard encoder-decoder model for text generation. We will start from an introduction of encoder-decoder and deep latent-variable models, then go over popular optimization strategies, and finally elaborate on how latent variable models can help improve the diversity, interpretability and data efficiency in different applications of text generation tasks.Textgenerierung zielt darauf ab, eine menschenähnliche Textausgabe in natürlicher Sprache für Anwendungen zu erzeugen. Es deckt eine breite Palette von Anwendungen ab, wie maschinelle Übersetzung, Zusammenfassung von Dokumenten, Generierung von Dialogen usw. In letzter Zeit werden dafür hauptsächlich Endto- End-Architekturen auf der Basis von tiefen neuronalen Netzwerken verwendet. Der End-to-End-Ansatz fasst alle Submodule, die früher nach komplexen handgefertigten Regeln entworfen wurden, zu einer ganzheitlichen Codierungs- Decodierungs-Architektur zusammen. Bei ausreichenden Trainingsdaten kann eine Leistung auf dem neuesten Stand der Technik erzielt werden, ohne dass sprach- und domänenabhängiges Wissen erforderlich ist. Deep-Learning-Modelle sind jedoch als extrem datenhungrig bekannt und daraus generierter Text leidet normalerweise unter geringer Diversität, Interpretierbarkeit und Kontrollierbarkeit. Infolgedessen ist es schwierig, der Ausgabe von ihnen in realen Anwendungen zu vertrauen. Tiefe Modelle mit latenten Variablen bieten durch Angabe der Wahrscheinlichkeitsverteilung über einen latenten Zwischenprozess eine potenzielle Möglichkeit, diese Probleme zu lösen und gleichzeitig die Ausdruckskraft tiefer neuronaler Netze zu erhalten. Diese Dissertation zeigt, wie tiefe Modelle mit latenten Variablen Texterzeugung verbessern gegenüber dem üblichen Encoder-Decoder-Modell. Wir beginnen mit einer Einführung in Encoder-Decoder- und Deep Latent Variable-Modelle und gehen dann auf gängige Optimierungsstrategien wie Variationsinferenz, dynamische Programmierung, Soft Relaxation und Reinforcement Learning ein. Danach präsentieren wir Folgendes: 1. Wie latente Variablen Vielfalt der Texterzeugung verbessern können, indem ganzheitliche, latente Darstellungen auf Satzebene gelernt werden. Auf diese Weise kann zunächst eine latente Darstellung ausgewählt werden, aus der verschiedene Texte generiert werden können. Wir präsentieren effektive Algorithmen, um gleichzeitig das Lernen der Repräsentation und die Texterzeugung durch Variationsinferenz zu trainieren. Um die Einschränkungen der Variationsinferenz bezüglich Uni-Modalität und Inkonsistenz anzugehen, schlagen wir eine Wake-Sleep-Variation und ein auf Transinformation basierendes Trainingsziel vor. Experimente zeigen, dass sie sowohl die übliche Variationsinferenz als auch nicht-latente Variablenmodelle bei der Dialoggenerierung übertreffen. 2. Wie latente Variablen die Steuerbarkeit und Interpretierbarkeit der Texterzeugung verbessern können, indem feinkörnigere latente Spezifikationen zum Zwischengenerierungsprozess hinzugefügt werden. Wir veranschaulichen die Verwendung latenter Variablen für Wortausrichtung, Inhaltsauswahl, Textsegmentierung und Feldsegmentkorrespondenz. Wir leiten für sie effiziente Trainingsalgorithmen ab, damit die Texterzeugung explizit gesteuert werden kann, indem die latente Variable, die durch ihre Definition vom Menschen interpretiert werden kann, manipuliert wird. 3. Überwindung der Seltenheit von Trainingsmustern durch Behandlung von nicht parallelem Text als latente Variablen. Das Training kann wie beim Standard-EM-Algorithmus durchgeführt werden, der stabil konvergiert. Wir zeigen, dass es bei der Dialoggenerierung erfolgreich angewendet werden kann und den Generierungsraum durch die Verwendung von nicht-konversativem Text erheblich bereichert

Variability and host-dependency of RNA virus mutation rates

Los virus de ARN pueden infectar todo tipo de organismos, desde los procariotas a los eucariotas superiores, y estos agentes infecciosos parecen particularmente propensos a causar enfermedades emergentes tanto en humanos, animales, como en plantas. Su habilidad para escapar del sistema inmunitario, evadir estrategias antivirales o infectar a nuevas especies son aspecto más de su rápida evolución. Por lo tanto, comprender los procesos básicos del la evolución de los virus de ARN podría ayudar en el diseño de nuevas estrategias antivirales. Una de las principales características de los virus de ARN es su tasa de mutación extremadamente alta. De hecho, la alta diversidad genética de las poblaciones virales da lugar a una nube de variantes que interactúan y contribuyen colectivamente, conocido también por el término de cuasiespecies, y que permite a las poblaciones virales adaptarse rápidamente a entornos dinámicos. Estudios anteriores han demostrado que la tasa de mutaciones espontáneas de los virus de ARN varía de 10-6 a 10-4 sustituciones por nucleótido por célula infectada (s/n/c) y puede variar considerablemente, incluso para el mismo virus, aunque se sabe poco sobre las causas de esta variabilidad. Consecuentemente, el conocimiento de la tasa de mutación y el espectro molecular de mutaciones espontáneas son importantes para entender la evolución de la composición genética de las poblaciones virales. En los virus de ARN las tasas de mutación están determinadas por factores codificados por el virus, como la fidelidad de la polimerasa viral, la presencia/ausencia de mecanismos correctores, o el modo de replicación viral. Sin embargo, sólo unos pocos estudios se han centrado en las características celulares que podrían explicar la variabilidad en la producción de la diversidad genética viral, o si esta variabilidad pudiera ser distribuida heterogéneamente entre células únicas. En este estudio, se propuso analizar algunos de los factores subyacentes a la variabilidad en las tasas de mutación de los virus de ARN. En primer lugar, se estudió el efecto del tipo de célula que se infecta, y la variación en función del huésped en el que el virus se replica. A continuación, nos centramos en la variabilidad que ocurre a nivel de una célula única, mediante la caracterización de la diversidad genética de los virus liberados a partir de células individuales. Por último, nos fijamos en el potencial efecto de factores celulares de tipo ADAR, mediante la determinación del tipo de mutaciones espontáneas que se acumulan en el genoma de un norovirus. Se utilizó la prueba de fluctuación de Luria-Delbrück para comprobar la variabilidad en la tasa de mutación del virus de la estomatitis vesicular (VSV) entre diferentes células de mamíferos, así como entre diferentes condiciones de cultivo. Se encontró una tasa de mutación similar entre las células BHK-21, así como en células embrionarias de ratón (MEF), células MEF inmortalizadas mediante deleción del gen p53, células de cáncer de colon murino (CT26) y de neuroblastoma (Neuro-2A), sugiriendo que VSV se replica con la misma fidelidad en estos diferentes tipos de células de mamíferos. Por otra parte, debido a que el ciclo de vida de VSV no sólo implica su replicación en mamíferos, sino también en insectos, comprobamos su tasa de mutación en células de Drosophila melanogaster (S2), de Spodoptera frugiperda (sf21) y del mosquito Aedes albopictus (C6/36). Curiosamente, la tasa de mutación de VSV fue cuatro veces mas baja en células de insectos en comparación con las células de mamíferos probadas. Curiosamente, los arbovirus parecen tener una evolución más lenta que los virus que no estan transmitidos por un vector, y nuestros resultados sugieren que en los insectos esto puede ser en parte debido a una tasa de mutación más baja. Se desarrolló un enfoque que combina micromanipulación y secuenciación masiva para estudiar la diversidad genética de los virus producidos y liberados por células únicas, usando de nuevo VSV como sistema modelo. Demostramos que el virus presenta gran diversidad genética en células únicas, aunque esta diversidad no fue homogéneamente contribuida por todas las células. Llama la atención que la variabilidad existente en el inóculo viral demostró que la unidad infecciosa mínima (PFU) también puede transmitir diversidad genética viral. En efecto, no sólo se observó complementación genética entre alelos de las variantes albergadas dentro de la misma PFU, sino también que el efecto de una mutación se determinó colectivamente por otras variantes durante su co-transmisión, un proceso que podría seguir durante varias generaciones. Esta co-transmisión de diversidad genética dentro de la misma unidad infecciosa tiene implicaciones importantes para la evolución viral, como por ejemplo la de mantener la diversidad genética durante fuertes cuellos de botella de las poblaciones virales, o crear una asociación espacial entre los alelos, y sugiere que la selección natural actúa a nivel de conjuntos de partículas virales diversas en lugar de sobre genotipos individuales. Por último, hemos visto que la variabilidad en la diversidad genética producida entre células únicas estaba estrechamente asociada con el rendimiento viral, sugiriendo un compromiso entre la eficacia y la fidelidad de la replicación del virus, que puede ser determinado por un modelo de replicación geométrica. Aunque este tipo de replicación alimenta la aparición de nuevas mutaciones, también aumenta la carga genética. Para equilibrar ambos mecanismos, hemos demostrado que los mutantes que muestran un fenotipo mutador deberían ser encontrados en una baja frecuencia en las poblaciones virales. Se usó un clon infeccioso del virus Norwalk (NV). Puesto que NV no es capaz de iniciar subsiguientes ciclos de infección en las células aquí utilizadas (HEK293T), tuvimos la posibilidad de observar la aparición de mutaciones espontáneas en un único ciclo, descartando así posibles efectos de la selección o la acumulación de mutaciones a lo largo de varias generaciones. Obtuvimos así una tasa de mutación de 9 × 10-5 s/n/c consistente con las estimaciones publicadas anteriormente para otros virus de ARN. Curiosamente, se observó que de los 128 clones moleculares secuenciados con el Sanger, dos mostraron múltiples cambios T -> C. Sugerimos que estas hipermutaciones podrían ser el resultado de la edición del RNA viral por parte de enzimas celulares de tipo ADAR. Esta hipótesis fue confirmada por secuenciación masiva, sugiriendo que los factores celulares de tipo ADAR también pueden actuar en la variabilidad de la tasa de mutación de los virus de ARN

Belle II Technical Design Report

The Belle detector at the KEKB electron-positron collider has collected almost 1 billion Y(4S) events in its decade of operation. Super-KEKB, an upgrade of KEKB is under construction, to increase the luminosity by two orders of magnitude during a three-year shutdown, with an ultimate goal of 8E35 /cm^2 /s luminosity. To exploit the increased luminosity, an upgrade of the Belle detector has been proposed. A new international collaboration Belle-II, is being formed. The Technical Design Report presents physics motivation, basic methods of the accelerator upgrade, as well as key improvements of the detector.Comment: Edited by: Z. Dole\v{z}al and S. Un