Enhancing Real-time Embedded Image Processing Robustness on Reconfigurable Devices for Critical Applications

Nowadays, image processing is increasingly used in several application fields, such as biomedical, aerospace, or automotive. Within these fields, image processing is used to serve both non-critical and critical tasks. As example, in automotive, cameras are becoming key sensors in increasing car safety, driving assistance and driving comfort. They have been employed for infotainment (non-critical), as well as for some driver assistance tasks (critical), such as Forward Collision Avoidance, Intelligent Speed Control, or Pedestrian Detection. The complexity of these algorithms brings a challenge in real-time image processing systems, requiring high computing capacity, usually not available in processors for embedded systems. Hardware acceleration is therefore crucial, and devices such as Field Programmable Gate Arrays (FPGAs) best fit the growing demand of computational capabilities. These devices can assist embedded processors by significantly speeding-up computationally intensive software algorithms. Moreover, critical applications introduce strict requirements not only from the real-time constraints, but also from the device reliability and algorithm robustness points of view. Technology scaling is highlighting reliability problems related to aging phenomena, and to the increasing sensitivity of digital devices to external radiation events that can cause transient or even permanent faults. These faults can lead to wrong information processed or, in the worst case, to a dangerous system failure. In this context, the reconfigurable nature of FPGA devices can be exploited to increase the system reliability and robustness by leveraging Dynamic Partial Reconfiguration features. The research work presented in this thesis focuses on the development of techniques for implementing efficient and robust real-time embedded image processing hardware accelerators and systems for mission-critical applications. Three main challenges have been faced and will be discussed, along with proposed solutions, throughout the thesis: (i) achieving real-time performances, (ii) enhancing algorithm robustness, and (iii) increasing overall system's dependability. In order to ensure real-time performances, efficient FPGA-based hardware accelerators implementing selected image processing algorithms have been developed. Functionalities offered by the target technology, and algorithm's characteristics have been constantly taken into account while designing such accelerators, in order to efficiently tailor algorithm's operations to available hardware resources. On the other hand, the key idea for increasing image processing algorithms' robustness is to introduce self-adaptivity features at algorithm level, in order to maintain constant, or improve, the quality of results for a wide range of input conditions, that are not always fully predictable at design-time (e.g., noise level variations). This has been accomplished by measuring at run-time some characteristics of the input images, and then tuning the algorithm parameters based on such estimations. Dynamic reconfiguration features of modern reconfigurable FPGA have been extensively exploited in order to integrate run-time adaptivity into the designed hardware accelerators. Tools and methodologies have been also developed in order to increase the overall system dependability during reconfiguration processes, thus providing safe run-time adaptation mechanisms. In addition, taking into account the target technology and the environments in which the developed hardware accelerators and systems may be employed, dependability issues have been analyzed, leading to the development of a platform for quickly assessing the reliability and characterizing the behavior of hardware accelerators implemented on reconfigurable FPGAs when they are affected by such faults

Product assurance technology for custom LSI/VLSI electronics

The technology for obtaining custom integrated circuits from CMOS-bulk silicon foundries using a universal set of layout rules is presented. The technical efforts were guided by the requirement to develop a 3 micron CMOS test chip for the Combined Release and Radiation Effects Satellite (CRRES). This chip contains both analog and digital circuits. The development employed all the elements required to obtain custom circuits from silicon foundries, including circuit design, foundry interfacing, circuit test, and circuit qualification

Deep in-memory computing

There is much interest in embedding data analytics into sensor-rich platforms such as wearables, biomedical devices, autonomous vehicles, robots, and Internet-of-Things to provide these with decision-making capabilities. Such platforms often need to implement machine learning (ML) algorithms under stringent energy constraints with battery-powered electronics. Especially, energy consumption in memory subsystems dominates such a system's energy efficiency. In addition, the memory access latency is a major bottleneck for overall system throughput. To address these issues in memory-intensive inference applications, this dissertation proposes deep in-memory accelerator (DIMA), which deeply embeds computation into the memory array, employing two key principles: (1) accessing and processing multiple rows of memory array at a time, and (2) embedding pitch-matched low-swing analog processing at the periphery of bitcell array. The signal-to-noise ratio (SNR) is budgeted by employing low-swing operations in both memory read and processing to exploit the application level's error immunity for aggressive energy efficiency. This dissertation first describes the system rationale underlying the DIMA's processing stages by identifying the common functional flow across a diverse set of inference algorithms. Based on the analysis, this dissertation presents a multi-functional DIMA to support four algorithms: support vector machine (SVM), template matching (TM), k-nearest neighbor (k-NN), and matched filter. The circuit and architectural level design techniques and guidelines are provided to address the challenges in achieving multi-functionality. A prototype integrated circuit (IC) of a multi-functional DIMA was fabricated with a 16 KB SRAM array in a 65 nm CMOS process. Measurement results show up to 5.6X and 5.8X energy and delay reductions leading to 31X energy delay product (EDP) reduction with negligible (<1%) accuracy degradation as compared to the conventional 8-b fixed-point digital implementation optimally designed for each algorithm. Then, DIMA also has been applied to more complex algorithms: (1) convolutional neural network (CNN), (2) sparse distributed memory (SDM), and (3) random forest (RF). System-level simulations of CNN using circuit behavioral models in a 45 nm SOI CMOS demonstrate that high probability (>0.99) of handwritten digit recognition can be achieved using the MNIST database, along with a 24.5X reduced EDP, a 5.0X reduced energy, and a 4.9X higher throughput as compared to the conventional system. The DIMA-based SDM architecture also achieves up to 25X and 12X delay and energy reductions, respectively, over conventional SDM with negligible accuracy degradation (within 0.4%) for 16X16 binary-pixel image classification. A DIMA-based RF was realized as a prototype IC with a 16 KB SRAM array in a 65 nm process. To the best of our knowledge, this is the first IC realization of an RF algorithm. The measurement results show that the prototype achieves a 6.8X lower EDP compared to a conventional design at the same accuracy (94%) for an eight-class traffic sign recognition problem. The multi-functional DIMA and extension to other algorithms naturally motivated us to consider a programmable DIMA instruction set architecture (ISA), namely MATI. This dissertation explores a synergistic combination of the instruction set, architecture and circuit design to achieve the programmability without losing DIMA's energy and throughput benefits. Employing silicon-validated energy, delay and behavioral models of deep in-memory components, we demonstrate that MATI is able to realize nine ML benchmarks while incurring negligible overhead in energy (< 0.1%), and area (4.5%), and in throughput, over a fixed four-function DIMA. In this process, MATI is able to simultaneously achieve enhancements in both energy (2.5X to 5.5X) and throughput (1.4X to 3.4X) for an overall EDP improvement of up to 12.6X over fixed-function digital architectures

Resource-Constrained Acquisition Circuits for Next Generation Neural Interfaces

The development of neural interfaces allowing the acquisition of signals from the cortex of the brain has seen an increasing amount of interest both in academic research as well as in the commercial space due to their ability to aid people with various medical conditions, such as spinal cord injuries, as well as their potential to allow more seamless interactions between people and machines. While it has already been demonstrated that neural implants can allow tetraplegic patients to control robotic arms, thus to an extent returning some motoric function, the current state of the art often involves the use of heavy table-top instruments connected by wires passing through the patient’s skull, thus making the applications impractical and chronically infeasible. Those limitations are leading to the development of the next generation of neural interfaces that will overcome those issues by being minimal in size and completely wireless, thus paving a way to the possibility of their chronic application. Their development however faces several challenges in numerous aspects of engineering due to constraints presented by their minimal size, amount of power available as well as the materials that can be utilised. The aim of this work is to explore some of those challenges and investigate novel circuit techniques that would allow the implementation of acquisition analogue front-ends under the presented constraints. This is facilitated by first giving an overview of the problematic of recording electrodes and their electrical characterisation in terms of their impedance profile and added noise that can be used to guide the design of analogue front-ends. Continuous time (CT) acquisition is then investigated as a promising signal digitisation technique alternative to more conventional methods in terms of its suitability. This is complemented by a description of practical implementations of a CT analogue-to-digital converter (ADC) including a novel technique of clockless stochastic chopping aimed at the suppression of flicker noise that commonly affects the acquisition of low-frequency signals. A compact design is presented, implementing a 450 nW, 5.5 bit ENOB CT ADC, occupying an area of 0.0288 mm2 in a 0.18 μm CMOS technology, making this the smallest presented design in literature to the best of our knowledge. As completely wireless neural implants rely on power delivered through wireless links, their supply voltage is often subject to large high frequency variations as well voltage uncertainty making it necessary to design reference circuits and voltage regulators providing stable reference voltage and supply in the constrained space afforded to them. This results in numerous challenges that are explored and a design of a practical implementation of a reference circuit and voltage regulator is presented. Two designs in a 0.35 μm CMOS technology are presented, showing respectively a measured PSRR of ≈60 dB and ≈53 dB at DC and a worst-case PSRR of ≈42 dB and ≈33 dB with a less than 1% standard deviation in the output reference voltage of 1.2 V while consuming a power of ≈7 μW. Finally, ΣΔ modulators are investigated for their suitability in neural signal acquisition chains, their properties explained and a practical implementation of a ΣΔ DC-coupled neural acquisition circuit presented. This implements a 10-kHz, 40 dB SNDR ΣΔ analogue front-end implemented in a 0.18 μm CMOS technology occupying a compact area of 0.044 μm2 per channel while consuming 31.1 μW per channel.Open Acces

Innovative micro-NMR/MRI functionality utilizing flexible electronics and control systems

Das zentrale Thema dieser Arbeit ist die Entwicklung und Integration von flexibler Elektronik für Mikro-Magnetresonanz (MR)-Anwendungen. Zwei wichtige Anwendungen wurden in der Dissertation behandelt; eine Anwendung auf dem Gebiet der Magnetresonanztomographie (MRI) und die andere auf dem Gebiet der Kernspinresonanz (NMR). Die MRI-Anwendung konzentriert sich auf die Lösung der Sicherheits- und Zuverlässigkeitsaspekte von MR-Kathetern. Die NMR-Anwendung stellt einen neuartigen Ansatz zur Steigerung des Durchsatzes bei der NMR-Spektroskopie vor. Der erste Teil der Dissertation behandelt die verschiedenen Technologien die zur Herstellung flexibler Elektronik auf der Mikroskala entwickelt wurden. Die behandelten MR-Anwendungen erfordern die Herstellung von Induktoren, Kondensatoren und Dioden auf flexiblen Substraten. Die erste Technologie, die im Rahmen der Mikrofabrikation behandelt wird, ist das Aufbringen einer leitfähigen Startschicht auf flexiblen Substraten. Es wurden verschiedene Techniken getestet und verglichen. Die entwickelte Technologie ermöglicht die Herstellung einer mehrschichtigen leitfähigen Struktur auf einem flexiblen Substrat (50 $\mu$m Dicke), die sich zum Umwickeln eines schlanken Rohres (>0,5 mm Durchmesser) eignet. Die zweite Methode ist der Tintenstrahldruck von Kondensatoren mit hoher Dichte und niedrigem Verlustkoeffizienten. Zwei dielektrische Tinten auf Polymerbasis wurden synthetisiert, durch die Dispersion von TiO$_2$ und BaTiO$_3$ in Benzocyclobuten (BCB) Polymer. Die im Tintenstrahldruckverfahren hergestellten Kondensatoren zeigen eine relativ hohe Kapazität pro Flächeneinheit von bis zu 69 pFmm$^{-2}$ und erreichen dabei einen Qualitätsfaktor (Q) von etwa 100. Außerdem wurde eine Technik für eine tintenstrahlgedruckte gleichrichtende Schottky-Diode entwickelt. Die letzte behandelte Technologie ist die Galvanisierung der leitenden Startschichten. Die Galvanik ist eine gut erforschte Technologie und ein sehr wichtiger Prozess auf dem Gebiet der Mikrofabrikation. Sie ist jedoch in hohem Maße von der Erfahrung des Bedieners abhängig. Darüber hinaus ist eine präzise Steuerung der Galvanikleistung erforderlich, insbesondere bei der Herstellung kleiner Strukturen, wobei sich die Pulsgalvanik als ein Verfahren erwiesen hat, das ein hohes Maß an Kontrolle über die abgeschiedene Struktur bietet. In diesem Zusammenhang wurde eine hochflexible Stromquelle auf Basis einer Mikrocontroller-Einheit entwickelt, um Genauigkeit in die Erstellung optimaler Galvanikrezepte zu bringen. Die Stromquelle wurde auf Basis einer modifizierten Howland-Stromquelle (MHCS) unter Verwendung eines Hochleistungs-Operationsverstärkers (OPAMP) aufgebaut. Die Stromquelle wurde validiert und verifiziert, und ihre hohe Leistungsfähigkeit wurde durch die Durchführung einiger schwieriger Anwendungen demonstriert, von denen die wichtigste die Verbesserung der Haftung der im Tintenstrahldruckverfahren gedruckten Startschicht auf flexiblen Substraten ist. Der zweite Teil der Dissertation befasst sich mit interventioneller MRT mittels MR-Katheter. MR-Katheter haben potenziell einen erheblichen Einfluss auf den Bereich der minimalinvasiven medizinischen Eingriffe. Implantierte längliche Übertragungsleiter und Detektorspulen wirken wie eine Antenne und koppeln sich an das MR-Hochfrequenz (HF)-Sendefeld an und machen so den Katheter während des Einsatzes in einem MRT-Scanner sichtbar. Durch diese Kopplung können sich die Leiter jedoch erhitzen, was zu einer gefährlichen Erwärmung des Gewebes führt und eine breite Anwendung dieser Technologie bisher verhindert hat. Ein alternativer Ansatz besteht darin, einen Resonator an der Katheterspitze induktive mit einer Oberflächenspule außerhalb des Körpers zu koppeln. Allerdings könnte sich auch dieser Mikroresonator an der Katheterspitze während der Anregungsphase erwärmen. Außerdem ändert sich die Sichtbarkeit der Katheterspitze, wenn sich die axiale Ausrichtung des Katheters während der Bewegung ändert, und kann verloren gehen, wenn die Magnetfelder des drahtlosen Resonators und der externen Spule orthogonal sind. In diesem Beitrag wird die Abstimmkapazität des Mikrodetektors des Katheters drahtlos über eine Impulsfolgensteuerung gesteuert, die an einen HF-Abstimmkreis gesendet wird, der in eine Detektorspule integriert ist. Der integrierte Schaltkreis erzeugt Gleichstrom aus dem übertragenen HF Signal zur Steuerung der Kapazität aus der Ferne, wodurch ein intelligenter eingebetteter abstimmbarer Detektor an der Katheterspitze entsteht. Während der HF-Übertragung erfolgt die Entkopplung durch eine Feinabstimmung der Detektorbetriebsfrequenz weg von der Larmor-Frequenz. Zusätzlich wird ein neuartiges Detektordesign eingeführt, das auf zwei senkrecht ausgerichteten Mikro-Saddle-Spulen basiert, die eine konstante Sichtbarkeit des Katheters für den gesamten Bereich der axialen Ausrichtungen ohne toten Winkel gewährleisten. Das System wurde experimentell in einem 1T MRT-Scanner verifiziert. Der dritte Teil der Dissertation befasst sich mit dem Durchsatz von NMR-Spektroskopie. Flussbasierte NMR ist eine vielversprechende Technik zur Verbesserung des NMR-Durchsatzes. Eine häufige Herausforderung ist jedoch das relativ große Totvolumen im Schlauch, der den NMR-Detektor speist. In diesem Beitrag wird ein neuartiger Ansatz für vollautomatische NMR-Spektroskopie mit hohem Durchsatz und verbesserter Massensensitivität vorgestellt. Der entwickelte Ansatz wird durch die Nutzung von Mikrofluidik-Technologien in Kombination mit Dünnfilm-Mikro-NMR-Detektoren verwirklicht. Es wurde ein passender NMR-Sensor mit einem mikrofluidischen System entwickelt, das Folgendes umfasst: i) einen Mikro-Sattel-Detektor für die NMR-Spektroskopie und ii) ein Paar Durchflusssensoren, die den NMR-Detektor flankieren und an eine Mikrocontrollereinheit angeschlossen sind. Ein mikrofluidischer Schlauch wird verwendet, um eine Probenserie durch den Sondenkopf zu transportieren, die einzelnen Probenbereiche sind durch eine nicht mischbare Flüssigkeit getrennt, das System erlaubt im Prinzip eine unbegrenzte Anzahl an Proben. Das entwickelte System verfolgt die Position und Geschwindigkeit der Proben in diesem zweiphasigen Fluss und synchronisiert die NMR-Akquisition. Der entwickelte kundenspezifische Sondenkopf ist Plug-and-Play-fähig mit marktüblichen NMR-Systemen. Das System wurde erfolgreich zur Automatisierung von flussbasierten NMR-Messungen in einem 500 MHz NMR-System eingesetzt. Der entwickelte Mikro-NMR-Detektor ermöglicht hochauflösende Spektroskopie mit einer NMR-Empfindlichkeit von 2,18 nmol s$^{1/2}$ bei Betrieb der Durchflusssensoren. Die Durchflusssensoren wiesen eine hohe Empfindlichkeit bis zu einem absoluten Unterschied von 0,2 in der relativen Permittivität auf, was eine Differenzierung zwischen den meisten gängigen Lösungsmitteln ermöglichte. Es wurde gezeigt, dass eine vollautomatische NMR-Spektroskopie von neun verschiedenen 120 $\mu$L Proben innerhalb von 3,6 min oder effektiv 15,3 s pro Probe erreicht werden konnte