Automated Hardware Prototyping for 3D Network on Chips

Vor mehr als 50 Jahren stellte Intel® Mitbegründer Gordon Moore eine Prognose zum Entwicklungsprozess der Transistortechnologie auf. Er prognostizierte, dass sich die Zahl der Transistoren in integrierten Schaltungen alle zwei Jahre verdoppeln wird. Seine Aussage ist immer noch gültig, aber ein Ende von Moores Gesetz ist in Sicht. Mit dem Ende von Moore’s Gesetz müssen neue Aspekte untersucht werden, um weiterhin die Leistung von integrierten Schaltungen zu steigern. Zwei mögliche Ansätze für "More than Moore” sind 3D-Integrationsverfahren und heterogene Systeme. Gleichzeitig entwickelt sich ein Trend hin zu Multi-Core Prozessoren, basierend auf Networks on chips (NoCs). Neben dem Ende des Mooreschen Gesetzes ergeben sich bei immer kleiner werdenden Technologiegrößen, vor allem jenseits der 60 nm, neue Herausforderungen. Eine Schwierigkeit ist die Wärmeableitung in großskalierten integrierten Schaltkreisen und die daraus resultierende Überhitzung des Chips. Um diesem Problem in modernen Multi-Core Architekturen zu begegnen, muss auch die Verlustleistung der Netzwerkressourcen stark reduziert werden. Diese Arbeit umfasst eine durch Hardware gesteuerte Kombination aus Frequenzskalierung und Power Gating für 3D On-Chip Netzwerke, einschließlich eines FPGA Prototypen. Dafür wurde ein Takt-synchrones 2D Netzwerk auf ein dreidimensionales asynchrones Netzwerk mit mehreren Frequenzbereichen erweitert. Zusätzlich wurde ein skalierbares Online-Power-Management System mit geringem Ressourcenaufwand entwickelt. Die Verifikation neuer Hardwarekomponenten ist einer der zeitaufwendigsten Schritte im Entwicklungsprozess hochintegrierter digitaler Schaltkreise. Um diese Aufgabe zu beschleunigen und um eine parallele Softwareentwicklung zu ermöglichen, wurde im Rahmen dieser Arbeit ein automatisiertes und benutzerfreundliches Tool für den Entwurf neuer Hardware Projekte entwickelt. Eine grafische Benutzeroberfläche zum Erstellen des gesamten Designablaufs, vom Erstellen der Architektur, Parameter Deklaration, Simulation, Synthese und Test ist Teil dieses Werkzeugs. Zudem stellt die Größe der Architektur für die Erstellung eines Prototypen eine besondere Herausforderung dar. Frühere Arbeiten haben es versäumt, eine schnelles und unkompliziertes Prototyping, insbesondere von Architekturen mit mehr als 50 Prozessorkernen, zu realisieren. Diese Arbeit umfasst eine Design Space Exploration und FPGA-basierte Prototypen von verschiedenen 3D-NoC Implementierungen mit mehr als 80 Prozessoren

Design and implementation of in-network coherence

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2013.Title as it appears in MIT Commencement Exercises program, June 2013: Design and implementation of in-network coherence. Cataloged from PDF version of thesis.Includes bibliographical references (p. 101-104).CMOS technology scaling has enabled increasing transistor density on chip. At the same time, multi-core processors that provide increased performance, vis-a'-vis power efficiency, have become prevalent in a power constrained environment. The shared memory model is a predominant paradigm in such systems, easing programmability and increasing portability. However with memory being shared by an increasing number of cores, a scalable coherence mechanism is imperative for these systems. Snoopy coherence has been a favored coherence scheme owing to its high performance and simplicity. However there are few viable proposals to extend snoopy coherence to unordered interconnects - specifically, modular packet-switched interconnects that have emerged as a scalable solution to the communication challenges in the CMP era. This thesis proposes a distributed in-network global ordering scheme that enables snoopy coherence on unordered interconnects. The proposed scheme is realized on a two-dimensional mesh interconnection network, referred to as OMNI (Ordered Mesh Network Interconnect). OMNI is an enabling solution for the SCORPIO processor prototype developed at MIT - a 36-core chip multi-processor supporting snoopy coherence, and fabricated in a commercial 45nm technology. OMNI is shown to be effective, reducing runtime by 36% in comparison to directory and Hammer coherence protocol implementations. The OMNI network achieves an operating frequency of 833 MHz post-layout, occupies 10% of the chip area, and consumes less than 100mW of power.by Suvinay Subramanian.S.M

Simulating Nonlinear Neutrino Oscillations on Next-Generation Many-Core Architectures

In this work an astrophysical simulation code, XFLAT, is developed to study neutrino oscillations in supernovae. XFLAT is a hybrid modular code which was designed to utilize multiple levels of parallelism through MPI, OpenMP, and SIMD instructions (vectorization). It can run on both the CPU and the Xeon Phi co-processor, the latter of which is based on the Intel Many Integrated Core Architecture (MIC). The performance of XFLAT on various system configurations and physics scenarios has been analyzed. In addition, the impact of I/O and the multi-node configuration on the Xeon Phi-equipped heterogeneous supercomputers such as Stampede at the Texas Advanced Computing Center (TACC) was investigated

Final Report PetaScale Application Development Analysis Grant Number DE-FG02-04ER25629

The results obtained from this project will fundamentally change the way we look at computer performance analysis. These results are made possible by the precise definition of a consistent system of measurement with a set of primary units designed specifically for computer performance analysis. This system of units, along with their associated dimensions, allows us to apply the methods of dimensional analysis, based on the Pi Theorem, to define scaling and self-similarity relationships. These relationships reveal new insights into experimental results that otherwise seems only vaguely correlated. Applying the method to cache-miss data revealed scaling relationships that were not seen by those who originally collected the data. Applying dimensional analysis to the performance of parallel numerical algorithms revealed that computational force is a unifying concept for understanding the interaction between hardware and software. The efficiency of these algorithms depends, in a very intimate way, on the balance between hardware forces and software forces. Analysis of five different algorithms showed that performance analysis can be reduced to a study of the differential geometry of the efficiency surface. Each algorithm defines a set of curvilinear coordinates, specific to that algorithm, and different machines follow different paths along the surface depending on the difference in balance between hardware forces and software forces. Two machines with the same balance in forces follow the same path and are self-similar. The most important result from the project is the statement of the Principle of Computational Least Action. This principle follows from the identification of a dynamical system underlying computer performance analysis. Instructions in a computer are modeled as a classical system under the influence of computational forces. Each instruction generates kinetic energy during execution, and the sum of the kinetic energy for all instructions produces a kinetic energy spectrum as a function of time. These spectra look very much like the spectra used by chemists to analyze properties of molecules. Large spikes in the spectra reveal events during execution, like cache misses, that limit performance. The area under the kinetic energy spectrum is the computational action generated by the program. This computational action defines a normed metric space that measures the size of a program in terms of its action norm and the distance between programs in terms of the norm of the difference of their action. This same idea can be applied to a set of programmers writing code and leads to a computational action metric that measures programmer productivity. In both cases, experimental evidence suggests that highly efficient programs and highly productive programmers generate the least computational action

Thermal aware design techniques for multiprocessor architectures in three dimensions

Tesis inédita de la Universidad Complutense de Madrid, Facultad de Informática, Departamento de Arquitectura de Computadores y Automática, leída el 28-11-2013Depto. de Arquitectura de Computadores y AutomáticaFac. de InformáticaTRUEunpu

Chancen und Risiken der systemischen Kontingenz Künstlicher Intelligenz in einer postindustriellen Weltgesellschaft

Die Thematik der Künstlichen Intelligenz (fortan KI) ist virulent. Sie erstreckt sich von der akademischen Fachdiskussion der Informatiker und Physiker, über eine breite philosophische Diskussion - weiter über Beiträge von Spezialisten aus Disziplinen der Psychologie, der Neurophysiologie und Neurobiologie und auch der Physik - doch dabei insbesondere in Beiträge der Quantenmechanik - bis hinein in die Domäne von Soziologie und Politik. Diese Dissertation möchte keinen dieser Bereiche isolieren, daher sollen möglichst viele auch divergierende Argumente der verschiedenen Fachdiskussionen nebeneinander gestellt und abgewogen werden. Der interdisziplinäre Ansatz soll dabei einerseits die erstaunliche Komplexität der Thematik reduzieren helfen, durch Aufzeigung von Konvergenzen und Isomorphien der Argumentationsfiguren, andererseits soll er die Perspektive öffnen, für eine neue hier zu erarbeitende Einordnung der KI in das politische Zeitgeschehen. Die Perspektive auf die transformative Kraft, die neue Technologien auf Gesellschaften ausüben, wird dabei eine bedeutende Rolle spielen. Technische Entwicklung kann der hier vorgestellten Argumentation zu Folge, als eine spezielle Form von Evolution begriffen werden, die der organischen Evolution im Sinne Darwins Argumentation nahe steht. Nicht zuletzt wegen der Nähe zu biologischen Sinnzusammenhängen, ist es z.B. in den Neurowissenschaften üblich geworden, sich Analogien aus der Technologie, insbes. der Informatik bezüglich Hardware als auch Software zu bedienen, um die Funktionsweise von Prozessen des Gehirns zu veranschaulichen. Aus vielen dieser Analogien sind inzwischen leichtfertig Identitätsbehauptungen entwickelt worden, die in diversen kritisch zu betrachtenden Reduktionismen münden. Zu ausgesuchten Positionen dieser Kategorie, die heute besonders in Kreisen der Denker der KI weite Verbreitung finden, soll eine differenzierte Untersuchung stattfinden. Welches wissenschaftliche Selbstverständnis des Menschen lässt sich konstatieren, wenn er metaphorisch und allegorisch zu semantischen wie zu technischen Werkzeugen greift, um mittels daraus abgeleiteter sprachlicher, logischer und auch technischer Konstruktionen seinen Standpunkt in der Welt zu präzisieren? Die Arbeit wird daher über weite Strecken einen grundsätzlich philosophischen Anspruch verfolgen, wobei die Argumentation sich vorwiegend im Areal der Interdependenz von Natur- und Geisteswissenschaften fokussieren wird. Das Oberthema Technik, wird den Einklang bilden, um das Spezialgebiet der KI zu eröffnen. Zunächst sollen die Bedingungen der Möglichkeit von KI auf technischer Ebene erörtert werden. Dazu werden Betrachtungen Neuronaler Netze und von Supercomputern, sowie der zugehörigen Software durchgeführt. Die Entwicklung auf diesem Gebiet wird dargestellt in ihrer Historie, ihrem Status Quo und ihrem Potential für die kommenden 10 bis 15 Jahre der Forschung. Im nächsten Hauptsegment Physik, wird der Begriff der „Information“ selbst mathematisch theoretisch und physikalisch praktisch erörtert und anschließend das Thema „physikalische Grundlagen der KI“ vertieft. Hier kommen wir explizit auf Quantenphysik zu sprechen, die wie wir herausarbeiten werden, das Fundament für die Informatik der kommenden Dekade liefern könnte. Wir stellen Überlegungen und Untersuchungen an, über grundlegende Begrifflichkeiten wie Energie und Entropie, über basale Konstanten und Naturgesetze, sowie den sich daraus ergebenden Raum der Realisierungsmöglichkeiten von Technologie in ihren theoretisch mathematisch maximalen Effizienzgraden. Ein Vergleich solcher Rechenbeispiele aus Natur und Technologie wird interessante neue Einblicke und Perspektiven ermöglichen. Der Anspruch der Interdisziplinarität dieser Arbeit, wird durch die Gliederung und Strukturierung der Abfolge der Argumentationsräume nochmals verdeutlicht: Nach 1.) Einleitung, 2.) Informatik 3.) Physik folgt dann 4.) der Politik Schlussteil. Hier soll dann folgende Fragestellung zum Thema KI die Überlegungen thematisch leiten: Gegeben den Fall, es gelingt in den folgenden ca. zwei Dekaden den Menschen technisch perfekt zu simulieren – worin liegt dann noch der genuin ontologische Kern des „Mensch-seins“ - und welches Bild der Gesellschaft zeichnet sich ab, mit einer solchen paradigmatischen Wende hin zu einer Technologie, die sich heute noch im Spannungsfeld zwischen Utopie und Realität befindet? Ließe sich einer absolut perfekten Simulation bzw. Emulation eines menschlichen Gehirns - wir sprechen von Präzision der letzten denkbaren theoretischen Ebene: Identikalität Molekül für Molekül, Atom für Atom und Quant für Quant - ein Bewusstsein noch absprechen? Hat die Quantenphysik oder sogar das sog. „no cloning“ Theorem hier Relevanz und Aussagekraft? – inwiefern betritt die KI spätestens ab diesem Schritt ethisch brisantes Gebiet? Fragen wie diese sollen im Verlauf der Kapitel sukzessive erörtert werden. Fragen die permanent dienen werden, den Zusammenhang der interdisziplinären Ansätze zu vereinen, sind dabei solche: Welchen Einfluss hat technologische Entwicklung auf Prozesse der Entscheidungsfindung der aktuellen Politik? Wie verhalten sich dabei ökonomische und soziologische Ziele zueinander? Welche soziokulturellen Konsequenzen ergaben und ergeben sich aus der heute etablierten Informations- & Kommunikationstechnologie (IuK) und welche Konsequenzen sind zu erwarten, wenn das Thema KI explizit auf die Agenda der Tagespolitik tritt? Die Kernfrage, die Thema und These dieser Arbeit inspiriert und die sich daher als roter Faden durch die gesamte Arbeit zieht und immer wieder aufs Neue mit verschiedenen Argumenten beleuchtet wird, ist dabei in einer ersten sondierenden Formulierung etwa diese: „Kann der Mensch, mittels seiner Intelligenz, die Grundlage ebendieser technisch simulieren – rekonstruieren – übertreffen? – wenn ja, welche Konsequenzen hat das für unsere Gesellschaft?

Chancen und Risiken der systemischen Kontingenz Künstlicher Intelligenz in einer postindustriellen Weltgesellschaft

Die Thematik der Künstlichen Intelligenz (fortan KI) ist virulent. Sie erstreckt sich von der akademischen Fachdiskussion der Informatiker und Physiker, über eine breite philosophische Diskussion - weiter über Beiträge von Spezialisten aus Disziplinen der Psychologie, der Neurophysiologie und Neurobiologie und auch der Physik - doch dabei insbesondere in Beiträge der Quantenmechanik - bis hinein in die Domäne von Soziologie und Politik. Diese Dissertation möchte keinen dieser Bereiche isolieren, daher sollen möglichst viele auch divergierende Argumente der verschiedenen Fachdiskussionen nebeneinander gestellt und abgewogen werden. Der interdisziplinäre Ansatz soll dabei einerseits die erstaunliche Komplexität der Thematik reduzieren helfen, durch Aufzeigung von Konvergenzen und Isomorphien der Argumentationsfiguren, andererseits soll er die Perspektive öffnen, für eine neue hier zu erarbeitende Einordnung der KI in das politische Zeitgeschehen. Die Perspektive auf die transformative Kraft, die neue Technologien auf Gesellschaften ausüben, wird dabei eine bedeutende Rolle spielen. Technische Entwicklung kann der hier vorgestellten Argumentation zu Folge, als eine spezielle Form von Evolution begriffen werden, die der organischen Evolution im Sinne Darwins Argumentation nahe steht. Nicht zuletzt wegen der Nähe zu biologischen Sinnzusammenhängen, ist es z.B. in den Neurowissenschaften üblich geworden, sich Analogien aus der Technologie, insbes. der Informatik bezüglich Hardware als auch Software zu bedienen, um die Funktionsweise von Prozessen des Gehirns zu veranschaulichen. Aus vielen dieser Analogien sind inzwischen leichtfertig Identitätsbehauptungen entwickelt worden, die in diversen kritisch zu betrachtenden Reduktionismen münden. Zu ausgesuchten Positionen dieser Kategorie, die heute besonders in Kreisen der Denker der KI weite Verbreitung finden, soll eine differenzierte Untersuchung stattfinden. Welches wissenschaftliche Selbstverständnis des Menschen lässt sich konstatieren, wenn er metaphorisch und allegorisch zu semantischen wie zu technischen Werkzeugen greift, um mittels daraus abgeleiteter sprachlicher, logischer und auch technischer Konstruktionen seinen Standpunkt in der Welt zu präzisieren? Die Arbeit wird daher über weite Strecken einen grundsätzlich philosophischen Anspruch verfolgen, wobei die Argumentation sich vorwiegend im Areal der Interdependenz von Natur- und Geisteswissenschaften fokussieren wird. Das Oberthema Technik, wird den Einklang bilden, um das Spezialgebiet der KI zu eröffnen. Zunächst sollen die Bedingungen der Möglichkeit von KI auf technischer Ebene erörtert werden. Dazu werden Betrachtungen Neuronaler Netze und von Supercomputern, sowie der zugehörigen Software durchgeführt. Die Entwicklung auf diesem Gebiet wird dargestellt in ihrer Historie, ihrem Status Quo und ihrem Potential für die kommenden 10 bis 15 Jahre der Forschung. Im nächsten Hauptsegment Physik, wird der Begriff der „Information“ selbst mathematisch theoretisch und physikalisch praktisch erörtert und anschließend das Thema „physikalische Grundlagen der KI“ vertieft. Hier kommen wir explizit auf Quantenphysik zu sprechen, die wie wir herausarbeiten werden, das Fundament für die Informatik der kommenden Dekade liefern könnte. Wir stellen Überlegungen und Untersuchungen an, über grundlegende Begrifflichkeiten wie Energie und Entropie, über basale Konstanten und Naturgesetze, sowie den sich daraus ergebenden Raum der Realisierungsmöglichkeiten von Technologie in ihren theoretisch mathematisch maximalen Effizienzgraden. Ein Vergleich solcher Rechenbeispiele aus Natur und Technologie wird interessante neue Einblicke und Perspektiven ermöglichen. Der Anspruch der Interdisziplinarität dieser Arbeit, wird durch die Gliederung und Strukturierung der Abfolge der Argumentationsräume nochmals verdeutlicht: Nach 1.) Einleitung, 2.) Informatik 3.) Physik folgt dann 4.) der Politik Schlussteil. Hier soll dann folgende Fragestellung zum Thema KI die Überlegungen thematisch leiten: Gegeben den Fall, es gelingt in den folgenden ca. zwei Dekaden den Menschen technisch perfekt zu simulieren – worin liegt dann noch der genuin ontologische Kern des „Mensch-seins“ - und welches Bild der Gesellschaft zeichnet sich ab, mit einer solchen paradigmatischen Wende hin zu einer Technologie, die sich heute noch im Spannungsfeld zwischen Utopie und Realität befindet? Ließe sich einer absolut perfekten Simulation bzw. Emulation eines menschlichen Gehirns - wir sprechen von Präzision der letzten denkbaren theoretischen Ebene: Identikalität Molekül für Molekül, Atom für Atom und Quant für Quant - ein Bewusstsein noch absprechen? Hat die Quantenphysik oder sogar das sog. „no cloning“ Theorem hier Relevanz und Aussagekraft? – inwiefern betritt die KI spätestens ab diesem Schritt ethisch brisantes Gebiet? Fragen wie diese sollen im Verlauf der Kapitel sukzessive erörtert werden. Fragen die permanent dienen werden, den Zusammenhang der interdisziplinären Ansätze zu vereinen, sind dabei solche: Welchen Einfluss hat technologische Entwicklung auf Prozesse der Entscheidungsfindung der aktuellen Politik? Wie verhalten sich dabei ökonomische und soziologische Ziele zueinander? Welche soziokulturellen Konsequenzen ergaben und ergeben sich aus der heute etablierten Informations- & Kommunikationstechnologie (IuK) und welche Konsequenzen sind zu erwarten, wenn das Thema KI explizit auf die Agenda der Tagespolitik tritt? Die Kernfrage, die Thema und These dieser Arbeit inspiriert und die sich daher als roter Faden durch die gesamte Arbeit zieht und immer wieder aufs Neue mit verschiedenen Argumenten beleuchtet wird, ist dabei in einer ersten sondierenden Formulierung etwa diese: „Kann der Mensch, mittels seiner Intelligenz, die Grundlage ebendieser technisch simulieren – rekonstruieren – übertreffen? – wenn ja, welche Konsequenzen hat das für unsere Gesellschaft?

The effect of an optical network on-chip on the performance of chip multiprocessors

Optical networks on-chip (ONoC) have been proposed to reduce power consumption and increase bandwidth density in high performance chip multiprocessors (CMP), compared to electrical NoCs. However, as buffering in an ONoC is not viable, the end-to-end message path needs to be acquired in advance during which the message is buffered at the network ingress. This waiting latency is therefore a combination of path setup latency and contention and forms a significant part of the total message latency. Many proposed ONoCs, such as Single Writer, Multiple Reader (SWMR), avoid path setup latency at the expense of increased optical components. In contrast, this thesis investigates a simple circuit-switched ONoC with lower component count where nodes need to request a channel before transmission. To hide the path setup latency, a coherence-based message predictor is proposed, to setup circuits before message arrival. Firstly, the effect of latency and bandwidth on application performance is thoroughly investigated using full-system simulations of shared memory CMPs. It is shown that the latency of an ideal NoC affects the CMP performance more than the NoC bandwidth. Increasing the number of wavelengths per channel decreases the serialisation latency and improves the performance of both ONoC types. With 2 or more wavelengths modulating at 25 Gbit=s , the ONoCs will outperform a conventional electrical mesh (maximal speedup of 20%). The SWMR ONoC outperforms the circuit-switched ONoC. Next coherence-based prediction techniques are proposed to reduce the waiting latency. The ideal coherence-based predictor reduces the waiting latency by 42%. A more streamlined predictor (smaller than a L1 cache) reduces the waiting latency by 31%. Without prediction, the message latency in the circuit-switched ONoC is 11% larger than in the SWMR ONoC. Applying the realistic predictor reverses this: the message latency in the SWMR ONoC is now 18% larger than the predictive circuitswitched ONoC