A novel vision-system-on-chip for embedded image acquisition and processing: Presentation held at Forum Industrial Vision Days, Stuttgart, 6. - 8. November 2018

The machine vision market is growing faster and faster. And with it the hunger for quality and process data. The answer to these challenges may be the creation of Vision Systems-on-Chip. Vision-System-on-Chip must do image acquisition as good as and image processing much better than a traditional image sensor setup. This aim is reached by rethinking what is necessary to solve a problem. The VSoC architecture presented here has a number of unique features that make it shine when it comes to sparse pixel data and low latency processing, for example. Now it's time to realize applications that benefit from our VSoC approach and to enable our customers to bring this leading edge technology to their markets

Programmierbarer Bildsensor für die Hochgeschwindigkeits-Bildaufnahme und Bildverarbeitung

Die stetig steigenden Anforderungen an Bildsensoren, wie hohe Bildaufnahmeraten bei niedriger Leistungsaufnahme und maximaler Datenintegrität, haben die Forscher des Fraunhofer IIS/EAS dazu veranlasst einen neuartigen programmierbaren Bildsensor zu entwickeln. Dieses sogenannte Vision-System-on-Chip (VSoC) ist der Kern eines Baukastens mit leistungsfähiger Kamerahardware und robusten Algorithmen zur effizienten Realisierung verschiedenster Bildverarbeitungsanwendungen. Damit können visuelle Informationen ausgewertet werden, um z.B. Objekte unabhängig von den Beleuchtungsverhältnissen zu detektieren / lokalisieren bzw. deren dreidimensionale Form zu vermessen. Durch die Software-basierte hochparallele Datenverarbeitung auf dem VSoC können derartige Aufgaben mit Bildaufnahmeraten im kHz-Bereich realisiert werden

Programmierbares Vision-System-on-Chip für die eingebettete Bilderfassung und Bildverarbeitung: Vortrag gehalten auf dem Workshop "Mikro- und Nanotechnologien für die angewandte Spektroskopie", 17.10.2017, Dresden

Die Architektur eines software-programmierbaren Vision-System-on-Chip (VSoC) mit hoher Geschwindigkeit und Dynamik sowie ein Baukasten für die Bilderfassung und -verarbeitung (engl. IAP) werden vorgestellt. Benannt werden die technischen Herausforderungen bei der Entwicklung von Bildverarbeitungslösungen mit geringer Latenz und erste Anwendungsbeispiele für den VSoC

Fernmonitoring komplexer Fertigungs- und Prüfprozesse auf Basis von Hochgeschwindigkeits-Bildsensoren mit hohem Dynamikumfang und integrierter hochparalleler Signalverarbeitung: Teilprojekt: Neuartiges CMOS-Bildsensor System-on-Chip für das Fernmonitoring komplexer Fertigungs- und Prüfprozesse; Schlussbericht und Sachbericht zu Nr. 8.1 NKBF 98; Berichtszeitraum: 01.03.2011 - 30.09.2014

Ziel des Projektes war die Entwicklung eines Systems zur Fernüberwachung von Maschinen und Anlagen, das auch bei sehr schnellen Fertigungsschritten und kurzen Taktzeiten die bildgestützte Analyse von Störungen und die Identifikation der Störungsursachen ermöglicht und die Beseitigung der Störung aus der Ferne zulässt bzw. vor Ort unterstützt. Als Hauptkomponente wurde ein neuartiger CMOS-Bildsensor mit ladungsbasierter Auslese- und Signalverarbeitungstechnik entwickelt und für den Einsatz in industriellen Prozessen optimiert. Der neuartige Lösungsansatz bestand darin, dass erstmalig in der Fernwartung spezielle Hochgeschwindigkeits-Bildsensoren eingesetzt wurden, die im Betrieb flexibel an die speziellen Erfordernisse der Erfassungsaufgabe angepasst werden können

Hardware/software infrastructure for ASIC commissioning and rapid system prototyping

FPGAs are a key enabling technology for rapid and efficient system prototyping and initial commissioning of newly developed integrated circuits. One major aspect is the setup and control of interface components between devices under test (DUT) and the FPGA infrastructure. So as to maintain high flexibility in conjunction with the ability to deal with changes of requirements and use cases, as well as unforeseen or faulty behavior of the DUT, we propose a novel reconfigurable hardware/software infrastructure. IP blocks, such as register files or interface components to external hardware, are attached as leafs to a tree-like communication system optimized for alterations. It is designed as an Embedded-Linux-compatible CPU subsystem to be accessed from user space via a uniform and portable kernel driver. Thus, it implements transparent access to custom functionality from user applications, without specific knowledge concerning the hardware/software coupling

Zwanzig20 - Allianz 3Dsensation - I3-Vorhaben: Acti3D - Intelligenter 3d Aktivitätssensor für das aktive und selbstbestimmte Leben in den eigenen vier Wänden: Abschlussbericht, Laufzeit des Vorhabens und Berichtszeitraum: 01.07.2015 bis 30.06.2016

Der im Rahmen dieses Projektes entwickelte Sensor stellt die Grundlage eines Systems zur Unterstützung von Menschen verschiedenen Alters und unterschiedlicher Vorbildung beim Leben im heimischen Umfeld dar. Unter Zuhilfenahme von Präsenz- und Bewegungsdaten von Personen wird die adaptive Steuerung haustechnischer Komponenten ermöglicht. Die zunächst angedachte Erweiterung einer im Rahmen eines Vorgängerprojektes entstandenen 2D-Präsenzdetektion hinsichtlich der Bestimmung der Tiefeninformation erwies sich jedoch als nicht praktikabel. Stattdessen wurde unter Berücksichtigung der Möglichkeiten des am Fraunhofer EAS entstandenen VSoC ein Algorithmus entwickelt, der Aufnahmen aus zwei verschiedenen Perspektiven (Stereo-Setup) auswertet und neben der Erkennung aktiver Regionen, auch eine Zuordnung zur jeweils anderen Perspektive und somit eine 3D-Lokalisation ermöglicht. Im Gegensatz zum Stand der Technik sind für die einzelnen Schritte jedoch keine Grauwert-Bilder erforderlich, wodurch die Privatsphäre der Personen in jedem Fall gewahrt bleibt. So werden direkt im VSoC interessante Punkte extrahiert und für die weitere Verarbeitung ausgegeben. Durch Vergleich der Positionen gefundener Punkte aus beiden Perspektiven erfolgt unter Berücksichtigung der bekannten Geometrie des Stereo-Setups die Bestimmung der Tiefeninformation. Zur Reduktion des Rechenaufwands wird diese Berechnung zudem auf aktive Punkte beschränkt, d.h. Punkte die sich im Vordergrund befinden. Die einzelnen Teilalgorithmen wurden sowohl mit echten Szenen als auch mit in der wissenschaftlichen Community häufig genutzten Testsequenzen überprüft und somit die Korrektheit nachgewiesen

Fernmonitoring komplexer Fertigungsprozesse mit Hochgeschwindigkeits-Bildsensoren

Das Monitoring von Fertigungs- und Prüfprozessen spielt bei der Fernwartung für die stark Export orientierte deutsche Wirtschaft eine wichtige Rolle. Die maschinelle visuelle Inspektion und die optische Aufzeichnung sehr schneller Vorgänge gewinnen in diesem Umfeld zunehmend an Bedeutung. Im Rahmen eines BMBF-Förderprojekts werden Grundlagen, Entwurfsverfahren und Komponenten für derartige Fernwartungssysteme erforscht. Der Schwerpunkt liegt dabei auf einer flexiblen Hard- und Software-Architektur auf der Basis eines programmierbaren Hochgeschwindigkeits-Bildsensor-Systems-on-Chip in Verbindung mit Methoden der Systemmodellierung und -simulation

CSOC-3D: Echtzeitfähige 3D-Datenverarbeitung auf kaskadierten analog-digital Customized System on a Chip-Architekturen: Vortrag gehalten beim Innovationsforum Mensch-Maschine-Interaktion, 23. - 25.10.2017 in Jena

Die schnelle Erfassung von 3D-Daten, deren Weiterverarbeitung und die Ermittlung von qualitativen und quantitativen Merkmalen wird in den nächsten Jahren von entscheidender Bedeutung sein. Im Vortrag werden die unterschiedlichen Herausforderungen sowie Technologien und Ziele der Projektpartner benannt. Der Präsentation von Lösungsansätzen für VSoc, Testchips und ein Emulationsmodul folgen die Identifizierung möglicher Bedarfsfelder und Nachnutzungsmöglichkeiten

Simulation environment for a vision-system-on-chip with integrated processing

Imagers with programmable, highly parallel signal processing execute computationally intensive processing steps directly on the sensor, thereby allowing early reduction of the amount of data to relevant features. For the purposes of architectural exploration during development of a novel Vision-System-on-Chip (VSoC), it has been modelled on system level. Aside from the integrated control unit with multiple independent control flows, the model also realizes digital and analogue signal processing. Due to high simulation speed and compatibility with the real system, especially regarding the programs to be executed, the resulting simulation model is very well suited for usage during application development. By providing the ability to purposefully introduce parameter deviations or defects at various points of analogue processing, it becomes possible to study them with respect to their influence on image processing algorithms executed within the VSoC

A 1 megapixel HDR image sensor SoC with highly parallel mixed-signal processing

This work aims to develop a universal and flexibly programmable image sensor SoC for a variety of industrial image acquisition and processing applications. It is comprised of an array of 1024x1024 pixel cells with a pitch of 8.75μm and features linear/logarithmic characteristics. In logarithmic mode, dynamic range exceeds120 dB. The fully programmable, column-parallel, mixed-signal data path from charge-based pixel readout and analogue processing via multi-slope analogue-to-digital conversion to the full custom digital 8-bit ALU allows for data processing with more than 100 GOps