Accurate image registration using approximate Strang-Fix and an application in super-resolution

Accurate registration is critical to most multi-channel signal processing setups, including image super-resolution. In this paper we use modern sampling theory to propose a new robust registration algorithm that works with arbitrary sampling kernels. The algorithm accurately approximates continuous-time Fourier coefficients from discrete-time samples. These Fourier coefficients can be used to construct an over-complete system, which can be solved to approximate translational motion at around 100-th of a pixel accuracy. The over-completeness of the system provides robustness to noise and other modelling errors. For example we show an image registration result for images that have slightly different backgrounds, due to a viewpoint translation. Our previous registration techniques, based on similar sampling theory, can provide a similar accuracy but not under these more general conditions. Simulation results demonstrate the accuracy and robustness of the approach and demonstrate the potential applications in image super-resolution

Итерационный алгоритм совмещения контуров с неравномерным шагом дискретизации

В статье представлен итерационный алгоритм для совмещения контуров. В рассматри-ваемой задаче совмещаемые контуры имеют одинаковую форму, но шаг дискретизации является неравномерным и между точками контуров нет соответствия. По этой причине применение методов, связывающих между собой определенные точки контуров через уравнения, невозможно. В работе представлен алгоритм, который проводит раздельную оценку параметров: смещений вдоль осей координат и угла поворота для таких контуров. Идея алгоритма заключается в итерационном уточнении параметров. Оценка параметров смещения используется для расчета угла поворота, и оценка угла поворота используется для расчета смещения. Алгоритм характеризуется более высокой скоростью обработки, чем алгоритм полного перебора, и меньшей погрешностью совмещения по сравнению с алгоритмами, основанными на вычислении макропараметров контура

A Deep Learning Model for Three-Dimensional Nystagmus Detection and Its Preliminary Application

Symptoms of vertigo are frequently reported and are usually accompanied by eye-movements called nystagmus. In this article, we designed a three-dimensional nystagmus recognition model and a benign paroxysmal positional vertigo automatic diagnosis system based on deep neural network architectures (Chinese Clinical Trials Registry ChiCTR-IOR-17010506). An object detection model was constructed to track the movement of the pupil centre. Convolutional neural network-based models were trained to detect nystagmus patterns in three dimensions. Our nystagmus detection models obtained high areas under the curve; 0.982 in horizontal tests, 0.893 in vertical tests, and 0.957 in torsional tests. Moreover, our automatic benign paroxysmal positional vertigo diagnosis system achieved a sensitivity of 0.8848, specificity of 0.8841, accuracy of 0.8845, and an F1 score of 0.8914. Compared with previous studies, our system provides a clinical reference, facilitates nystagmus detection and diagnosis, and it can be applied in real-world medical practices

Griff-in-die-Kiste - Neue Ansätze für ein klassisches Problem

The automation of handling tasks has been an important scientific topic since the development of the first industrial robots. The first step in the chain of scientific challenges to be solved is the automatic grasping of objects. One of the most famous examples in this context is the well known ”bin-picking” problem. To pick up objects, scrambled in a box is an easy task for humans, but its automation is very complex. Besides the localization of the object, meaning the estimation of the object’s pose (orientation and position), it has to be ensured that a collision free path can be found to safely grasp the objects. For over 50 years, researchers have published approaches towards generic solutions to this problem, but unfortunately no industry applicable, generic system has been developed yet. In this thesis, three different approaches to solve the bin-picking problem are described. More precisely, different solutions to the pose estimation problem are introduced, each paired with additional functionalities to complete it for application in a bin-picking station. It is described, how modern sensors can be used for efficient bin-picking as well as how classic sensor concepts can be applied for novel bin-picking techniques. Three complete systems are described and compared. First, 3D point clouds, generated using a laser scanner, are used as basis. Employing the known Random Sample Matching algorithm and modifications of it, paired with a very efficient depth map based collision avoidance mechanism results in a very robust bin-picking approach. In the second approach, all computations are done on depth maps. This allows the use of 2D image analysis techniques to fulfill the tasks and results in real time data analysis. Combined with force/torque and acceleration sensors, a near time optimal bin-picking system emerges. As a third option, surface normal maps are employed as a basis for pose estimation. In contrast to known approaches, the normal maps are not used for 3D data computation but directly for the object localization problem. This enables the application of a new class of sensors for bin-picking. All three methods are compared and advantages and disadvantages of each approach are discussed.Das automatisierte Handling von Objekten ist seit Entwicklung der ersten Roboter ein Forschungsthema. Der erste Schritt in diese Richtung ist das automatische Greifen von Objekten. Eines der berühmtesten Probleme in diesem Zusammenhang ist der "Griff-in-die-Kiste", oder "Bin-Picking". Frei angeordnete Objekte (Schüttgut) aus einer Kiste zu entnehmen stellt für Menschen keine schwierige Aufgabe dar, ist jedoch extrem komplex zu automatisieren. Neben der Objektlokalisierung, also dem Bestimmen der Position und der Orientierung, der Pose, des Objekts muss hier auch gewährleistet werden, dass eine kollisionsfreie Interaktion des Roboters mit dem Objekt möglich ist. Seit mehr als 50 Jahren veröffentlichen Forscher Ansätze, um einer generischen Lösung dieses Problems näher zu kommen. Dennoch ist Bin-Picking auch heute noch nicht vollständig gelöst. Diese Arbeit beschreibt daher drei neue, unterschiedliche Konzepte um das Bin-Picking-Problem zu lösen. Genauer gesagt werden Verfahren vorgestellt, die auf Basis unterschiedlicher Daten Objekte lokalisieren können. Die Arbeit beschreibt, wie moderne optische Sensoren effizient für das Bin-Picking eingesetzt werden können, aber auch, dass klassische Sensorkonzepte neuartige und effiziente Lösungen ermöglichen. Drei Systeme werden beschrieben und verglichen. Zunächst werden per 3D-Scanner aufgenommene Punktwolken als Basis genutzt und mittels Random Sample Matching Objektposen extrahiert. Die Kollisionsvermeidungsstrategie basiert auf Tiefenbildern, was die Berechnung sehr effizient macht. Als zweites wird die Lokalisierung direkt auf Tiefenbildern gerechnet. Dies ermöglicht den direkten Einsatz von 2d Bildverarbeitungsmethoden, was eine Greifposenbestimmung in Echtzeit ermöglicht. Verbunden mit Kraft-Momentensensorik entsteht so ein nahezu zeitoptimales Bin-Picking-System. Als dritte Möglichkeit werden Oberflächennormalenkarten als Basis zur Objektlokalisierung verwendet. Im Gegensatz zu herkömmlichen Ansätzen aus der Literatur werden diese Karten nicht zu 3d Daten umgerechnet sondern direkt zur Posenschätzung genutzt. Dies ermöglicht den Einsatz einer Klasse von Sensoren zum Bin-Picking die bisher nur in anderen Gebieten genutzt werden konnte. Alle drei Methoden werden miteinander verglichen und Vor- sowie Nachteile beleuchtet

Ein neues Konzept zur automatischen Erstellung von Mosaikbildern der Kornea für die Diagnose neuropathischer Erkrankungen

Die hochauflösende Abbildung der Nervenstrukturen im sub-basalen Nervenplexus der Kornea mittels der in-vivo-Konfokalmikroskopie birgt ein immenses Potential für die Diagnostik bei unterschiedlichsten Erkrankungen mit Beteiligung des peripheren Nervensystems. Bislang fehlt es jedoch an Verfahren zur zuverlässigen automatischen Erfassung eines ausreichend großen Bereichs des Nervenplexus als Grundlage einer belastbaren Diagnose. In der vorliegenden Dissertation wird hierfür ein neues Konzept zur automatischen Erstellung einer großflächigen Abbildung des sub-basalen Nervenplexus in der zentralen Kornea entwickelt. Wesentliche Anforderungen sind dabei ein möglichst hoher Automatisierungsgrad, die Abbildung einer kompakten zusammenhängenden Fläche und die Minimierung der dazu erforderlichen Aufnahmedauer. Das erarbeitete Konzept wird durch einen zweigeteilten Ablauf realisiert, mit einem Prozess zur Bilddatengewinnung einerseits und einem Prozess zur Erstellung einer großflächigen Darstellung andererseits. Beide Prozesse stellen in wesentlichen Teilen Neuentwicklungen dar, die ausführlich hergeleitet und beschrieben werden. Die Kernidee bei der Aufnahme der Bilddaten ist die kontinuierliche Führung der Blickrichtung des Patienten durch eine bewegte Fixationsmarke vor dem nicht untersuchten Auge während des Aufnahmeprozesses. Da die Augenbewegungen synchron erfolgen, überträgt sich die Bewegung auf das untersuchte Auge. Durch eine angepasste Bahnführung der Fixationsmarke wird eine kontinuierliche Erweiterung des aufgenommenen Areals der Kornea erreicht. Damit die Führung der Blickrichtung hinsichtlich der oben genannten Randbedingungen zielgerichtet geschieht, beinhaltet das Konzept ein Verfahren zur Analyse der akquirierten Bilddaten und zur Rückkopplung auf die Bahn der Fixationsmarke. Die zur Verarbeitung der Bilddaten zu großflächigen Mosaikbildern aufgebaute Prozesskette wird detailliert hergeleitet. Die Aufgabe der Mosaikbilderzeugung aus den akquirierten Aufnahmesequenzen kann in die Registrierung der Bilddaten und die anschließende Bildfusion unterteilt werden. Eine zentrale Herausforderung bei der vorliegenden Aufgabenstellung besteht in der Korrektur der Bewegungsartefakte, die durch die Bewegung des Auges während der Bildgebung verursacht werden. Die Bewegungsartefakte manifestieren sich in den Aufnahmen als für die Aufnahmetechnik charakteristische horizontale und vertikale Verzerrungen, die im Rahmen der Registrierung bestimmt und korrigiert werden. Die Beschreibung eines Labormusters zur experimentellen Erprobung der entwickelten Prozesse komplettiert die Darstellung des neuen Gesamtkonzepts zur Erzeugung großflächigen konfokalmikroskopischen in-vivo-Bildgebung des sub-basalen Nervenplexus der Kornea