Real-time 3D hand reconstruction in challenging scenes from a single color or depth camera

Hands are one of the main enabling factors for performing complex tasks and humans naturally use them for interactions with their environment. Reconstruction and digitization of 3D hand motion opens up many possibilities for important applications. Hands gestures can be directly used for human–computer interaction, which is especially relevant for controlling augmented or virtual reality (AR/VR) devices where immersion is of utmost importance. In addition, 3D hand motion capture is a precondition for automatic sign-language translation, activity recognition, or teaching robots. Different approaches for 3D hand motion capture have been actively researched in the past. While being accurate, gloves and markers are intrusive and uncomfortable to wear. Hence, markerless hand reconstruction based on cameras is desirable. Multi-camera setups provide rich input, however, they are hard to calibrate and lack the flexibility for mobile use cases. Thus, the majority of more recent methods uses a single color or depth camera which, however, makes the problem harder due to more ambiguities in the input. For interaction purposes, users need continuous control and immediate feedback. This means the algorithms have to run in real time and be robust in uncontrolled scenes. These requirements, achieving 3D hand reconstruction in real time from a single camera in general scenes, make the problem significantly more challenging. While recent research has shown promising results, current state-of-the-art methods still have strong limitations. Most approaches only track the motion of a single hand in isolation and do not take background-clutter or interactions with arbitrary objects or the other hand into account. The few methods that can handle more general and natural scenarios run far from real time or use complex multi-camera setups. Such requirements make existing methods unusable for many aforementioned applications. This thesis pushes the state of the art for real-time 3D hand tracking and reconstruction in general scenes from a single RGB or depth camera. The presented approaches explore novel combinations of generative hand models, which have been used successfully in the computer vision and graphics community for decades, and powerful cutting-edge machine learning techniques, which have recently emerged with the advent of deep learning. In particular, this thesis proposes a novel method for hand tracking in the presence of strong occlusions and clutter, the first method for full global 3D hand tracking from in-the-wild RGB video, and a method for simultaneous pose and dense shape reconstruction of two interacting hands that, for the first time, combines a set of desirable properties previously unseen in the literature.Hände sind einer der Hauptfaktoren für die Ausführung komplexer Aufgaben, und Menschen verwenden sie auf natürliche Weise für Interaktionen mit ihrer Umgebung. Die Rekonstruktion und Digitalisierung der 3D-Handbewegung eröffnet viele Möglichkeiten für wichtige Anwendungen. Handgesten können direkt als Eingabe für die Mensch-Computer-Interaktion verwendet werden. Dies ist insbesondere für Geräte der erweiterten oder virtuellen Realität (AR / VR) relevant, bei denen die Immersion von größter Bedeutung ist. Darüber hinaus ist die Rekonstruktion der 3D Handbewegung eine Voraussetzung zur automatischen Übersetzung von Gebärdensprache, zur Aktivitätserkennung oder zum Unterrichten von Robotern. In der Vergangenheit wurden verschiedene Ansätze zur 3D-Handbewegungsrekonstruktion aktiv erforscht. Handschuhe und physische Markierungen sind zwar präzise, aber aufdringlich und unangenehm zu tragen. Daher ist eine markierungslose Handrekonstruktion auf der Basis von Kameras wünschenswert. Multi-Kamera-Setups bieten umfangreiche Eingabedaten, sind jedoch schwer zu kalibrieren und haben keine Flexibilität für mobile Anwendungsfälle. Daher verwenden die meisten neueren Methoden eine einzelne Farb- oder Tiefenkamera, was die Aufgabe jedoch schwerer macht, da mehr Ambiguitäten in den Eingabedaten vorhanden sind. Für Interaktionszwecke benötigen Benutzer kontinuierliche Kontrolle und sofortiges Feedback. Dies bedeutet, dass die Algorithmen in Echtzeit ausgeführt werden müssen und robust in unkontrollierten Szenen sein müssen. Diese Anforderungen, 3D-Handrekonstruktion in Echtzeit mit einer einzigen Kamera in allgemeinen Szenen, machen das Problem erheblich schwieriger. Während neuere Forschungsarbeiten vielversprechende Ergebnisse gezeigt haben, weisen aktuelle Methoden immer noch Einschränkungen auf. Die meisten Ansätze verfolgen die Bewegung einer einzelnen Hand nur isoliert und berücksichtigen keine alltäglichen Umgebungen oder Interaktionen mit beliebigen Objekten oder der anderen Hand. Die wenigen Methoden, die allgemeinere und natürlichere Szenarien verarbeiten können, laufen nicht in Echtzeit oder verwenden komplexe Multi-Kamera-Setups. Solche Anforderungen machen bestehende Verfahren für viele der oben genannten Anwendungen unbrauchbar. Diese Dissertation erweitert den Stand der Technik für die Echtzeit-3D-Handverfolgung und -Rekonstruktion in allgemeinen Szenen mit einer einzelnen RGB- oder Tiefenkamera. Die vorgestellten Algorithmen erforschen neue Kombinationen aus generativen Handmodellen, die seit Jahrzehnten erfolgreich in den Bereichen Computer Vision und Grafik eingesetzt werden, und leistungsfähigen innovativen Techniken des maschinellen Lernens, die vor kurzem mit dem Aufkommen neuronaler Netzwerke entstanden sind. In dieser Arbeit werden insbesondere vorgeschlagen: eine neuartige Methode zur Handbewegungsrekonstruktion bei starken Verdeckungen und in unkontrollierten Szenen, die erste Methode zur Rekonstruktion der globalen 3D Handbewegung aus RGB-Videos in freier Wildbahn und die erste Methode zur gleichzeitigen Rekonstruktion von Handpose und -form zweier interagierender Hände, die eine Reihe wünschenwerter Eigenschaften komibiniert

Regulation of dynamic front-rear cell polarity by the Frz chemosensory system in Myxococcus xanthus

Bacterial cells are spatiotemporally highly organized, with proteins localizing to distinct subcellular regions. The rod-shaped Myxococcus xanthus cells move across surfaces with defined front-rear polarity. This polarity is determined by the small Ras-like GTPase MglA that localizes to the leading cell pole in its GTP-bound form. The nucleotide-bound form of MglA and its localization are regulated by the remaining five proteins of the polarity module. All six proteins of the polarity module localize asymmetrically to the cell poles. Occasionally, cells invert polarity and, in parallel, reverse their direction of movement. The Frz chemosensory system triggers the inversion of cell polarity and, therefore, cellular reversals. The two output response regulators of the Frz system, FrzX and FrzZ, localize to the lagging and leading cell poles, respectively, in their phosphorylated form, targeting the proteins of the polarity module and, thereby jointly causing an inversion of the polarity of these proteins. However, the molecular mechanism that bridges FrzX and FrzZ and the proteins of the polarity module are poorly understood. Here, we addressed this question, focusing on FrzZ. Using a biotin-based proximity labeling approach, we identify PixA as a strong candidate for directly interacting with phosphorylated FrzZ. Epistasis analyses support that FrzZ and PixA regulate reversals in the same output branch of the Frz system, and PixA inhibits reversals. In this branch, FrzZ~P induces reversals by inhibiting PixA, thereby relieving the PixA-mediated inhibition of reversals. PixA localized weakly at the lagging pole between reversals. Strikingly, Frz signaling altered PixA localization to the pole. Genetic analyses suggest that FrzZ inhibits lagging pole localization of PixA. During Frz signaling, FrzZ~P “pulls” PixA to the leading pole, while FrzX~P “pushes off” PixA at the lagging pole. Elevated levels of PixA resulted in increased lagging pole localization of PixA and strong reduction of reversals. Altogether, our findings support a model in which PixA inhibits reversals at the lagging cell pole while FrzX~P and FrzZ~P, in a “push and pull” mechanism, relocate PixA from the lagging to the leading pole, thereby allowing a reversal to occur. In proximity labelling approaches, we identified the response regulator PglH as a potential interaction partner of PixA, FrzX, and MglA. A ΔpglH mutant had a hyperreversing phenotype, suggesting that PglH is a strong candidate for also being involved in regulating leading-lagging cell polarity in M. xanthus

The effect of an interdisciplinary multidimensional intervention on the prognosis of older inpatients in a non-geriatric setting

Weltweit zeichnet sich ein zunehmendes Bevölkerungswachstum ab. Dies bringt vielfältige Herausforderungen an das Gesundheitssystem mit sich, da ältere Patienten einen Großteil der Hospitationen ausmachen. Die Behandlung geriatrischer Patienten unterscheidet sich dabei grundlegend von der jüngerer Patienten, da ältere Menschen sehr oft zahlreiche Komorbiditäten aufweisen, oft unter frailty leiden und weniger Ressourcen bieten können, um eine akute Krankheit zu bekämpfen. Dementsprechend geht die Hospitalisierung älterer Menschen oft mit einem Funktionalitätsverlust und einer verschlechterten Prognose einher. Angesichts dieser Problematik hat sich ein ganzheitlicher Ansatz in der Behandlung geriatrischer Patienten bewährt mit dem Ziel, den negativen Hospitalisierungs-assoziierten Effekten gegenzusteuern. Die hier zugrundeliegende Arbeit hat untersucht, inwieweit eine interdisziplinäre multidimensionale Behandlung auf einer nicht-geriatrischen Station einen Einfluss auf die Prognose älterer Patienten hat. Bei geriatrischen Patienten hat sich das Comprehensive Geriatric Assessment (CGA) als ganzheitlicher Ansatz bewährt. Das CGA entspricht einer ganzheitlichen Einschätzung eines Patienten mit anschließender Behandlung der identifzierten Defizite. Um die Ergebnisse eines CGAs in einem einzelnen, repräsentativen und prognostisch aussagekräftigen Index zusammenzufassen, wurde der Multidimensionale Prognostische Index (MPI) entwickelt. Aus den Domänen des CGAs wird dabei ein Wert zwischen 0 und 1 berechnet, wobei ein höherer Wert mit einer schlechteren Prognose assoziiert ist. Es werden folgende drei Risikogruppen voneinander unterschieden: Geringes Risiko (MPI-1, 0-0.33), mittleres Risiko (MPI-2, 0.34-0.66) und hohes Risiko (MPI-3, 0.67-1). Der MPI wurde bereits vielfach sowohl im ambulanten als auch im stationären Setting validiert. Er ist unter anderem assoziiert mit der Hospitalisierungsdauer, der Anzahl geriatrischer Syndrome und Ressourcen, dem Pflegegrad, der Lebensqualität, der Mortalität und der Entlassdestination. Diese Arbeit widmet sich der Frage, ob ein Pilotprojekt in Form einer interdisziplinären multidimensionalen Behandlung (Interdisciplinary multidimensional intervention, IMI) auf einer internistischen Akutstation eine prognostische und/oder funktionelle Verbesserung in geriatrischen Patienten, gemessen anhand des MPIs und verglichen mit der Standardbehandlung (standard of care, SOC) erzielen kann. Hierzu wurden retrospektiv die Daten von insgesamt 475 Patienten analysiert, welche zwischen August 2016 und Juli 2019 in der Klinik II für Innere Medizin – Nephrologie, Rheumatologie, Diabetologie und allgemeine 11 Innere Medizin der Universitätsklinik Köln, Deutschland, hospitalisiert waren. Alle Patienten waren über 65 Jahre alt, erhielten ein CGA sowohl bei Aufnahme als auch bei Entlassung sowie eine MPI-Kalkulation zu diesen Zeitpunkten. Das Pilotprojekt der IMI wurde 2016 etabliert. Das Ziel der IMI war die Prävention des Krankenhaus-assoziierten funktionellen Verlusts bei älteren Patienten. Um dies zu erzielen, wurde ein interdisziplinäres Team aus geriatrisch geschulten Pflegekräften, Physiotherapeut*innen, Ergotherapeut*innen, Logopäd*innen, Sozialarbeiter*innen und Apotheker*innen zusammengestellt, welches unter der Leitung von Geriater*innen und Ärzt*innen anderer Fachrichtungen gemäß der individuellen Therapieziele und Defizite der Patienten einen Behandlungsplan erstellte und umsetzte. Die Analyse der hier zugrundeliegenden Daten zeigte eine positive Entwicklung des IMI Kollektivs im Vergleich zu SOC Patienten bezüglich MPI-Prognose und Funktionalität, gemessen an den Variablen MPI und ADL. Diese positive Entwicklung zeigte sich vor allem in MPI-2 und MPI-3 Subkollektiven, während sich die IMI Patienten in MPI-1 im Vergleich zu SOC in MPI und ADL verschlechterten. Dies ist überraschend, da es nicht zu erwarten war, dass eine Behandlung wie die IMI mit einer Verschlechterung der Prognose assoziiert sein könnte. Es ist jedoch zu bedenken, dass IMI Patienten eine deutliche längere Verweildauer vorwiesen als SOC Patienten. Es lässt sich daher diskutieren, ob Patienten mit einer verhältnismäßig guten Prognose entsprechend MPI-1 durch eine längere Verweildauer mit den damit verbundenen Komplikationen trotz intensivierter funktioneller Behandlung eher Nachteile erfahren im Vergleich zu Patienten mit einer schlechteren Prognose bei Aufnahme. Es zeigte sich außerdem, dass sich IMI Patienten der Risikogruppen MPI-2 und MPI-3 sich in ihrem MPI und einigen seiner Subdomänen im Vergleich zu IMI Patienten der Gruppe MPI-1 verbesserten. Außerdem schienen die Patienten der Altersgruppe der über 85- Jährigen sowie der 65 bis 74-Jährigen besonders von der Behandlung zu profitieren. Insgesamt zeigte sich in der Analyse der Daten, dass Patienten, die sich als frail oder pre-frail kategorisieren ließen, eher von einer Behandlung wie der IMI zu profitieren schienen. Dies könnte in Zukunft bei der Auswahl von Patienten und der damit verbundenen bestmöglichen Ressourcennutzung helfen. Zusammenfassend kann man aufgrund der hier vorliegenden Studie sagen, dass sich eine positive Entwicklung der IMI Patienten im Vergleich zu SOC Patienten abzeichnet, vor allem in den Subgruppen MPI-2 und MPI-3 sowie bei Patienten mit einer stark eingeschränkten Funktionalität bei Aufnahme. Dies würde dementsprechend die Patientenkollektive beinhalten, die wir als frail oder pre-frail kategorisieren. Bei diesen Subgruppen konnte im IMI Kollektiv eine signifikante Verbesserung der Prognose sowie der Funktionalität verglichen mit der Standardbehandlung erzielt werden. Bei der Interpretation dieser Ergebnisse sind jedoch einige Limitationen zu bedenken, unter anderem kleine Patientenkollektive mit kleinen Subgruppen, die retrospektive Natur der Arbeit sowie ein Selektion-Bias in der Auswahl der Patienten für die IMI. Trotzdem zeigen die vielversprechenden Resultate dieser Studie, dass weitere Forschung im Bereich der Versorgung älterer, hospitalisierter Patienten notwendig ist angesichts der steigenden Herausforderungen in unserer alternden Gesellschaft

Automating the search for a patent's prior art with a full text similarity search

More than ever, technical inventions are the symbol of our society's advance. Patents guarantee their creators protection against infringement. For an invention being patentable, its novelty and inventiveness have to be assessed. Therefore, a search for published work that describes similar inventions to a given patent application needs to be performed. Currently, this so-called search for prior art is executed with semi-automatically composed keyword queries, which is not only time consuming, but also prone to errors. In particular, errors may systematically arise by the fact that different keywords for the same technical concepts may exist across disciplines. In this paper, a novel approach is proposed, where the full text of a given patent application is compared to existing patents using machine learning and natural language processing techniques to automatically detect inventions that are similar to the one described in the submitted document. Various state-of-the-art approaches for feature extraction and document comparison are evaluated. In addition to that, the quality of the current search process is assessed based on ratings of a domain expert. The evaluation results show that our automated approach, besides accelerating the search process, also improves the search results for prior art with respect to their quality

From given cross-cultural difference to a new interculture: a sino-german example

Der vorliegende Beitrag zeigt die Entstehung einer neuen Inter-Kultur für eine konkrete deutsch-chinesische Unternehmenskooperation auf. Die Daten wurden mittels teilnehmender Beobachtung erhoben. Kultur wird in diesem Kontext als intersubjektive Bedeutungsherstellung verstanden. Es wird zwischen emischen und etischen Perspektiven auf Kultur unterschieden. Die Kernfrage bestand darin herauszufinden, inwieweit bestehende kulturelle Unterschiede, die auf sozio- und nationalkulturellen Dimensionen basieren, kontextualisiertes Verhalten determinieren und inwieweit MitarbeiterInnen eines chinesisch-deutschen Dienstleistungsunternehmens in der Interaktion miteinander eine neue Inter-Kultur erschaffen. In dem hier diskutierten Fall geschieht dies durch den kollektiven Gebrauch eines Umdeutung von "Praktikabilität" (practicality). Der Hauptbeitrag dieser Artikels ist folgende Erkenntnis: Kulturdimensionen beschreiben lediglich anfängliche kulturelle Unterschiede, sagen jedoch nichts aus über den von uns identifizierten Prozess kultureller Neuschöpfung, den wir als Intercultural Creation benennen. Diese Erkenntnis soll Interkulturalisten Denkanstöße für die Praxis liefern. Mit unserem Beitrag verlassen wir den Fokus auf kulturvergleichende, durch Kulturdimensionen vorgegebene Unterschiede (im Englischen als cross-cultural benannt). Wir implementieren einen paradigmatischen Wandel hin zu einem interkulturellen Verständnis emischer Prozesse des kulturellen Sinnmachens.This paper shows for a specific Sino-German case how a new interculture emerges in cross-cultural settings. It is based on participant observation in a Sino-German company. Culture is conceptualized as intersubjective sensemaking. Emic and etic perspectives on culture are differentiated. The study asked to what extent given cross-cultural difference based on large-scale cultural constructs determine behavior and to what extend employees in a Sino-German service company create a new inter-culture when interacting with each other. In our Sino-German case, employees bridged cultural difference via a new concept of "practicality". The main implication is: Cross-cultural dimensions merely describe initial cross-cultural difference, but not the nature and the outcome of Intercultural Creation. These findings encourage interculturalists to rethink their cultural practice. Hence, we implement a paradigmatic shift towards an intercultural understanding of emic cultural meanings instead of focusing on cross-cultural difference based on predefined cross-cultural dimensions

From Given Cross-Cultural Difference to a New Interculture: A Sino-German Example

Der vorliegende Beitrag zeigt die Entstehung einer neuen Inter-Kultur für eine konkrete deutsch-chinesische Unternehmenskooperation auf. Die Daten wurden mittels teilnehmender Beobachtung erhoben. Kultur wird in diesem Kontext als intersubjektive Bedeutungsherstellung verstanden. Es wird zwischen emischen und etischen Perspektiven auf Kultur unterschieden. Die Kernfrage bestand darin herauszufinden, inwieweit bestehende kulturelle Unterschiede, die auf sozio- und nationalkulturellen Dimensionen basieren, kontextualisiertes Verhalten determinieren und inwieweit MitarbeiterInnen eines chinesisch-deutschen Dienstleistungsunternehmens in der Interaktion miteinander eine neue Inter-Kultur erschaffen. In dem hier diskutierten Fall geschieht dies durch den kollektiven Gebrauch eines Umdeutung von "Praktikabilität" (practicality). Der Hauptbeitrag dieser Artikels ist folgende Erkenntnis: Kulturdimensionen beschreiben lediglich anfängliche kulturelle Unterschiede, sagen jedoch nichts aus über den von uns identifizierten Prozess kultureller Neuschöpfung, den wir als Intercultural Creation benennen. Diese Erkenntnis soll Interkulturalisten Denkanstöße für die Praxis liefern. Mit unserem Beitrag verlassen wir den Fokus auf kulturvergleichende, durch Kulturdimensionen vorgegebene Unterschiede (im Englischen als cross-cultural benannt). Wir implementieren einen paradigmatischen Wandel hin zu einem interkulturellen Verständnis emischer Prozesse des kulturellen Sinnmachens.This paper shows for a specific Sino-German case how a new interculture emerges in cross-cultural settings. It is based on participant observation in a Sino-German company. Culture is conceptualized as intersubjective sensemaking. Emic and etic perspectives on culture are differentiated. The study asked to what extent given cross-cultural difference based on large-scale cultural constructs determine behavior and to what extend employees in a Sino-German service company create a new inter-culture when interacting with each other. In our Sino-German case, employees bridged cultural difference via a new concept of ‘practicality’. The main implication is: Cross-cultural dimensions merely describe initial cross-cultural difference, but not the nature and the outcome of Intercultural Creation. These findings encourage interculturalists to rethink their cultural practice. Hence, we implement a paradigmatic shift towards an intercultural understanding of emic cultural meanings instead of focusing on cross-cultural difference based on predefined cross-cultural dimensions