Action-oriented Scene Understanding

In order to allow robots to act autonomously it is crucial that they do not only describe their environment accurately but also identify how to interact with their surroundings. While we witnessed tremendous progress in descriptive computer vision, approaches that explicitly target action are scarcer. This cumulative dissertation approaches the goal of interpreting visual scenes “in the wild” with respect to actions implied by the scene. We call this approach action-oriented scene understanding. It involves identifying and judging opportunities for interaction with constituents of the scene (e.g. objects and their parts) as well as understanding object functions and how interactions will impact the future. All of these aspects are addressed on three levels of abstraction: elements, perception and reasoning. On the elementary level, we investigate semantic and functional grouping of objects by analyzing annotated natural image scenes. We compare object label-based and visual context definitions with respect to their suitability for generating meaningful object class representations. Our findings suggest that representations generated from visual context are on-par in terms of semantic quality with those generated from large quantities of text. The perceptive level concerns action identification. We propose a system to identify possible interactions for robots and humans with the environment (affordances) on a pixel level using state-of-the-art machine learning methods. Pixel-wise part annotations of images are transformed into 12 affordance maps. Using these maps, a convolutional neural network is trained to densely predict affordance maps from unknown RGB images. In contrast to previous work, this approach operates exclusively on RGB images during both, training and testing, and yet achieves state-of-the-art performance. At the reasoning level, we extend the question from asking what actions are possible to what actions are plausible. For this, we gathered a dataset of household images associated with human ratings of the likelihoods of eight different actions. Based on the judgement provided by the human raters, we train convolutional neural networks to generate plausibility scores from unseen images. Furthermore, having considered only static scenes previously in this thesis, we propose a system that takes video input and predicts plausible future actions. Since this requires careful identification of relevant features in the video sequence, we analyze this particular aspect in detail using a synthetic dataset for several state-of-the-art video models. We identify feature learning as a major obstacle for anticipation in natural video data. The presented projects analyze the role of action in scene understanding from various angles and in multiple settings while highlighting the advantages of assuming an action-oriented perspective. We conclude that action-oriented scene understanding can augment classic computer vision in many real-life applications, in particular robotics

Effekt von Dehnen oder Wechselbad auf die Intensität von Muskelkater : Zwei physiotherapeutische Behandlungsansätze im Überblick

Einleitung: Das Ziel dieser Bachelorarbeit ist, herauszufinden, ob die Interventionen Dehnen und Wechselbad die Intensität von Muskelkater in Bezug auf Schmerzen reduzieren können, wenn sie sofort nach exzentrischem Training angewendet werden. Methode: Anhand einer Literaturrecherche wurde in den Datenbanken CINAHL Complete, Cochrane Library, Medline via OvidSP, Pubmed und PEDro passende Studien gesucht. 16 Studien wurden auf spezifische Ein- und Ausschlusskriterien geprüft, wovon sechs als Hauptstudien festgelegt wurden. Diese wurden anhand der Bewertungsformulare von Law, Stewart, Pollock, Letts, Bosch und Westmorland (1998) sowie der PEDro-Skala von Hegenscheidt, Harth und Scherfer (2010) kritisch bewertet. Anschliessend wurden die Resultate einander gegenübergestellt und die Fragestellung beantwortet. Ergebnisse: Bezüglich der Intervention statisches Dehnen kann die Aussage getroffen werden, dass sie keinen Effekt auf Muskelschmerzen hat, weder lindernd noch verstärkend. Bei den Studien zum Thema Wechselbad konnte nur in einer Studie eine signifikante Linderung des Muskelschmerzes nach exzentrischem Training festgestellt werden. Diskussion: Nach Bearbeitung der Studien kommen die Autorinnen zum Schluss, dass die Beweislage für einen positiven Effekt von Dehnen und Wechselbad auf muskelkaterbedingten Schmerz sehr dünn ist. Im Bereich Wechselbad kann keine klare Aussage getroffen werden, da die Güte der beurteilten Studien unzureichend ist. Aufgrund der Evidenz muss die Intervention Dehnen hingegen als schmerzlindernde Massnahme bei Muskelkater verworfen werden

Der Einfluss einer zervikalen zirkulären Kompression auf die kortikale Hirndurchblutung und den venösen Abfluss

In vielen Berufen ist ein gewisser Dresscode üblich, der auch das Tragen einer Krawatte der Mitarbeiter beinhaltet. Den Auswirkungen einer tolerablen zirkulären Kompression, welche beispielsweise beim Tragen einer Krawatte oder beim Tragen bestimmter Kleidung entsteht, wurde bisher nur wenig Beachtung geschenkt. Dennoch geht aus der Literatur hervor, dass durch das Tragen einer Krawatte der intraokuläre Druck steigt. So wird diskutiert, dass eine Kompression im Bereich der Jugularvenen einen Anstieg des Drucks in den episkleralen Ve-nen bedinge und folglich der Augeninnendruck steige. Übertragen auf die intrakranielle Situa-tion ist zu erwähnen, dass der zerebrale Blutfluss im inversen Zusammenhang mit dem intra-kraniellen Druck steht, welcher wiederum durch eine venöse Abflussstörung steigen könnte. Damit wäre bei einer Drucksteigerung eine Senkung des zerebralen Blutflusses zu erwarten. In dieser Studie wurden 30 gesunde männliche Probanden mit einem Durchschnittsalter von 24,6 (± 2,9) Jahren eingeschlossen und in eine Krawatten- und eine Kontrollgruppe eingeteilt. Der zerebrale Blutfluss (CBF) wurde mittels Arterial Spin Labeling, einer Möglichkeit der non-invasiven kontrastmittelfreien Perfusionsmessung im MRT mittels magnetischer Markie-rung des Blutes, gemessen. Beide Gruppen erhielten einen Baseline-Scan, welcher 15 Minuten andauerte. Während dieser Zeit wurden die anatomischen Bilder (T1 und T2) angefertigt und die Ausgangsmessungen des CBF, des Venenflusses (ml/s) und der Flussgeschwindigkeit (cm/s) durchgeführt. Daraufhin folgte der Krawatten-Scan der Testgruppe bzw. der zweite Scan der Kontrollgruppe. Den Probanden der Krawattengruppe wurde für 15 Minuten eine herkömmliche Krawatte umgebunden, ohne dabei die liegende Position zu ändern, während die Kontrollgruppe eine Messung ohne Krawatte erhielt. Im Anschluss wurde der Danach-Scan bzw. der dritte Scan der Kontrollgruppe durchgeführt, wobei der Krawattengruppe die Krawatte wieder abgenommen wurde. Nach Anlegen der Krawatte in der Krawattengruppe reduzierte sich der durchschnittliche CBF um 7,5 % (± 5,8 %, von 1,3 % bis 19,8 %, p < 0,001) und nach Abnahme der Krawatte um weitere 5,5 % (± 2,8 %, von 0,9 % bis 12,4 %, p < 0,001). Es zeigten dabei alle 15 Probanden der Krawattengruppe einen gleichen Verlauf im Sinne einer Reduktion des CBF nach Anlage und nach Abnahme der Krawatte (p < 0,01). Die CBF-Werte der Kontrollgruppe zeigten demgegenüber keine signifikanten Änderungen im Verlauf der Untersuchungen. Das Flussprofil der Jugularvenen ergab keine Änderung des venösen Flusses (ml/s) sowohl in der Krawattengruppe als auch in der Kontrollgruppe, wobei die Durchschnittsgeschwindigkeit (cm/s) des Blutes in den Jugularvenen in der Krawattengruppe nach Anlage der Krawatte deutlich um 14,74 % (± 24,18 %, von -36,74 % bis 66,63 %, p = 0,047) abnahm. Diese Arbeit legt folgende neue Hinweise dar: 1. Das Tragen einer Krawatte bis zum „Punkt des minimalen Unwohlseins“ führt zu einer Reduktion des kortikal gemessenen CBF im Mittel um 7,5 % mit einem möglichen Effekt über die Tragezeit hinaus. 2. Die mutmaßliche Kompression des venösen Abflusses führt in erster Linie zu einer Reduktion des Ganzhirn-CBF ohne spezifische regionale Unterschiede zu bedingen. 3. Die standardisierte dreimalige CBF-Messung beim gleichen Individuum führt zu hohen intraindividuellen Schwankungen. 4. Die Jugularvenen zeigen keine eindeutigen Veränderungen des Venenflusses gemessen in ml/s bei der Kompression durch eine Krawatte, jedoch lassen sich signifikante Veränderung für die Durchschnittsgeschwindigkeit (in cm/s) des Blutes messen. Zusammenfassend zeigen die Ergebnisse dieser Arbeit zum ersten Mal die direkte Auswirkung der alltagsrelevanten Situation, wie sie beim Krawattetragen entsteht, auf die kortikale Hirndurchblutung. Damit wurde das theoretische Modell auf eine alltägliche Situation über-tragen, um so eine Erkenntnis über die Empfindlichkeit des venösen, zervikalen Systems zu erhalten. Auf dieser Basis sollte die weitere Erforschung insbesondere im Hinblick auf die Langzeitfolgen realisiert werden

Modeling and Recognition of Contextual Information and User Intentions for In-Car Infotainment Systems

Aktuelle Fahrzeuginformationssysteme bieten ihren Nutzern eine Vielfalt an Funktionen, wie die Auswahl eines gewünschten Radiosenders, das Abspielen einer Musikplaylist oder das Starten einer Navigation. Aktuell steht Nutzern dabei zu jeder Zeit der volle Funktionsumfang des Systems zur Verfügung. Um die wachsende Anzahl an Funktionen für den Nutzer bedienbar zu halten, müssen zukünftige Fahrzeuginformationssysteme in der Lage sein, die vom Nutzer gewünschte Funktion zu erkennen und den Nutzer dabei zu unterstützen diese Funktion schnell zu erreichen. Die vom Nutzer gewünschte Funktion kann dabei von der aktuellen Situation in der sich der Nutzer befindet abhängen, weshalb das Fahrzeuginformationssystem in der Lage sein muss die aktuelle Situation zu erkennen und sein Systemverhalten entsprechend zu adaptieren. Im ersten Teil der vorliegenden Arbeit wird gezeigt, wie Fahrzeuginformationssysteme im Rahmen eines Modell-basierten Entwicklungsprozesses und unter Zuhilfenahme von Ontologien, basierend auf einer Vielzahl an Kontextinformationen ein Situationsverständnis erhalten können. Der zweite Teil der Arbeit zeigt anschließend auf, wie Bayes’sche Netze genutzt werden können um individuelle Bedürfnisse und Gewohnheiten der Nutzer dabei zu berücksichtigen. Die vorgestellten Ansätze und Technologien werden auf die zu Beginn erhobenen Anforderungen hin evaluiert. Die implementierten Verfahren werden hinsichtlich ihrer Leistung untersucht, mit dem Ziel die Leistungsfähigkeit der Modelle zu maximieren und so für ein bestmögliches Laufzeitverhalten zu sorgen.Current in-car infotainment systems offer their users a variety of functions such as selecting a radio station, playing music from a playlist, or starting a navigation. Currently, every feature the infotainment system may offer is available for a user at any time. Future in-car infotainment systems have to be able to recognize functions the user may want to use, to scale with an increasing amount of features. This recognition depends on the current situation of the user. Hence, the in-car infotainment has to be able to detect the current situation and adapt its behavior accordingly. The first part of this thesis shows how model-based development and ontologies can be used to develop context-aware in-car infotainment systems. The second part shows how Bayesian Networks can be used to consider individual needs and habits of users. Both parts will be evaluated by analyzing them with respect to beforehand identified requirements. Presented implementations will be analyzed with respect to their performance, to increase efficiency of the models

Entwicklung eines Präventionskonzepts im Rahmen interkultureller Pädagogik

Die o.g. Dissertation hat sich zum Ziel gesetzt, auf der Grundlage ausgewählter Ansätze Interkultureller Pädagogik ein Konzept zur Prävention ethnischer Vorurteile in systematischer Form zu entwickeln. Ausgehend von der Komplexität des Phänomens des ethnischen Vorurteils ist der Versuch unternommen werden, verschiedene definitorische, empirische und theoretische Zugänge in einem mehrdimensional ausgerichteten Präventionskonzept mit Blick auf die schulische Praxis zu synthetisieren. Eine umfassende Definition des Begriffs „ethnisches Vorurteil“ erfordert eine Synthetisierung psychologischer wie soziologischer Definitionsversuche. „Ethnische Vorurteile“ lassen sich einerseits auf der Grundlage des Konzepts der Einstellung definieren, andererseits werden in ihnen immer auch gesellschaftliche Ideologien wirksam. Einschlägige empirische Untersuchungen weisen ethnische Vorurteile bei Schülerinnen und Schülern nach. Es werden Einflussfaktoren wie Alter, Bildung, Geschlecht, politische Orientierung, Kontakt zu Migrantinnen und Migranten oder familiale, schulische und mediale Sozialisationsbedingungen als bedeutsam für die Entstehung und Verfestigung von Vorurteilen benannt. Es darf nicht unberücksichtigt bleiben, dass sich ethnische Vorurteile auch bei Lehrerinnen und Lehrern nachweisen lassen, insbesondere dann, wenn ethnische Differenz als problembeladen oder nicht existent wahrgenommen wird. Die für eine Konzeptentwicklung notwendige Systematisierung von Theorien zur Erklärung ethnischer Vorurteile kann auf der Grundlage eines sozialisationstheoretisch ausgerichteten Mehrebenenmodells erfolgen. Die Unterscheidung zwischen Theorien der intrapersonellen, inter-personellen und inter-gruppalen, institutionellen wie gesellschaftlichen, europa- und weltgesellschaftlichen Ebene dient einem heuristischen Zweck und ermöglicht es, ethnische Vorurteile in ihrem komplexen Bedingungsgefüge zu analysieren. Die Untersuchung Interkultureller Pädagogik im Hinblick auf ihre Bedeutung für die Vorurteilsprävention zeigt, dass die ausgewählten Ansätze der Interkulturellen Erziehung, der Europa- und Eine-Welt-Erziehung und der Antirassistischen Erziehung für sich genommen nicht die alleinige Grundlage für ein Konzept schulischer Prävention bilden können. Unter Berücksichtigung von Qualitätsstandards einer erziehungswissenschaftlich fundierten wie praxisbezogenen Prävention ist eine Zusammenführung der benannten Ansätze erforderlich. Eine vor dem Hintergrund der bisherigen Ergebnisse systematisierte Verbindung von Ansätzen Interkultureller Pädagogik bietet die Möglichkeit, Maßnahmen zur schulischen Prävention ethnischer Vorurteile auf mehreren Ebenen aus personeller wie struktureller Perspektive abzuleiten und setzt der erziehungswissenschaftlich orientierten Präventions-forschung innovative Impulse. Mit Blick auf die enge Theorie-Praxis-Verzahnung sollten bei der Konzeptentwicklungen immer auch die spezifischen Bedingungen der jeweiligen Schule und der am Schulleben beteiligten Personen Berücksichtigung finden. Die Umsetzung dieses Präventionskonzepts erfordert ein Kompetenzprofil, das neben der personellen auch die strukturelle interkulturelle Kompetenz einbezieht

Charting New Territories: Exploring the Geographic and Geospatial Capabilities of Multimodal LLMs

Multimodal large language models (MLLMs) have shown remarkable capabilities across a broad range of tasks but their knowledge and abilities in the geographic and geospatial domains are yet to be explored, despite potential wide-ranging benefits to navigation, environmental research, urban development, and disaster response. We conduct a series of experiments exploring various vision capabilities of MLLMs within these domains, particularly focusing on the frontier model GPT-4V, and benchmark its performance against open-source counterparts. Our methodology involves challenging these models with a small-scale geographic benchmark consisting of a suite of visual tasks, testing their abilities across a spectrum of complexity. The analysis uncovers not only where such models excel, including instances where they outperform humans, but also where they falter, providing a balanced view of their capabilities in the geographic domain. To enable the comparison and evaluation of future models, our benchmark will be publicly released.Comment: V3: Fixed typo in Fig.1; V2: Minor formatting changes and added missing subfigure caption