Building Monitoring through Multimodal Remote Sensing Data and Deep Learning

Luft- und weltraumgestützte Fernerkundungssensoren ermöglichen eine schnelle, großflächige Kartierung der Erde. Mit den Fortschritten bei den Sensortechnologien und den photogrammetrischen Auswertetechniken sind Stereobilddaten und Digitale Oberflächenmodelle (DOM) zunehmend zugänglich geworden. Gebäude als wichtige Bestandteile von städtischen Gebieten stehen im Mittelpunkt vieler Fernerkundungsanalysen, wobei Analysen zur Gebäudeextraktion und Erkennung von Veränderungen eine komplexe Thematik sind. In jüngster Zeit hat das Deep Learning die Analyse von Geo- und Fernerkundungsdaten revolutioniert. Die Fortschritte bei der Rechenleistung und die zunehmende Menge an Trainingsdaten ermöglichen eine Datenanalyse mit einer Genauigkeit und in einem Umfang, die zuvor unvorstellbar waren. Dennoch sind viele moderne Deep-Learning-Modelle, die vor allem für Aufgaben im Bereich der Computer Vision entwickelt wurden, nur unzureichend auf Fernerkundungsaufgaben zugeschnitten und erprobt, insbesondere bei multimodalen Fernerkundungsdaten. Um die Anwendbarkeit von Deep-Learning-Methoden für die Gebäudeüberwachung in realen Szenarien zu untersuchen, werden in dieser Dissertation Deep-Learning-Methoden zur Gebäudeextraktion und Schadensklassifizierung weiterentwickelt und eingesetzt, um Katastropheneinsätze zu unterstützen und eine Lagebeurteilung zu ermöglichen. Drei wesentliche Herausforderungen, die die Leistung der Deep-Learning-Methoden behindern, werden identifiziert und analysiert: Domänenlücke, Datenqualität und Datenannotation. Aufgrund des hohen Zeitaufwands und des erforderlichen Fachwissens ist die Menge der annotierten Fernerkundungsdaten relativ gering. Dieses Problem ist bei multitemporalen Daten noch ausgeprägter und beeinträchtigt die Verallgemeinerbarkeit von End-to-End Modellen. Bei komplexen Aufgaben sind die Anmerkungen oft ungenau oder nicht ausreichend auf die Anforderungen zugeschnitten, was sich nicht nur negativ auf das Training und die Tests auswirkt, sondern auch zu Mehrdeutigkeit bei der Interpretation der Ergebnisse führt. Die Domänenlücke, die sich aus den Unterschieden zwischen Trainings- und Testdaten ergibt, ist ein erhebliches Hindernis für Deep Learning-Modelle in der Fernerkundung. Diese Diskrepanz ergibt sich aus der Variabilität von Gebäudemerkmalen und Stadtstrukturen sowie aus Unterschieden bei Sensortypen und -plattformen und kann die Modellleistung erheblich beeinträchtigen. Die Datenqualität, die durch die Bedingungen der Datenerfassung und die Einschränkungen bei der Vorverarbeitung beeinflusst wird, stellt eine zusätzliche Herausforderung dar, da eine unzureichende Qualität sowohl die Effizienz des Modells als auch die Verwendbarkeit der Ergebnisse beeinträchtigen kann. Schließlich schränkt der Mangel an Annotationen, insbesondere bei multitemporalen Daten, die Verallgemeinbarkeit von Modellen für komplexere reale Anwendungen ein. Komplexe Aufgaben erfordern oft genaue, spezialisierte Annotationen, und deren Fehlen kann zu Mehrdeutigkeit bei Modellergebnissen und Interpretationen führen. Diese Dissertation nutzt die Synergie zwischen Spektralbilddaten und Stereo-DOM-Daten und geht diese Herausforderungen in drei zentralen Beiträgen an: Self-Training Framework for Building Extraction: Es wird ein neuartiges Framework vorgestellt, das Pseudo-Label aus Spektralbilddaten mit Hilfe von Höhendaten und Belief-Functions verfeinert und so die multimodale Fusion effektiv verbessert. Diese Methode wurde anhand von Benchmark-Daten trainiert und sowohl mit Luft- als auch mit Satellitendaten getestet. Sie zeigt eine starke Verallgemeinbarkeit über alle Modalitäten hinweg und mildert die Auswirkungen von Domänenlücken ohne zusätzliche Annotationsanforderungen. Decision-Fusion-Methode zur Erkennung von Gebäudeveränderungen: Durch die Kombination von Bildmerkmalen, Höhendaten und Deep-Learning-Vorhersagen verbessert dieser Ansatz die Robustheit in cross-domain Tests und übertrifft hier sogar normale Deep-Learning-Methoden zur Erkennung von End-to-End-Veränderungen. Darüber hinaus wird ein neuartiges Co-Learning-Paradigma, das mit realen und synthetischen multimodalen Daten für die Erkennung von Gebäudeveränderungen getestet wurde, vorgeschlagen, um die komplementäre Information zwischen Bild- und DSM-Daten zu nutzen und gleichzeitig flexible Anforderungen an die Dateneingabe zu erfüllen, wenn eine Datenmodalität fehlt. Simulated Multimodal Aerial Remote Sensing (SMARS) Dataset: Um den Mangel an annotierten multimodalen Fernerkundungsdatensätzen zu beheben, bietet SMARS spektrale Stereobilder, die mit Hilfe von Game Engines und DSM mittels Photogrammetrie erzeugt wurden. SMARS wurde zusammen mit echten multimodalen Daten validiert und kann für die Extraktion von Gebäuden sowie die Segmentierung und die Erkennung von Veränderungen verwendet werden. SMARS bietet eine kosteneffiziente, präzise ground truth für Benchmarking-Aufgaben, bei denen solche Daten nicht ohne weiteres verfügbar sind, und die Generierungspipeline von SMARS kann zur Verbesserung der Verfügbarkeit von Trainingsdaten verwendet werden

Szenarien des Technology-Enhanced Learning in der akademischen Bildung - Eine Untersuchung von Open Educational Resources und einem digitalen Studienassistenzsystem

Diese Dissertation untersucht die Nutzung digitaler Studienassistenten und die Etablierung von Open Educational Resources (OER) an Hochschulen im Kontext von Technology-Enhanced Learning (TEL). Ziel ist es, die Effizienz und Effektivität dieser Technologien zu steigern, um die Hochschulbildung flexibler und nachhaltiger zu gestalten. Die Arbeit analysiert zwei zentrale Szenarien: (1) Faktoren, die die tatsächliche Nutzung digitaler Studienassistenten fördern, und (2) Einflussfaktoren, die eine nachhaltige Implementierung von OER begünstigen. Durch diese Betrachtungen soll ein wesentlicher Beitrag zum Abbau bestehender Defizite in der Digitalisierung der Hochschulbildung geleistet werden

Studienankündigung: TecNaP-RCT – Durchführung einer quasi Cluster-randomisierten, kontrollierten Interventionsstudie zur Evaluation der App-basierten Nachbetreuung mit der MiA-App

Poster über die Studienankündigung zu TecNaP-RC

The Geopolitics of Svalbard

This working paper analyzes the geopolitics of Svalbard, an archipelago of 400 islands and skerries with an area of 61,022 km² and a population of 2,993 in the Arctic Circle. It is dominated by military and security policy issues and the territory's special status under the Svalbard Treaty. The official name of the territory is Svalbard (cool coast), but for the region, the name of the main island, Spitsbergen, is also used. Overall, the Svalbard Treaty was successful and supported the peaceful coexistence of the inhabitants. The development of international law over the past 100 years, particularly the United Nations Convention on the Law of the Sea (UNCLOS III) with the establishment of 200-mile zones as Exclusive Economic Zones and claims to continental shelves resulted in different interpretations of the Svalbard Treaty. However, the treaty itself is also a source of discussions, particularly when it comes to fishing and military use. For Norway and NATO, the presence of the Russians and the Chinese represents a special situation, while for the Russians, Svalbard lies directly in the passage of the Northern Fleet into the Atlantic. Russia was the first country to use the provisions of the Svalbard Treaty to establish its presence, which still exists today. China has a presence in Ny-Ålesund with the Yellow River Research Station since 2004 and is expanding its Arctic activities. From a security perspective, the SvalSat ground station for satellites and the deep-sea cables are important. Due to the increasing tensions in international relations, the stability of the region is now a subject of geopolitical discourse

osnaEditions – eine Publikationsumgebung für wissenschaftliche digitale Editionen

Das Poster beschreibt die Idee einer modularen, webbasierten Publikationsumgebung für wissenschaftliche digitale Editionen und skizziert den zugrunde liegenden Workflow: von der Datenmodellierung über die automatisierte Texterkennung, das Edieren nach TEI/xml bis hin zur Präsentation der Editionsarbeit im Netz mithilfe des TEI-Publishers

Privacy Aware Information Systems Engineering: Konzeption und Implementierung datensensibler KI-Systeme

Mit dem zunehmenden Einsatz Künstlicher Intelligenz (KI) in Wirtschaft und Gesellschaft rücken nicht nur ihre Potenziale, sondern auch ihre Risiken verstärkt in den Fokus. Insbesondere der verantwortungsvolle Umgang mit sensiblen Daten stellt eine zentrale Herausforderung bei der Gestaltung und Implementierung von KI-Systemen dar. Die Disziplin des Privacy Aware Machine Learning (PAML) bietet hierzu vielversprechende Ansätze, um datengetriebene Lernprozesse zu ermöglichen, ohne sensible Informationen zu kompromittieren. Trotz zahlreicher technischer Verfahren – von Anonymisierung über kryptographische Methoden bis hin zu architektonischen Lösungen wie Federated Learning – findet PAML bislang nur begrenzt Anwendung in der unternehmerischen Praxis. Gründe hierfür liegen in fehlendem domänenspezifischem Wissen, geringer Systemintegration sowie einem unzureichenden Transfer von Forschungsergebnissen in soziotechnische Kontexte. Die vorliegende Dissertation adressiert diese Lücke, indem sie PAML als integralen Bestandteil des Konstruktionsprozesses von KI-Systemen konzeptioniert. Ziel ist es, eine vollumfänglichere Betrachtung von PAML über die technische Dimension hinaus zu schaffen. Dazu werden bestehende Hindernisse identifiziert, praxisnahe Lösungsansätze entwickelt und exemplarisch in konkreten Systemarchitekturen implementiert. Die Arbeit leistet damit einen Beitrag zum verantwortungsbewussten Umgang mit sensiblen Daten in derEntwicklung von KI-Systemen und stärkt das Verständnis von PAML für die Wirtschaftsinformatik

Diversity-Sensitive Learning Systems Engineering: Ein gestaltungsorientierter Ansatz zur Konzeption und Implementierung diversitätssensibler Lernplattformen

Digitale Bildung steht zunehmend in der Verantwortung, Lernumgebungen für alle Menschen zugänglich und gerecht zu gestalten. Die Dissertation untersucht, wie digitale Lernplattformen diversitätssensibel gestaltet werden können, um psychologische Barrieren, die aus stereotypen Lerninhalten resultieren, systematisch abzubauen. Auf Basis gestaltungsorientierter Forschung und unter Einbeziehung interdisziplinärer Ansätze aus der Wirtschaftsinformatik und Sozialpsychologie, insbesondere der Theorie der Stereotypenbedrohung und des psychologisch inklusiven Designs, werden zunächst umfassende Anforderungen an diversitätssensible Lernplattformen erhoben. Anschließend erfolgt die Entwicklung und Implementierung konkreter IT-Artefakte, etwa eines gendersensiblen Chatbots und automatisierter Analysetools, die gezielt geschlechts- und ethnisch bedingte Barrieren adressieren. Zudem wird die Übertragbarkeit der entwickelten Lösungen auf andere Anwendungsdomänen, wie die Unternehmenskommunikation, empirisch untersucht. Die Ergebnisse zeigen, dass eine diversitätssensible Gestaltung digitaler Lernumgebungen nicht nur zur Förderung von Bildungsgerechtigkeit beiträgt, sondern auch ökonomische Vorteile durch gesteigerte Nutzer:innenbindung und eine breitere Talentakquise ermöglicht. Damit leistet die Arbeit einen wesentlichen Beitrag zur Erweiterung der theoretischen Wissensbasis der Wirtschaftsinformatik und bietet praxisrelevante Leitlinien für die Entwicklung inklusiver IT-Systeme

On the Transfer of Vibrotactile Wearables from Science to Application

Vibrotactile interfaces have been scientifically investigated and evaluated for more than a century. There is abundant evidence for multimodal integration and that tactile cues can deliver complementary information in a variety of contexts. Thus, tactile cues can relieve the strain on audition and vision in situations with high attentional load and broaden the bottleneck of attention. Further, in some contexts, tactile cues are processed intuitively and effortlessly. It has been shown that tactile information can support, supplement, and even substitute information processed by other modalities. The current strong trend towards wearable technology is opportune for vibrotactile applications. Despite the large body of research, many questions are still not resolved and comparatively few tactile appliances have found their way to commercialized everyday application so far. Yet, given the myriad possible application contexts, establishing tactile devices in everyday application seems adequate. Together with recent developments in the miniaturization of electronics and trends in wearable technology, the transfer of tactile devices to commercialization is a reasonable and possible undertaking. In this thesis, I document our pioneering work regarding the transfer of wearable vibrotactile hardware devices from science to practice. For this, I take three different transfer projects as case studies: the feelSpace naviGürtel®, a tactile orientation and navigation device for the blind; nextStep, a tactile cueing device for people suffering from Parkinson’s disease; and further, a yet unnamed approach to vibrotactile enhancement for trimodal digital learning. Case study 1: We transferred the feelSpace naviGürtel® after previous studies revealed the potential of a tactile belt as an intuitive, hands-free navigation and orientation device for people with visual impairment. For those with little or no residual vision, orienting and navigating is often challenging and stressful. Building on 10 years of research, we applied for and received an eXIST grant to conceptualize a commercial tactile navigation belt and research the market environment. In the process, we founded feelSpace GmbH. We applied for and received several other grants to investigate the needs of the users and to further develop hardware and software. In 2018, our feelSpace naviGürtel® reached the market: A belt with 16 vibromotors which can give directional information, either in a stand-alone manner as a tactile compass, or, in combination with a smartphone app, as a tactile navigation device. The naviGürtel® was well received by users. In 2020, we conducted a study with 11 blind participants to evaluate the everyday use of the device. We found a significant beneficial impact on emotional states of the users during navigation tasks. The transfer process of the naviGürtel®, from conceptualization to implementation and later evaluation, is documented in this thesis. Case study 2: In 2019, building on our experience with the transfer of tactile hardware, we joined the effort to transfer tactile cueing for patients suffering from Parkinson’s disease (PD). These patients often experience gait irregularities; in later stages of the disease, 60% suffer from freezing of gait (FOG), a sudden freezing of the movement when stepping. The sudden inability to move often leads to a fall. Research has shown that tactile cues can help to overcome the freeze of gait and help to initiate the next step. To gain experience with tactile cueing in this context, we conducted two studies. In the first study, set in a laboratory environment, we interviewed patients and gained first-hand insight into the effect of tactile cueing in a parkour task that was designed to elicit freezing of gait. In a second study, set up as a field study, we gave tactile belts as cueing aids to 8 participants and observed their use of the device for a period of 2 to 4 weeks, using interviews, questionnaires and behavioral measures. The two studies are documented in this thesis; building on the results, we further distilled a first blueprint for the transfer of a tactile cueing device, the NextStep. Case study 3: In a third application context, we investigated the concept of trimodal learning with tactile cueing. Given the rapid evolution of digital learning methods and their potential for individualized, multimodal learning approaches, we investigated in two studies whether tactile cues are beneficial in category learning, evaluating a transfer as a tactile learning aid. We taught participants a mapping with four tactile actuators (wrist, shoulder, belly button and center of the back) to four colors (red, green, blue and yellow). In the first study with 10 participants, we investigated whether tactile support would improve performance in a Stroop task with colors; we found that tactile signals had a significantly positive impact on reaction time and were processed in parallel to visual signals. In a second study with 14 participants, we investigated whether participants were supported by tactile signals when memorizing the font color of a fantasy word. While the tactile signals neither supported nor impaired response accuracy, we found evidence that the tactile information was processed in parallel to visual information during the memorization process. The two studies, documented in this thesis, are first steps to investigate and understand the opportunities of tactile signals in digital learning environments. Building on the scientific results and the practical experience, I discuss general phases and challenges we encountered during these transfers, shedding light on the “gap” between science and the market environment for vibrotactile wearables. I put our work in perspective and lay out a possible future of vibrotactile applications within the greater scope of personalized digital assistance. In summary, we find that there is a need for vibrotactile interfaces. At any point in time, there is more information available than the human brain can process. Processing a multitude of information in parallel, choosing the bits of information that are most relevant for an optimal interaction with the environment, and providing modern medical care through the use of digital technology are interesting contexts for tactile applications. We currently continue our transfer efforts with further tactile aiding devices, such as a tactile grasping aid for blind users. This work enhances the understanding of tactile sensory processing both in laboratory settings and in real-world applications, demonstrating the significant potential of vibrotactile cueing, particularly in the medical field

A Situational Judgement Test to Measure Critical versus Dialectical Thinking: Examining the Roles of Culture and Gender

The present study examined two types of higher-order thinking: critical and dialectical thinking. It developed a Situational Judgement Test and further investigated the impact of culture and gender on these two types of thinking. Critical thinking aligns with concentrating on the problem, identifying its direct causes, and assuming long-term stability. In contrast, dialectical thinking considers the whole context of a problem, including direct and indirect causes; it believes that stability is temporary and aims to achieve a balance between opposites (Spencer-Rodgers et al., 2018). Previous literature suggests that individualistic cultures prefer critical thinking while collectivistic cultures prefer a dialectical thinking style (Nisbett, 2003). The current study, through a review of previous literature, analyzes this topic from different perspectives and indicates that there is a further need to explore the role of culture and gender on critical versus dialectical thinking among students of higher educational institutes. More importantly, it iterates the need to develop a single test that can measure critical and dialectical thinking objectively and simultaneously. Thus, the current study makes an important contribution to the previous literature by developing a Situational Judgement Test that measures critical vs. dialectical thinking objectively and simultaneously, allowing us to investigate the role of culture and gender. Most importantly, it will adhere to the standard of open science and is not developed for commercial purposes. This test follows a multiple-choice format that includes 27 items. These scenarios measure six skills (evaluation, self-regulation, inference, explanation, interpretation, and analytical skills) that are defined by Facione (1990). The first five items of this test measure only critical thinking using mathematical problems or scenarios, and the remaining 22 items measure critical vs. dialectical thinking through commonly experienced situations. Participants were asked to assess a scenario and select one out of three choices, depicting either the critical, dialectical, or distractor nature of the response options. Data was collected from university students from one individualistic (Germany) and one collectivistic culture (Pakistan) first for a pilot study (N = 120) and subsequently for the final study (N = 232). The pilot study (German students, N = 58, Pakistani students, N = 62) was conducted before the final study (German students, N = 123, Pakistani students, N = 109) to assess the validity of the new test and to indicate shortcomings that were addressed before the final study. The current study examines the factor structure and content validity of the newly constructed Situational Judgement Test using latent class analysis. The findings from this latent class analysis suggest that a 2-class model is the best fit, with a high probability for critical and dialectical and a low probability for distractors. Convergent validity was also examined, assessing how well the newly constructed test corresponded with previously standardized scales. Results show that the Situational Judgement Test demonstrates good convergent validity with the Analysis Holism Scale (Martín-Fernández et al., 2022) and the Holistic Cognitive Scale (Lux et al., 2021) across cultures. Additionally, with the Triad Task (Li & Hu, 2022), the test demonstrates good convergent validity within each culture. The current study analyzed the impact of culture and gender on three response categories (critical, dialectical, and distractor). According to the current study's findings, German participants scored higher on both higher-order thinking skills (critical and dialectical) than Pakistani students. Moreover, the current study found that participants in both cultures preferred dialectical thinking over critical thinking. A general comparison by gender shows that males achieved higher scores on critical thinking and females on dialectical thinking. However, cross-cultural comparisons of gender suggest that the gender difference was significant in German culture but not significant in Pakistani culture. In addition, the current study found that on the first five items, which were more related to minor mathematical or probability calculations, participants from both cultures showed lower performance compared to the other 22 items, which were related to critical and dialectical thinking in daily life situations. The current study results show that regardless of culture, individuals of both cultures have a general ability to think in both directions; in other words, they are meta-thinkers, and these results align with recent literature that stresses the fact that critical and dialectical are two domains of higher-order, or meta-thinking. It stresses that dialectical thinking is not the exclusion of critical thinking but the combination of scientific thinking with moral and social factors, allowing for a more holistic analysis of a situation

Assessing Answer Accuracy, Hallucination, and Document Relevance in a RAG-Based Chatbot at Osnabrück University

This study evaluates a retrieval-augmented generation chatbot tailored for Osnabrück University, focusing on answer accuracy, hallucination, and the relevance of retrieved documents. Through human and automated evaluations conducted bilingually (German and English), it examines the chatbot's ability to deliver coherent, accurate, and contextually grounded responses to real user inquiries. Results highlight the chatbot's strengths in linguistic fluency and low hallucination rates but indicate variability in accuracy and context relevance. The study underscores the importance of hybrid evaluation methods combining automated metrics and targeted human assessments, offering insights into future refinement of domain-specific chatbots