Image analysis for diagnostic support in biomedicine: neuromuscular diseases and pigmented lesions

Tesis descargada desde TESEOEsta tesis presenta dos sistemas implementados mediante técnicas de procesamiento de imagen, para ayuda al diagnóstico de enfermedades neuromusculares a partir de imágenes de microscopía de fluorescencia y análisis de lesiones pigmentadas a partir de imágenes dermoscópicas. El diagnóstico de enfermedades neuromusculares se basa en la evaluación visual de las biopsias musculares por parte del patólogo especialista, lo que conlleva una carga subjetiva. El primer sistema propuesto en esta tesis analiza objetivamente las biopsias musculares y las clasifica en distrofias, atrofias neurógenas o control (sin enfermedad) a través de imágenes de microscopía de fluorescencia. Su implementación reúne los elementos propios de un sistema de ayuda al diagnóstico asistido por ordenador: segmentación, extracción de características, selección de características y clasificación. El procedimiento comienza con una segmentación precisa de las fibras musculares usando morfología matemática y una transformada Watershed. A continuación, se lleva a cabo un paso de extracción de características, en el cual reside la principal contribución del sistema, ya que no solo se extraen aquellas que los patólogos tienen en cuenta para diagnosticar sino características que se escapan de la visión humana. Estas nuevas características se extraen suponiendo que la estructura de la biopsia se comporta como un grafo, en el que los nodos se corresponden con las fibras musculares, y dos nodos están conectados si dos fibras son adyacentes. Para estudiar la efectividad que estos dos conjuntos presentan en la categorización de las biopsias, se realiza una selección de características y una clasi- ficación empleando una red neuronal Fuzzy ARTMAP. El procedimiento concluye con una estimación de la severidad de las biopsias con patrón distrófico. Esta caracterización se realiza mediante un análisis de componentes principales. Para la validación del sistema se ha empleado una base de datos compuesta por 91 imágenes de biopsias musculares, de las cuales 71 se consideran imágenes de entrenamiento y 20 imágenes de prueba. Se consigue una elevada tasa de aciertos de clasificacion y se llega a la importante conclusión de que las nuevas características estructurales que no pueden ser detectadas por inspección visual mejoran la identificación de biopsias afectadas por atrofia neurógena. La segunda parte de la tesis presenta un sistema de clasificación de lesiones pigmentadas. Primero se propone un algoritmo de segmentación de imágenes en color para ais lar la lesión de la piel circundante. Su desarrollo se centra en conseguir un algoritmo relacionado con las diferencias color percibidas por el ojo humano. Consiguiendo así, no solo un método de segmentación de lesiones pigmentadas sino un algoritmo de segmentación de propósito general. El método de segmentación propuesto se basa en un gradiente para imágenes en color integrado en una técnica de level set para detección de bordes. La elección del gradiente se derivada a partir de un análisis de tres gradientes de color implementados en el espacio de color uniforme CIE L∗a∗b∗ y basados en las ecuaciones de diferencia de color desarrolladas por la comisión internacional de iluminación (CIELAB, CIE94 y CIEDE2000). El principal objetivo de este análisis es estudiar cómo estas ecuaciones afectan en la estimación de los gradientes en términos de correlación con la percepción visual del color. Una técnica de level-set se aplica sobre estos gradientes consiguiendo así un detector de borde que permite evaluar el rendimiento de dichos gradientes. La validación se lleva a cabo sobre una base de datos compuesta por imágenes sintéticas diseñada para tal fin. Se realizaron tanto medidas cuantitativas como cualitativas. Finalmente, se concluye que el detector de bordes basado en la ecuación de diferencias de color CIE94 presenta la mayor correlación con la percepción visual del color. A partir de entonces, la tesis intenta emular el método de análisis de patrones, la técnica de diagnóstico de lesiones pigmentadas de la piel más empleada por los dermatólogos. Este método trata de identificar patrones específicos, pudiendo ser tanto globales como locales. En esta tesis se presenta una amplia revisión de los métodos algorítmicos, publicados en la literatura, que detectan automáticamente dichos patrones a partir de imágenes dermoscópicas de lesiones pigmentadas. Tras esta revisón se advierte que numerosos trabajos se centran en la detección de patrones locales, pero solo unos pocos abordan la detección de patrones globales. El siguiente paso de esta tesis, por tanto, es la propuesta de diferentes métodos de clasi- ficación de patrones globales. El objetivo es identificar tres patrones: reticular, globular y empedrado (considerado un solo patrón) y homogéneo. Los métodos propuestos se basan en un análisis de textura mediante técnicas de modelado. En primer lugar una imagen demoscópica se modela mediante campos aleatorios de Markov, los parámetros estimados de este modelo se consideran características. A su vez, se supone que la distribución de estas características a lo largo de la lesión sigue diferentes modelos: un modelo gaussiano, un modelo de mezcla de gaussianas o un modelo de bolsa de características. La clasificación se lleva a cabo mediante una recuperación de imágenes basada en diferentes métricas de distancia. Para validar los métodos se emplea un conjunto significativo de imágenes dermatológicas, concluyendo que el modelo basado en mezcla de gaussianas proporciona la mejor tasa de clasificación. Además, se incluye una evaluación adicional en la que se clasifican melanomas con patrón multicomponente obteniendo resultados prometedores. Finalmente, se presenta una discusión sobre los hallazgos y conclusiones más relevantes extraídas de esta tesis, así como las líneas futuras que se derivan de este trabajo.Premio Extraordinario de Doctorado U

Colour and Colorimetry Multidisciplinary Contributions Vol. XIb

It is well known that the subject of colour has an impact on a range of disciplines. Colour has been studied in depth for many centuries, and as well as contributing to theoretical and scientific knowledge, there have been significant developments in applied colour research, which has many implications for the wider socio-economic community. At the 7th Convention of Colorimetry in Parma, on the 1st October 2004, as an evolution of the previous SIOF Group of Colorimetry and Reflectoscopy founded in 1995, the "Gruppo del Colore" was established. The objective was to encourage multi and interdisciplinary collaboration and networking between people in Italy that addresses problems and issues on colour and illumination from a professional, cultural and scientific point of view. On the 16th of September 2011 in Rome, in occasion of the VII Color Conference, the members assembly decided to vote for the autonomy of the group. The autonomy of the Association has been achieved in early 2012. These are the proceedings of the English sessions of the XI Conferenza del Colore

The role of multisensory feedback in the objective and subjective evaluations of fidelity in virtual reality environments.

The use of virtual reality in academic and industrial research has been rapidly expanding in recent years therefore evaluations of the quality and effectiveness of virtual environments are required. The assessment process is usually done through user evaluation that is being measured whilst the user engages with the system. The limitations of this method in terms of its variability and user bias of pre and post-experience have been recognised in the research literature. Therefore, there is a need to design more objective measures of system effectiveness that could complement subjective measures and provide a conceptual framework for the fidelity assessment in VR. There are many technological and perceptual factors that can influence the overall experience in virtual environments. The focus of this thesis was to investigate how multisensory feedback, provided during VR exposure, can modulate a user’s qualitative and quantitative experience in the virtual environment. In a series of experimental studies, the role of visual, audio, haptic and motion cues on objective and subjective evaluations of fidelity in VR was investigated. In all studies, objective measures of performance were collected and compared to the subjective measures of user perception. The results showed that the explicit evaluation of environmental and perceptual factors available within VR environments modulated user experience. In particular, the results shown that a user’s postural responses can be used as a basis for the objective measure of fidelity. Additionally, the role of augmented sensory cues was investigated during a manual assembly task. By recording and analysing the objective and subjective measures it was shown that augmented multisensory feedback modulated the user’s acceptability of the virtual environment in a positive manner and increased overall task performance. Furthermore, the presence of augmented cues mitigated the negative effects of inaccurate motion tracking and simulation sickness. In the follow up study, the beneficial effects of virtual training with augmented sensory cues were observed in the transfer of learning when the same task was performed in a real environment. Similarly, when the effects of 6 degrees of freedom motion cuing on user experience were investigated in a high fidelity flight simulator, the consistent findings between objective and subjective data were recorded. By measuring the pilot’s accuracy to follow the desired path during a slalom manoeuvre while perceived task demand was increased, it was shown that motion cuing is related to effective task performance and modulates the levels of workload, sickness and presence. The overall findings revealed that multisensory feedback plays an important role in the overall perception and fidelity evaluations of VR systems and as such user experience needs to be included when investigating the effectiveness of sensory feedback signals. Throughout this thesis it was consistently shown that subjective measures of user perception in VR are directly comparable to the objective measures of performance and therefore both should be used in order to obtain a robust results when investigating the effectiveness of VR systems. This conceptual framework can provide an effective method to study human perception, which can in turn provide a deeper understanding of the environmental and cognitive factors that can influence the overall user experience, in terms of fidelity requirements, in virtual reality environments

Accurate Colour Reproduction of Human Face using 3D Printing Technology

The colour of the face is one of the most significant factors in appearance and perception of an individual. With the rapid development of colour 3D printing technology and 3D imaging acquisition techniques, it is possible to achieve skin colour reproduction with the application of colour management. However, due to the complicated skin structure with uneven and non-uniform surface, it is challenging to obtain accurate skin colour appearance and reproduce it faithfully using 3D colour printers. The aim of this study was to improve the colour reproduction accuracy of the human face using 3D printing technology. A workflow of 3D colour image reproduction was developed, including 3D colour image acquisition, 3D model manipulation, colour management, colour 3D printing, postprocessing and colour reproduction evaluation. Most importantly, the colour characterisation methods for the 3D imaging system and the colour 3D printer were comprehensively investigated for achieving higher accuracy

PRONOEA - Professional vision of novice and expert teachers

A (prospective) teacher needs certain competencies to meet the multitasking requirements of teaching in a classroom, especially knowledge about proactive, effective classroom management and a good eye for everything that is happening in the classroom. Only by quickly recognizing relevant cues to potentially disruptive events can a teacher deal with them adequately. Yet the teacher must be able to block out events that are irrelevant to the lesson. Competence in professional vision, which links knowledge and action in teaching, involves two sub-processes: noticing, a basal process of perception that involves identifying relevant events, and reasoning, a process that builds on noticing and can be described as the ability to use knowledge about learning and teaching to derive adequate conclusions from what is seen. Most research on (prospective) teachers' professional vision based on subjective tests (e.g., video analysis, questionnaires, or interviews) has focused on the process of reasoning, whereas few studies have addressed the basal process of noticing, i.e., recognizing potential confounding events. Process-based methods such as eye tracking are particularly suitable for the direct and continuous recording of the basal process of perception. Eye tracking enables conclusions to be drawn about the cognitive perception processes of (prospective) teachers and integrates both spatial and temporal information on the allocation of attention. The methodological book chapter forthcoming in Teacher Professional Vision: Theoretical and Methodological Advances provides more detail on how eye tracking can be used and the challenges it presents. Eye-tracking studies in other domains have shown that novices and experts differ in their gaze behavior. Preliminary educational research regarding (novice) teachers also suggests that novice and expert teachers differ in their ability to detect potential classroom disruptions. The knowledge base underlying perception is better organized in experts and thus positively influences perception. Knowledge influencing professional vision is stored in so-called schemata and can be triggered and influenced by factors such as prior knowledge. For example, professional vision may vary depending on the schema activated or depend on a given task instruction focusing on a particular aspect of the material. Therefore, it can be assumed that professional vision can be positively influenced by training and feedback interventions. Although effective programs exist to train and support (prospective) teachers in the use of professional vision, they consume considerable time and resources. The aim of the thesis was to investigate teachers’ professional vision, especially in the area of classroom management, in two ways: implementing an online experiment within the framework of the restrictions on scientific activities due to the COVID-19 pandemic and using eye tracking as a process-based measurement method in a laboratory setting. I performed the work as follows. First, I conducted a systematic literature review to assess the state of the research on (prospective) teachers' professional vision based on process-based eye-tracking studies. For this purpose, I performed a literature search for the period from 1999 to 2019, identifying a total of 12 studies were identified. These studies were aggregated and integrated and showed relatively stable differences between experts and novices for most of the parameters investigated but used very heterogeneous methods and samples. Based on this, two empirical studies were designed to shed more light on the competence of professional vision. Study I, conducted online, examined the extent to which knowledge as an objective measure of expertise affects student teachers' professional vision. I assessed both noticing (the accuracy and velocity of the perception of potential classroom disruptions) and reasoning (the depth of analysis revealed by verbalizations related to detected disruptions). The results of Study I showed that expertise tested by an economical knowledge test as a performance-based criterion affects prospective teachers’ professional vision of (potential) teaching disruptions. The more knowledge the students had, the faster and more accurately they detected potential disturbances in the video vignettes (noticing). However, being more knowledgeable about pedagogical-psychological action did not lead to a deeper analysis (reasoning) of the events. In Study II I used eye tracking as a process-based method to assess whether the differences reported in previous studies in professional vision expertise between student teachers and experienced teachers in monitoring and/or disruption-specific gaze behavior (noticing) could be replicated. Contrary to our hypotheses, I could not replicate expertise differences in eye-tracking parameters in a quasi-randomized experiment. Parameters measuring classroom monitoring gaze behavior regarding the whole classroom scene and event-based gaze behavior (especially that related to potential or actual teaching disruptions) were similar in student teachers and experienced teachers. In both Study I and Study II, I investigated how effectively an economical, independent, task-specific instructional method could replicate the results of efficient but costly and resource-intensive training or feedback interventions. I hypothesized that minimal instructional support could positively influence novices' gaze behavior and thus possibly compensate for differences in expertise in professional vision. Study I found no effect of a minimal intervention on students' professional vision, whereas Study II—which used the process-based recording method of eye tracking—showed that specific instruction led to changes in gaze behavior in both students and experienced teachers. Novice and expert teachers exhibited more fixations, suggesting more effective scanning and monitoring behavior. Overall, the results show that reinforcing the teaching of knowledge about relevant aspects of classroom management at the university is important, as it helps novice teachers take their first steps in the process of teaching and learning, which are often perceived as particularly challenging (Study I). In addition, Study II shows that further studies and research projects are needed to determine the extent to which and, especially, under which conditions differences in expertise-dependent looking behavior in the classroom can be found. Only a plausible, theoretically based research landscape in which studies produce homogeneous results will permit the development of meaningful interventions for teacher education and training in the medium term and their establishment in the university learning setting.Lehrkräfte lehren tagtäglich Unterrichtsinhalte, agieren mit Schüler:innen und bemühen sich deren Lernerfolg zu maximieren. Dies ist jedoch nur bei möglichst störungsarmem Unterricht möglich. Gerade im Hinblick auf die Multitasking-Anforderungen sind vor allem angehende, unerfahrene Lehrkräfte schnell überfordert. Deswegen benötigt eine (angehende) Lehrkraft bestimmte Kompetenzen, insbesondere Wissen über proaktive, effektive Klassenführung und ein gutes Auge für alles, was in ihrem/seinem Klassenraum von statten geht. Denn nur durch ein schnelles Erkennen relevanter Hinweisreize, wie beispielsweise potenzielle Störereignisse, kann mit diesen adäquat umgegangen werden. Gleichzeitig muss eine Lehrkraft aber auch fähig sein, für den Unterrichtsverlauf irrelevante Ereignisse ausblenden zu können. Eben diese Kompetenz der professionellen Wahrnehmung, welche als Bindeglied zwischen dem Wissen und Handeln einer Lehrkraft angesehen wird, kann in zwei Teilprozesse untergliedert werden: Noticing, als basaler Wahrnehmungsprozess, bei dem es um das Identifizieren von relevanten Ereignissen geht, und Reasoning, als darauf aufbauender Prozess, der die Fähigkeit beschreibt, Wissen über Lernen und Unterrichten zu nutzen, um aus dem Gesehenen adäquate Schlussfolgerungen abzuleiten. Bisherige Forschung zur professionellen Wahrnehmung von (angehenden) Lehrkräften, die sich auf subjektive Testverfahren wie z. B. Videoanalyse, Fragebögen oder Interviews stützen, haben sich vor allem auf den Prozess des Reasonings konzentriert, während sich nur wenige Studien mit dem basalen Prozess des Noticings, d. h. dem Erkennen potenzieller Störereignisse, befasst haben. Für die direkte und kontinuierliche Erfassung des basalen Wahrnehmungsprozesses eignen sich besonders prozessbasierte Verfahren wie das Eye-Tracking. Diese Methode ermöglicht Rückschlüsse auf kognitive Wahrnehmungsprozesse der (angehenden) Lehrkräfte und integriert sowohl räumliche als auch zeitliche Informationen der Aufmerksamkeitsallokation. Aus der auf Eye-Tracking Studien basierenden Expertiseforschung in anderen Domänen weiß man, dass sich Noviz:innen und Expert:innen in ihrem Blickverhalten unterscheiden. Erste bildungswissenschaftliche Forschungsbefunde hinsichtlich (angehender) Lehrkräfte legen ebenfalls nahe, dass sich angehende und erfahrene Lehrkräfte in ihrer Fähigkeit unterscheiden, potenzielle Unterrichtsstörungen zu detektieren. Diese Annahme ist darauf zurückzuführen, dass die der Wahrnehmung zugrunde liegende Wissensbasis bei Expert:innen besser organisiert ist und so die Wahrnehmung positiv beeinflusst. Dieses die professionelle Wahrnehmung beeinflussende Wissen ist in sogenannten Schemata gespeichert und kann durch bestimmte Faktoren wie z. B. Vorwissen getriggert und beeinflusst werden. So kann die professionelle Wahrnehmung beispielsweise je nach aktiviertem Schema variieren oder auch von einer vorgegebenen, einen bestimmten Aspekt fokussierenden, Instruktion abhängen. Des Weiteren kann davon ausgegangen werden, dass die professionelle Wahrnehmung durch Interventionen positiv beeinflusst werden kann. So gibt es bereits effektive, aber gleichzeitig zeit– und ressourcenaufwendige Trainingsprogramme zur Schulung und Unterstützung professioneller Wahrnehmung für (angehende) Lehrkräfte. Ziel der Dissertation ist es, die professionelle Wahrnehmung von Lehrkräften, insbesondere im Bereich des Classroom Managements, mit prozessbasierten Messmethoden (Eye-Tracking) zu untersuchen. Dabei wurden mehrere Ziele verfolgt: Zuerst wurde der aktuelle Forschungstand zur professionellen Wahrnehmung von (angehenden) Lehrkräften basierend auf prozessbasierten Eye-Tracking Studien in einem systematischen Literaturreview aggregiert und integriert. Dafür wurde eine Literaturrecherche für den Zeitraum von 1999 bis 2019 durchgeführt. Insgesamt konnten dabei 12 Studien identifiziert werden, die relativ stabile Unterschiede zwischen Expert:innenen und Noviz:innen bei den meisten untersuchten Parametern, bei gleichzeitig sehr heterogener Methoden- und Stichprobenauswahl, aufweisen. Darauf aufbauend wurden zwei empirische Studien entwickelt, die dazu dienen sollten, den erst wenig erforschten Kompetenzbereich der professionellen Wahrnehmung näher zu beleuchten. Daher wurde in Studie I überprüft, inwieweit Aus der auf Eye-Tracking Studien basierenden Expertiseforschung in anderen Domänen weiß man, dass sich Noviz:innen und Expert:innen in ihrem Blickverhalten unterscheiden. Erste bildungswissenschaftliche Forschungsbefunde hinsichtlich (angehender) Lehrkräfte legen ebenfalls nahe, dass sich angehende und erfahrene Lehrkräfte in ihrer Fähigkeit unterscheiden, potenzielle Unterrichtsstörungen zu detektieren. Diese Annahme ist darauf zurückzuführen, dass die der Wahrnehmung zugrunde liegende Wissensbasis bei Expert:innen besser organisiert ist und so die Wahrnehmung positiv beeinflusst. Dieses die professionelle Wahrnehmung beeinflussende Wissen ist in sogenannten Schemata gespeichert und kann durch bestimmte Faktoren wie z. B. Vorwissen getriggert und beeinflusst werden. So kann die professionelle Wahrnehmung beispielsweise je nach aktiviertem Schema variieren oder auch von einer vorgegebenen, einen bestimmten Aspekt fokussierenden, Instruktion abhängen. Des Weiteren kann davon ausgegangen werden, dass die professionelle Wahrnehmung durch Interventionen positiv beeinflusst werden kann. So gibt es bereits effektive, aber gleichzeitig zeit– und ressourcenaufwendige Trainingsprogramme zur Schulung und Unterstützung professioneller Wahrnehmung für (angehende) Lehrkräfte. Ziel der Dissertation ist es, die professionelle Wahrnehmung von Lehrkräften, insbesondere im Bereich des Classroom Managements, mit prozessbasierten Messmethoden (Eye-Tracking) zu untersuchen. Dabei wurden mehrere Ziele verfolgt: Zuerst wurde der aktuelle Forschungstand zur professionellen Wahrnehmung von (angehenden) Lehrkräften basierend auf prozessbasierten Eye-Tracking Studien in einem systematischen Literaturreview aggregiert und integriert. Dafür wurde eine Literaturrecherche für den Zeitraum von 1999 bis 2019 durchgeführt. Insgesamt konnten dabei 12 Studien identifiziert werden, die relativ stabile Unterschiede zwischen Expert:innen und Noviz:innen bei den meisten untersuchten Parametern, bei gleichzeitig sehr heterogener Methoden- und Stichprobenauswahl, aufweisen. Darauf aufbauend wurden zwei empirische Studien entwickelt, die dazu dienen sollten, den erst wenig erforschten Kompetenzbereich der professionellen Wahrnehmung näher zu beleuchten. Daher wurde in Studie I überprüft, inwieweit Aus der auf Eye-Tracking Studien basierenden Expertiseforschung in anderen Domänen weiß man, dass sich Noviz:innen und Expert:innen in ihrem Blickverhalten unterscheiden. Erste bildungswissenschaftliche Forschungsbefunde hinsichtlich (angehender) Lehrkräfte legen ebenfalls nahe, dass sich angehende und erfahrene Lehrkräfte in ihrer Fähigkeit unterscheiden, potenzielle Unterrichtsstörungen zu detektieren. Diese Annahme ist darauf zurückzuführen, dass die der Wahrnehmung zugrunde liegende Wissensbasis bei Expert:innen besser organisiert ist und so die Wahrnehmung positiv beeinflusst. Dieses die professionelle Wahrnehmung beeinflussende Wissen ist in sogenannten Schemata gespeichert und kann durch bestimmte Faktoren wie z. B. Vorwissen getriggert und beeinflusst werden. So kann die professionelle Wahrnehmung beispielsweise je nach aktiviertem Schema variieren oder auch von einer vorgegebenen, einen bestimmten Aspekt fokussierenden, Instruktion abhängen. Des Weiteren kann davon ausgegangen werden, dass die professionelle Wahrnehmung durch Interventionen positiv beeinflusst werden kann. So gibt es bereits effektive, aber gleichzeitig zeit– und ressourcenaufwendige Trainingsprogramme zur Schulung und Unterstützung professioneller Wahrnehmung für (angehende) Lehrkräfte. Ziel der Dissertation ist es, die professionelle Wahrnehmung von Lehrkräften, insbesondere im Bereich des Classroom Managements, mit prozessbasierten Messmethoden (Eye-Tracking) zu untersuchen. Dabei wurden mehrere Ziele verfolgt: Zuerst wurde der aktuelle Forschungstand zur professionellen Wahrnehmung von (angehenden) Lehrkräften basierend auf prozessbasierten Eye-Tracking Studien in einem systematischen Literaturreview aggregiert und integriert. Dafür wurde eine Literaturrecherche für den Zeitraum von 1999 bis 2019 durchgeführt. Insgesamt konnten dabei 12 Studien identifiziert werden, die relativ stabile Unterschiede zwischen Expert:innenen und Noviz:innen bei den meisten untersuchten Parametern, bei gleichzeitig sehr heterogener Methoden- und Stichprobenauswahl, aufweisen. Darauf aufbauend wurden zwei empirische Studien entwickelt, die dazu dienen sollten, den erst wenig erforschten Kompetenzbereich der professionellen Wahrnehmung näher zu beleuchten. Daher wurde in Studie I überprüft, inwieweit sich Wissen als objektives Maß für Expertise auf die professionelle Wahrnehmung von Lehramtsstudierenden auswirkt (Noticing: Genauigkeit und Geschwindigkeit der Wahrnehmung potentieller Unterrichtsstörungen, Reasoning: Analysetiefe der Verbalisierungen hinsichtlich der erkannten Störungen). Ergebnisse dieser Onlinestudie zeigen, dass Expertise, operationalisiert mittels eines ökonomischen Wissenstests, als perfomanzbasiertes Kriterium einen relevanten Faktor der professionellen Wahrnehmung von angehenden Lehrkräften darstellt. Je mehr Wissen die Studierenden aufwiesen, desto schneller und mit höherer Akkuratheit entdeckten diese potentielle Störsituationen in den Videovignetten (Noticing). Gleichzeitig führte mehr Wissen über pädagogisch-psychologisches Handlungswissen jedoch nicht zu einer tieferen Analyse (Reasoning) der relevanten Ereignisse. Darüber hinaus wurde in Studie II untersucht, ob sich die in bisherigen Forschungsbefunden aufgezeigten Expertiseunterschiede hinsichtlich der professionellen Wahrnehmung zwischen erfahrenen Lehrkräften und Lehramtsstudierenden in Bezug auf das Monitoring- und/oder störungsspezifische Blickverhalten (Noticing) in einem standardisierten Studiendesign replizieren lassen. Im Gegensatz zu unseren Hypothesen konnten wir keine Expertiseunterschiede hinsichtlich der Eye-Tracking Parameter in einem quasi-randomisierten Versuchsdesign replizieren. Studierende und erfahrene Lehrkräfte zeigten sowohl im Hinblick auf ihr globales Monitoringverhalten als auch ihr störungsspezifisches Blickverhalten, ähnliche Ausprägungen der Parameter. Zusätzlich wurde sowohl in Studie I als auch Studie II beleuchtet, inwieweit eine ökonomische, eigenständige aufgabenspezifische Instruktion ähnliche Effekte erzielen kann wie effiziente, aber kosten- und ressourcenaufwendige Trainings- oder Feedbackinterventionen. Hierfür wurde untersucht, ob durch eine minimale instruktionale Unterstützung das Blickverhalten von Novizen positiv beeinflussten werden kann und es somit möglicherweise eine Kompensation von Expertiseunterschieden erreicht werden kann. Studie I konnte jedoch keinen Einfluss der minimalen Intervention auf die professionelle Wahrnehmung der Studierenden feststellen, wohingegen Studie II—bei der die prozessbasierte Erfassungsmethode des Eye-Trackings verwendet wurde—zeigen konnte, dass eine spezifische Instruktion sowohl bei Studierenden als auch erfahrenen Lehrkräften zu einem veränderten Blickverhalten führt. Noviz:innen und Expert:innen wiesen mehr Fixationen auf, was für ein effektiveres Scan- und Monitoringverhalten spricht. Insgesamt sprechen die Ergebnisse dafür, dass die Vermittlung von Wissen über relevante Aspekte des Classroom Managements an der Universität gestärkt werden sollte, da dies den angehenden Lehrkräften die ersten Schritte im Prozess des Lehrens und Lernens erleichtert, der oft als besonders herausfordernd empfunden wird (Studie I). Außerdem zeigt Studie II, dass es bezüglich expertiseabhängigem Blickverhalten im Klassenraum weiterer Studien und Forschungsprojekte bedarf, um herauszufinden, inwieweit und vor allem unter welchen Bedingungen, Unterschiede hinsichtlich der Expertise zu finden sind. Nur mit einer plausiblen, theoretisch begründeten homogenen Ergebnislandschaft lassen sich mittelfristig sinnvolle Interventionen für die Aus- und Fortbildung von Lehrkräften ableiten und im universitären Lernsetting etablieren

Gaze-Based Human-Robot Interaction by the Brunswick Model

We present a new paradigm for human-robot interaction based on social signal processing, and in particular on the Brunswick model. Originally, the Brunswick model copes with face-to-face dyadic interaction, assuming that the interactants are communicating through a continuous exchange of non verbal social signals, in addition to the spoken messages. Social signals have to be interpreted, thanks to a proper recognition phase that considers visual and audio information. The Brunswick model allows to quantitatively evaluate the quality of the interaction using statistical tools which measure how effective is the recognition phase. In this paper we cast this theory when one of the interactants is a robot; in this case, the recognition phase performed by the robot and the human have to be revised w.r.t. the original model. The model is applied to Berrick, a recent open-source low-cost robotic head platform, where the gazing is the social signal to be considered

Selecting and tailoring of images for online news content: a mixed-methods investigation of the needs and behaviour of image users in online journalism

This mixed-methods investigation explores how image professionals in online journalism search for, select and use images from large online collections. Further, findings from this exploration are used to devise and evaluate a needs-based practical solution for improvement to image retrieval. The exploratory stage included semi-structured interviews and observations in situ and provided several important contributions to the current understanding of the needs and behaviour of image users in fully disintermediated environment of the online newsroom. This study found that these image users are creative professionals and self-taught, yet, confident image searchers. When illustrating news content, they apply a shared knowledge of how a specific image function (e.g., dominant image) must be presented visually to reach its full communication potential. This common understanding of image communicative functions has two implications on how these professionals search for and select images. Firstly, they begin searches with clear image needs pre-defined on multiple levels of image description, including visual image features, and their behaviour is consistent with targeted searching. This contradicts previously reported preference for browsing as the typical mode of searching in online image collections. Secondly, they do not easily compromise on image needs related to visual features. When searches prove ineffective, they resort to editing skills and tailor the available images to match their original needs. Further, it was found that the choice of images for headline content can in fact be predicted by a set of 11 visual image features. The features were extracted from a collection of artefacts created in the observation sessions and described by means of the Visual Social Semiotics (VSS) framework. The feature set was implemented as a filtering mechanism in a prototype and evaluated in a within-subjects experimental design study with image professionals. This experiment showed a significant positive change in the behaviour of users when interacting with images pre-filtered strictly to their visual needs, not observed in the baseline system. This was demonstrated through users’ ability to immediately engage in the inspection of images on a level of detail, and to make straightforward selections. Images from the experimental sets required no or only minimal tailoring as confirmed in the final VSS-based survey with independent image experts. Other important contributions of this investigation include the updated models. Firstly, the illustration task process framework, originally proposed in Markkula and Sormunen (2000), has been refined to include the image tailoring phase where creative professionals apply editorial treatment before publication. Further, the observations revealed that verifying of images, consistent with the feature in Ellis et al.’s model (Ellis et al., 1993), was an activity critical to making selection decision in online journalism. Therefore, Conniss et al.’s model of the image searching process (Conniss et al., 2000) has been updated to include the verifying phase. The investigation concludes that in order to meet the needs of creative image professionals in online journalism, image retrieval systems must support targeted searching, and facilitate direct access to required images that can be easily verified for authenticity. The proposed multi-feature filtering system firmly rooted in the image users’ needs, appears to be a step towards automating image retrieval