Multisensory Interactions of Visual and Tactile Modalities

Theorien und Modelle der multisensorischen Wahrnehmung haben in den letzten Jahren Aufmerksamkeit erregt. Das Verständnis der multisensorischen Wahrnehmung ist für Kognitionswissenschaftler von großem Interesse und für Ingenieure von entscheidender Bedeutung, um künstliche sensorische Geräte zu entwickeln. Das Berührungspotential für künstliche sensorische Geräte sowie die starke Verbindung zwischen Berührung und Sehen haben uns motiviert, die Wechselwirkungen zwischen Sehen und Berührung zu erforschen, wobei der Schwerpunkt auf Berührungsstimulationen mit einem speziell entwickelten künstlichen sensorischen Gerät liegt. Insbesondere untersuchten wir drei verschiedene Arten von Interaktionen in drei Studien: Die multisensorische Wahrnehmung und Kalibrierung für visuell-taktile Informationen in einer realistischen Umgebung (Studie 1), den multimodalen aufgabenunrelevanten Effekt (Studie 2) und schließlich das modalübergreifende Lernen und Integrieren von Sehen und Berühren unter neuartigen taktilen Erfahrungen (Studie 3). In Studie 1 wurde untersucht, wie sich die Teilnehmer unter verschiedenen Zuverlässigkeitsbedingungen an den Cue-Konflikt zwischen sensorischen Informationen anpassen würden. Unsere Ergebnisse zeigten, dass die Teilnehmer je nach Zuverlässigkeitsbedingung der sensorischen Informationen von einer Integrationsstrategie zu einer Auswahl oder zu einer Kalibrierungsstrategie wechselten. Unsere umfassende Simulation und Modellierung hat gezeigt, dass die optimale kausale Inferenz in einer Umgebung mit variierender Zuverlässigkeit nicht nur vom Ausmaß der multimodalen Diskrepanz abhängt, sondern auch von der relativen Zuverlässigkeit der Stimuli. Analysen der Vertrauensberichte zeigten, dass wir in Studie 2 untersucht haben, wie sich aufgabenunrelevante Informationen auf die Verarbeitung aufgabenrelevanter Informationen in einem multimodalen Setup auswirken. Insbesondere haben wir die bekannte Simon-Aufgabe auf die multimodale Ausgabe erweitert, in der aufgabenunrelevante Informationen aus zwei sensorischen Modalitäten hervorgehen können. Wir haben eine visuell-taktile und eine visuell-auditive Erweiterung der Simon-Aufgabe durchgeführt. Beide Experimente zeigten erwartete visuelle Kongruenzeffekte für aufgabenunrelevante Informationen, wie z. B. langsamere Reaktionen und geringere Genauigkeit bei inkongruenten als bei kongruenten Bedingungen. Wir beobachteten auch Kongruenzeffekte von taktilen aufgabenunrelevanten Informationen, obwohl die Effekte geringer waren als die visuellen aufgabenunrelevanten Informationen. Die Kongruenzeffekte auditorisch aufgabenunrelevanter Informationen waren jedoch unzureichend und vernachlässigbar. Es zeigte sich, dass bei gleichzeitiger Anwesenheit von visuellen und auditorischen räumlich aufgabenunrelevanten Informationen visuelle Informationen den auditorischen Kongruenzeffekt dominieren. Eine vorgeschlagene multimodale Erweiterung des Diffusionsmodells für Konfliktaufgaben (MDMC) wurde an die Ergebnisse beider Experimente angepasst. MDMC lieferte angemessene Anpassungen für die experimentellen Daten, während die echten Annahmen von DMC beibehalten wurden. In Studie 3 haben wir schließlich untersucht, ob und wie künstliche taktile Informationen von einem neuartigen nicht-invasiven Gerät gelernt und in visuelle Informationen integriert werden. Die Leistung der unimodalen taktilen Wahrnehmung wurde über sieben Trainingsblöcke verbessert und zeigte, dass die Teilnehmer die Assoziationen zwischen visuellen und taktilen Informationen lernten. Weitere Analysen zeigten, dass die Teilnehmer die unerfahrenen taktilen Informationen von Beginn des Trainings an mit erfahrenen visuellen Informationen kombinierten, obwohl die Genauigkeit der taktilen Modalität anfangs unter bestimmten Bedingungen geringer war als die visuelle Modalität. Vorgeschlagene Rechenmodelle zeigten, dass die Teilnehmer zunächst eine metakognitiv orientierte Entscheidungsintegrationspolitik anwendeten. Später wechselten sie jedoch zu einer optimalen Bayes'schen Integration sensorischer Eingaben. Wir glauben, dass unsere Ergebnisse das Gebiet der multisensorischen Wahrnehmung mit der Entwicklung künstlicher sensorischer Geräte verbindenTheories and models of multisensory perception have been drawing attention in the past decade. Understanding the multisensory perception is great of interest for cognitive scientists and is crucial for engineers to develop artificial sensory devices such as wearable and sensory substitution systems. The potential of touch for artificial sensory devices as well as the strong link between touch and vision motivated us to study the interactions of vision and touch with the focus on touch stimulations from a custom designed artificial sensory device. Specifically, we investigated three different type of interactions through three studies: The multisensory perception and calibration for visual-tactile information in a realistic environment (study 1), multimodal task-irrelevant effect (study 2), and finally cross-modal learning and integration of vision and touch under novel tactile experiences (study 3). Study 1 investigated how participants would adjust their perception to the discrepancy among sensory information under varying reliability conditions. Our findings showed participants switched from an integration strategy to a selection or to a calibration strategy according to reliability condition of the sensory information. Our comprehensive simulation and modelling revealed that the optimal causal inference not only depends on the amount of the cue conflict, but also on the relative reliability of stimuli across different modalities. We investigated, through study 2, how task irrelevant information affects the perception of task relevant information in a multimodal setup. Particularly, we extended the well-known Simon experiment to the multimodal edition, in which two source of information, from two modalities, deliver the task irrelevant information. We conducted a visual-tactile and a visual-auditory extension of Simon task. Both experiments showed expected visual congruency effects for task-irrelevant information, such as the slower responses and less accurcy in incongruent than congruent conditions. We additionally observed congruency effects of tactile task-irrelevant information, although the effects were smaller than the visual task-irrelevant information. However, the congruency effects of auditory task-irrelevant information were insufficient and negligible. It revealed that in the co-presence of visual and auditory spatial task-irrelevant information, visual information dominates the auditory congruency effect. A proposed multimodal extension of the Diffusion Model for Conflict Tasks (MDMC) was fitted to the results of both experiments. MDMC provided reasonable fits for the experimental data while keeps the genuine assumptions of DMC. We finally investigated, through study 3, whether and how tactile information from a non invasive sensory feedback device can be learned or even integrated with visual perception. The performance of unimodal tactile perception was improved over seven blocks of training, showed that participants learned the associations between the visual and tactile information. Further analyses showed that participants integrated the unexperienced tactile information with experienced visual information from the very beginning of the training, despite of the fact that the accuracy of tactile modality was initially lower than the visual modality in some conditions. Proposed computational models revealed that participants initially employed a metacognitive oriented decision integration policy. However, they later switched to an optimal Bayesian integration of sensory inputs. We believe our findings connects the topic of multisensory perception to the artificial sensory feedback devices

A Distributed Clustering Approach for Heterogeneous Environments Using Fuzzy Rough Set Theory

Vast majority of data mining algorithms have been designed to work on centralized data, unfortunately however, almost all of nowadays data sets are distributed both geographically and conceptually. Due to privacy and computation cost, centralizing distributed data sets before analyzing them is undoubtedly impractical. In this paper, we present a framework for clustering distributed data which takes into account privacy and computation cost. To do that, we remove uncertain instances and just send the label of the other instances to the central location. To remove the uncertain instances, we develop a new instance weighting method based on fuzzy and rough set theory. The achieved results on well-known data verify effectiveness of the proposed method compared to previous works

Panoster: End-to-end Panoptic Segmentation of LiDAR Point Clouds

Panoptic segmentation has recently unified semantic and instance segmentation, previously addressed separately, thus taking a step further towards creating more comprehensive and efficient perception systems. In this paper, we present Panoster, a novel proposal-free panoptic segmentation method for LiDAR point clouds. Unlike previous approaches relying on several steps to group pixels or points into objects, Panoster proposes a simplified framework incorporating a learning-based clustering solution to identify instances. At inference time, this acts as a class-agnostic segmentation, allowing Panoster to be fast, while outperforming prior methods in terms of accuracy. Without any post-processing, Panoster reached state-of-the-art results among published approaches on the challenging SemanticKITTI benchmark, and further increased its lead by exploiting heuristic techniques. Additionally, we showcase how our method can be flexibly and effectively applied on diverse existing semantic architectures to deliver panoptic predictions.Comment: Preprint of IEEE RA-L articl

3D-VField: Adversarial Augmentation of Point Clouds for Domain Generalization in 3D Object Detection

As 3D object detection on point clouds relies on the geometrical relationships between the points, non-standard object shapes can hinder a method's detection capability. However, in safety-critical settings, robustness to out-of-domain and long-tail samples is fundamental to circumvent dangerous issues, such as the misdetection of damaged or rare cars. In this work, we substantially improve the generalization of 3D object detectors to out-of-domain data by deforming point clouds during training. We achieve this with 3D-VField: a novel data augmentation method that plausibly deforms objects via vector fields learned in an adversarial fashion. Our approach constrains 3D points to slide along their sensor view rays while neither adding nor removing any of them. The obtained vectors are transferable, sample-independent and preserve shape and occlusions. Despite training only on a standard dataset, such as KITTI, augmenting with our vector fields significantly improves the generalization to differently shaped objects and scenes. Towards this end, we propose and share CrashD: a synthetic dataset of realistic damaged and rare cars, with a variety of crash scenarios. Extensive experiments on KITTI, Waymo, our CrashD and SUN RGB-D show the generalizability of our techniques to out-of-domain data, different models and sensors, namely LiDAR and ToF cameras, for both indoor and outdoor scenes. Our CrashD dataset is available at https://crashd-cars.github.io.Comment: CVPR 2022. Project page: https://3d-vfield.github.i

A review on performance and risk in banks

En las perspectivas económica y de gestión, una unidad reportera en todos los niveles debe hacer todas las medidas eficaces para recibir el máximo de beneficios que se acompaña de riesgos y rendimiento. La palabra de riesgo de hecho se lleva a cabo para aumentar el nivel de rendimiento en las unidades. Una de las principales partes de la economía en el mundo de hoy es el sistema monetario y financiero que los bancos están en la cabeza que se puede afirmar que hoy en día la economía puede Estar en niveles micro y macro y están bajo el control de los bancos. Este estudio, algunos de los factores que son eficaces en el rendimiento y los riesgos de los bancos se han considerado e investigado brevement