6,501 research outputs found
Online home appliance control using EEG-Based brain-computer interfaces
Brain???computer interfaces (BCIs) allow patients with paralysis to control external devices by mental commands. Recent advances in home automation and the Internet of things may extend the horizon of BCI applications into daily living environments at home. In this study, we developed an online BCI based on scalp electroencephalography (EEG) to control home appliances. The BCI users controlled TV channels, a digital door-lock system, and an electric light system in an unshielded environment. The BCI was designed to harness P300 andN200 components of event-related potentials (ERPs). On average, the BCI users could control TV channels with an accuracy of 83.0% ?? 17.9%, the digital door-lock with 78.7% ?? 16.2% accuracy, and the light with 80.0% ?? 15.6% accuracy, respectively. Our study demonstrates a feasibility to control multiple home appliances using EEG-based BCIs
Novel supports to the assessment of cognitive functions through the combined use of technologies and subjective and objective measurements
Tesis por compendio[ES] Las funciones cognitivas incluyen todos los procesos a través de los cuales un individuo percibe, registra, mantiene, manipula, usa y expresa información que está involucrada en cualquier actividad cotidiana. Las principales herramientas estandarizadas se pueden dividir en tres grupos principales: escalas cortas de pruebas de seguimiento cognitivo: cuestionarios, baterías neuropsicológicas generales y pruebas específicas. Estas herramientas están bien validadas y son confiables, pero, en la última década, varias investigaciones han demostrado que algunos pacientes pueden realizar bien estas pruebas neuropsicológicas, incluso cuando tienen dificultades significativas para adaptar sus comportamientos a las actividades de la vida diaria. De acuerdo con esto, más recientemente, un nuevo enfoque ha aumentado sustancialmente, lo que podría proporcionar una mayor validez ecológica en la evaluación de las capacidades cognitivas funcionales que el enfoque estandarizado: el uso de sistemas tecnológicos avanzados para la evaluación neuropsicológica (STAEN). STAEN se refiere a un conjunto de dispositivos y aplicaciones de software tales como pruebas computarizadas, juegos divertidos e interactivos de fantasía (JS) y / o sistemas de realidad virtual simulada (RV) y / o aumentada (RA) que van más allá de las pruebas de evaluación tradicionales y que Brindar la posibilidad de entregar estímulos controlados y dinámicos, en entornos ecológicamente válidos y seguros. Partiendo de estas premisas, el objetivo principal de la tesis era diseñar, desarrollar y validar un SG 2D no inmersivo versus un JS 3D inmersivo y una actividad de la vida diaria en un entorno 3D RV inmersivo versus un RA para la evaluación de funciones cognitivas, comparando la eficacia y efectividad de ellos. El primer estudio 2D incluyó 354 sujetos sanos y se encontraron correlaciones entre el juego y los métodos tradicionales, lo que sugiere que el juego podría ser una herramienta válida para evaluar las funciones cognitivas en adultos. El segundo estudio, comparó la versión 2D versus una versión 3D STAEN, involucró a 94 sujetos sanos y mostró que la versión 3D fue capaz de generar tiempos más bajos y respuestas correctas más altas que la 2D, lo que sugiere evidencia inicial de la eficacia de un sistema más inmersivo en comparación con un sistema no-inmersivo. Aunque este resultado destaca una posible limitación en el uso de diferentes sistemas tecnológicos debido a las diferencias en los dos métodos de interacción (el sistema 2D aplicó el mouse y el teclado; los controladores de dos manos virtuales 3D) y el registro de datos de latencia de hardware y software. Con respecto a la variabilidad individual en edad, género y educación, los hallazgos mostraron consistencia con la literatura de referencia. Específicamente, los más jóvenes mostraron un mayor rendimiento que los mayores; niveles educativos más altos reflejados en una mejor puntuación y sobre género, los resultados mostraron un panorama más compuesto. Además, para mejorar la validez ecológica de la evaluación, el último estudio de esta tesis comparó el rendimiento conductual y las respuestas fisiológicas, durante una tarea de cocina ecológica, entre un sistema virtual y un sistema aumentado en 50 sujetos sanos. La tarea de cocinar consistió en 4 niveles que aumentaron en dificultad. A medida que el nivel aumentó, aparecieron actividades adicionales. Los resultados de comportamiento mostraron que los tiempos son siempre más bajos en realidad virtual que en RA, aumentando constantemente de acuerdo con la dificultad de las tareas. Con respecto a las respuestas fisiológicas, los hallazgos mostraron que la condición RA produjo más excitación y activación individual que la realidad virtual. Para concluir, STAEN está demostrando ser herramientas confiables y efectivas para la evaluación de las funciones cognitivas en adultos, proporcionando más validez ec[CA] Les funcions cognitives inclouen tots els processos a través dels quals un individu percep, registra, manté, manipula, usa i expressa informació que està involucrada en qualsevol activitat quotidiana. Les principals ferramentes estandarditzades es poden dividir en tres grups principals: escales curtes de proves de seguiment cognitiu: qüestionaris, bateries neuropsicológiques generals i proves específiques. Estes ferramentes estan ben validades i són confiables, però, en l'última dècada, diverses investigacions han demostrat que alguns pacients poden realitzar bé estes proves neuropsicológiques, inclús quan tenen dificultats significatives per a adaptar els seus comportaments a les activitats de la vida diària. D'acord amb açò, més recentment, un nou enfocament ha augmentat substancialment, la qual cosa podria proporcionar una major validesa ecològica en l'avaluació de les capacitats cognitives funcionals que l'enfocament estandarditzat: l'ús de sistemes tecnològics avançats per a l'avaluació neuropsicológica (STAEN). STAEN es referix a un conjunt de dispositius i aplicacions de software com ara proves computaritzades, jocs divertits i interactius de fantasia (JS) i / o sistemes de realitat virtual simulada (RV) i / o augmentada (RA) que van més enllà de les proves d'avaluació tradicionals i que brinden la possibilitat de presentar estímuls controlats i dinàmics, en entorns ecològicament vàlids i segurs. Partint d'estes premisses, l'objectiu principal de la tesi era dissenyar, desenrotllar i validar un SG 2D no inmersiu versus un JS 3D inmersiu i una activitat de la vida diària en un entorn 3D RV inmersiu versus un RA per a l'avaluació de funcions cognitives, comparant l'eficàcia i efectivitat d'ells. El primer estudi 2D va incloure 354 subjectes sans i es van trobar correlacions entre el joc i els mètodes tradicionals, la qual cosa suggerix que el joc podria ser una ferramenta vàlida per a avaluar les funcions cognitives en adults. El segon estudi, va comparar la versió 2D versus una versió 3D STAEN, va involucrar a 94 subjectes sans i va mostrar que la versió 3D va ser capaç de generar temps més baixos i respostes correctes més altes que la 2D, la qual cosa suggerix evidència inicial de l'eficàcia d'un sistema més inmersiu en comparació amb un sistema no-inmersiu. Encara que este resultat destaca una possible limitació en l'ús de diferents sistemes tecnològics a causa de les diferències en els dos mètodes d'interacció (el sistema 2D va aplicar el ratolí i el teclat; els controladors de dos mans virtuals 3D) i el registre de dades de latència de hardware i software. Respecte a la variabilitat individual en edat, gènere i educació, les troballes van mostrar consistència amb la literatura de referència. Específicament, els més jóvens van mostrar un major rendiment que els majors; nivells educatius més alts reflectits en una millor puntuació i sobre gènere, els resultats van mostrar un panorama més compost. A més, per a millorar la validesa ecològica de l'avaluació, l'últim estudi d'esta tesi va comparar el rendiment conductual i les respostes fisiològiques, durant una tasca de cuina ecològica, entre un sistema virtual i un sistema augmentat en 50 subjectes sans. La tasca de cuinar va consistir en 4 nivells que van augmentar en dificultat. A mesura que el nivell va augmentar, van aparéixer activitats addicionals. Els resultats de comportament van mostrar que els temps són sempre més baixos en realitat virtual que en RA, augmentant constantment d'acord amb la dificultat de les tasques. Respecte a les respostes fisiològiques, les troballes van mostrar que la condició RA va produir més excitació i activació individual que la realitat virtual. Per a concloure, STAEN està demostrant ser ferramentes confiables i efectives per a l'avaluació de les funcions cognitives en adults, proporcionant més validesa ecològica i objectivitat que els mètodes tradicio[EN] Cognitive functions include all the processes through which an individual perceives, records, maintains, manipulates, uses and expresses information that are involved in any everyday activity. The main standardized tools can be divided in three main groups: short scales of cognitive tracking tests - questionnaires, general neuropsychological batteries, and specific tests. These tools are well-validated and reliable but, in the last decade, several research have shown that some patients can perform these neuropsychological tests well, even when they have significant difficulties in adapting their behaviours to daily life activities. According to this, more recently, a new approach has substantially increased, potentially providing a higher ecological validity in functional cognitive abilities assessment than standardized approach: the use of advanced technological systems for neuropsychological assessment (ATSNA). ATSNA refer to a set of devices and software applications such as computerized tests, fun and interactive fantasy serious games (SG), and/or simulated virtual (VR) and/or augmented (AR) reality systems that go beyond traditional assessment tests and that supply the possibility to deliver controlled and dynamic stimuli, in ecologically valid, and secure environments. Starting from these premises, the main objective of the thesis was to design, develop, and validate a non-immersive 2D SG versus an immersive 3D SG and a daily life activity in an immersive 3D VR environment versus an AR for the assessment of cognitive functions, comparing the efficacy and effectiveness of them. The first 2D study involved 354 healthy subjects and correlations were found between the game and traditional methods, suggesting that the game could be a valid tool for assessing cognitive functions in adults. The second study, compared 2D versus a 3D ATSNA version, it involved 94 healthy subjects and showed that 3D version was able to generate lower times and higher correct answers that the 2D, suggesting initial evidence of efficacy of a more immersive system compared to a non-immersive system. Although this result highlights a potential limitation on using different technological systems due to the differences on the two interaction methods (the 2D system applied mouse and keyboard; the 3D two virtual hands' controllers) and hardware and software latency data recording. Regarding individual variability on age, gender, and education, the findings showed consistency with the reference literature. Specifically, younger showed higher performance that older; higher educational levels reflected on a better score and about gender, results showed a more composite panorama. Furthermore, to enhance the ecological validity of assessment, the last study of this thesis compared the behavioural performance and physiological responses, during an ecological cooking task, between a virtual and an augmented system on 50 healthy subjects. The cooking task consisted of 4 levels that increased in difficulty. As the level increased, additional activities appeared. The behavioural results showed that times are always lower in VR than in AR, increasing constantly in accordance with the difficulty of the tasks. Regarding physiological responses, the findings showed that AR condition produced more individual excitement and activation than VR. To conclude, ATSNA are proving to be reliable and effective tools for the assessment of cognitive functions in adults, providing more ecological validity and objectivity than traditional methods of assessment.Chicchi Giglioli, IAM. (2020). Novel supports to the assessment of cognitive functions through the combined use of technologies and subjective and objective measurements [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/139075TESISCompendi
Event-based Vision: A Survey
Event cameras are bio-inspired sensors that differ from conventional frame
cameras: Instead of capturing images at a fixed rate, they asynchronously
measure per-pixel brightness changes, and output a stream of events that encode
the time, location and sign of the brightness changes. Event cameras offer
attractive properties compared to traditional cameras: high temporal resolution
(in the order of microseconds), very high dynamic range (140 dB vs. 60 dB), low
power consumption, and high pixel bandwidth (on the order of kHz) resulting in
reduced motion blur. Hence, event cameras have a large potential for robotics
and computer vision in challenging scenarios for traditional cameras, such as
low-latency, high speed, and high dynamic range. However, novel methods are
required to process the unconventional output of these sensors in order to
unlock their potential. This paper provides a comprehensive overview of the
emerging field of event-based vision, with a focus on the applications and the
algorithms developed to unlock the outstanding properties of event cameras. We
present event cameras from their working principle, the actual sensors that are
available and the tasks that they have been used for, from low-level vision
(feature detection and tracking, optic flow, etc.) to high-level vision
(reconstruction, segmentation, recognition). We also discuss the techniques
developed to process events, including learning-based techniques, as well as
specialized processors for these novel sensors, such as spiking neural
networks. Additionally, we highlight the challenges that remain to be tackled
and the opportunities that lie ahead in the search for a more efficient,
bio-inspired way for machines to perceive and interact with the world
See-Through Latency in Mixed Reality Headsets
Laajennettu todellisuus ja erityisesti sekoitettu todellisuus ovat kasvussa olevia teknologian aloja, joilla on useita hyödyllisiä sovelluskohteita. Niitä ovat esimerkiksi viihteen sovellukset, kuten pelaaminen, koulutus ja opetus, sekä lääketieteen sovellukset. Koska nämä sovellukset vaativat laitteistolta tarkkuutta, laitteen käyttöön liittyviä parametreja halutaan saada mitattua mahdollisimman tarkasti.
Sekoitetun todellisuuden laitteistoissa esiintyvällä latenssilla on suuri vaikutus laitteen käytettävyyteen. Pahimmassa tapauksessa systeemin latenssi voi aiheuttaa simulaattorisairautta ja tehdä laitteistosta epämiellyttävän käyttää. Näissä laitteistoissa systeemin latenssi koostuu muutamasta eri tekijästä: seurantaviiveestä, sovellusohjelman viiveestä, kuvantamisen viiveestä ja generoidun sisällön esittämisen viiveestä. Sovellusohjelman, kuvantamisen ja generoidun sisällön esittämisen viivettä voidaan kuvata myös termeillä läpinäköviive tai visuaalinen latenssi. Se on latenssimuoto, jota on vain sekoitetun ja ehostetun todellisuuden laitteistoissa, koska näillä teknologioilla on mahdollista yhdistää oikeita ja virtuaalisia ympäristöjä. Visuaalinen latenssi kuvaa aikaa joka laitteistolla menee, jotta se saa reaalimaailman ja mahdollisen ehostuksen esitettyä laitteiston näytöllä ja käyttäjä pystyy näkemään muodostetun syötteen.
Tällä hetkellä ei ole standardoitua tapaa mitata visuaalista latenssia. Tässä kandidaatintyössä esitetään mittausperiaate, joka perustuu ulkoisen laitteiston käyttämiseen latenssimittauksen suorittamisessa. Kahta hieman toisistaan eroavaa mittaustapaa tarkastellaan ja niistä saatuja tuloksia analysoidaan. Ensimmäisessä mittaustavassa ulkoisen laitteiston värisensorista saatavaa dataa muokataan alipäästösuodattamalla muodostettua kirkkaussignaalia. Tämä tehdään, jotta testilaitteiston näytön taustavalosta johtuvat väärät positiiviset havainnot saadaan poistettua lopullisista luokitelluista tapahtumista. Toisessa mittaustavassa latenssi määritetään raakadatan avulla. Sensoridatan perusteella lasketaan havaittujen tapahtumien kirkkaudet ja määritetään signaalin verhokäyrä. Tämän jälkeen signaali jaetaan ruutuihin, ja näiden ruutujen sisällä olevat maksimiarvot määritetään. Jos nämä arvot eroavat tarpeeksi ennalta määritetystä alarajasta, merkataan arvot havaituiksi tapahtumiksi ja niiden avulla lasketaan laitteiston lopullinen visuaalinen latenssi.
Molemmista mittaustavoista saatiin käyttökelpoisia tuloksia. Koska mitattu latenssi on hyvin riippuvainen testatusta laitteistosta, mittaus saattaa antaa joillekin laitteistoille parempia tuloksia kuin toisille. Ensimmäisessä mittaustavassa ongelmaksi muodostui testattavan laitteen näytön taustavalon tehokas poistaminen. Siihen ei aina pystytty, joka johti suhteellisen suureen määrään vääriä positiivisia havaintoja. Tapahtumia siis merkattiin havaituiksi, vaikka niitä ei ollut. Tämän vuoksi lopullinen latenssiarvo saatettiin mitata matalampana kuin mitä se todellisuudessa on. Toisena esitetyllä mittaustavalla saatiin poistettua nämä aiemmin esiintyneet väärät positiiviset havainnot yleiskäyttöisemmän tapahtumien luokittelutavan vuoksi. Tämän vuoksi toisena esitetyllä mittaustavalla saatiin myös todenmukaisempia ja tarkempia visuaalisen latenssin mittausarvoja.Extended reality and especially mixed reality is an emerging technology, with a wide range of possible useful applications. A few of these are entertainment and infotainment, education and medical applications. Because there is a wide range of possible beneficial applications, the parameters affecting the usability of the devices want to be measured as accurately as possible.
One thing that has a high effect on the usability of a mixed reality headset is the latency of the device. At worst, system latency can cause simulator sickness and make the devices unpleasant to use. In these devices there are multiple different components that together construct the final system latency of the device. These components are tracking delay, application delay, image generation delay and display delay. The image generation delay and display delay can also be described as see-through or visual latency. It is an latency that is only present in mixed and augmented reality devices due to their ability of mixing virtual and real environments. See-through latency is the delay between the time of the device observing the real world environment around the user and based on this, generating imagery on the device display based on the user input.
At the time, there isn't any standard way of measuring see-through latency in mixed reality headsets. In this thesis a measurement method based on hardware instrumentation is presented. Two different approaches to the see-through latency measurement are described and analyzed. The first approach is based on modifying color sensor signal from which the final see-through is derived from. The signal is low-pass filtered to remove the backlight of the tested device's display. This done to decrease the amount of false positives of detected see-through events from the color sensor data. In the second approach, the color sensor signal itself isn't modified, but the detected see-through events are gathered in a different way. The color sensor data is converted into brightness values, and a high envelope of the signal is derived. The signal is then divided into frames and from these frames the local maxima can be gathered. If the brightness of this data point is over a certain threshold, it will be classified as a blinking event and it will be used in calculating the final latency.
The measurement methods described gave quite good results. Because the latency is highly dependant on the tested device, the measurement might give better results for some devices and worse results for others. The first measurement method couldn't always remove the backlight of the tested device as a see-through detection, which resulted in a large amount of false positives. This resulted in a lower final latency value than it should be. With the second measurement method these false positives could be eliminated and the measured latency values were more accurate due to the more universal method of deriving the see-through events
- …