Multimodalidad, Lenguaje y Aprendizajes1

En este ensayo se aborda el tema de las relaciones entre nuevas formas de representar la información (textos multimodales), lenguaje y aprendizaje. Se propone pluralizar el concepto de lecto-escritura o alfabetización con el fin de incorporar otras competencias necesarias para la comprensión de discursos multimodales. Postulamos que la investigación de nuevos formatos de presentación de la información y de comunicación requieren de modelos semióticos, interactivos y constructivistas que permitan dar cuenta de cómo se puede incorporar la multimodalidad en los procesos de aprendizaje

Hacia una educación inclusiva y personalizada mediante el uso de los sistemas de diálogo multimodal

Los continuos avances en el desarrollo de tecnologías de la información han dado lugar actualmente a la posibilidad de acceder a los contenidos educativos desde cualquier lugar, en cualquier momento y de forma casi instantánea. Sin embargo, la accesibilidad no es siempre considerada como criterio principal en el diseño de aplicaciones educativas, especialmente para facilitar su utilización por parte de personas con discapacidad. Diferentes tecnologías han surgido recientemente para fomentar la accesibilidad a las nuevas tecnologías y dispositivos móviles, favoreciendo una comunicación más natural con los sistemas educativos. En este artículo se describe el uso innovador de los sistemas de diálogo multimodales en el campo de la educación, con un especial énfasis en la descripción de las ventajas que ofrecen para la creación de aplicaciones educativas inclusivas y adaptadas a la evolución de los estudiantes.Continuous advances in the development of information technologies have currently led to the possibility of accessing learning contents from anywhere, at anytime and almost instantaneously. However, accessibility is not always the main objective in the design of educative applications, specifically to facilitate their adoption by disabled people. Different technologies have recently emerged to foster the accessibility of computers and new mobile devices favouring a more natural communication between the student and the developed educative systems. This paper describes innovative uses of multimodal dialog systems in education, with special emphasis in the advantages that they provide for creating inclusive applications and adapted to the students specific evolution.Trabajo parcialmente financiado por los proyectos MINECO TEC2012-37832-C02-01, CICYT TEC2011-28626-C02-02, CAM CONTEXTS (S2009/TIC-1485) y TRA2010-20225-C03-01.Publicad

From literary orality to film orality in three textual dialogue models. La colmena [the beehive]: novel, script and film

La colmena novela y La colmena filme son dos géneros narrativos cuyos procesos de textualización, si bien remiten a la misma historia, difieren entre sí. Por su parte, en la película, el relato cinematográfico opera narrativa y descriptivamente a partir de la secuenciación de imágenes en las que coexisten entre otros elementos: acción, espacios, movimiento y diálogos de personajes. El resultado es una concreción de la historia dada en forma multimodal. En la novela todo es verbal, discursivo: la textualización es una sucesión de formas lingüísticas con poder evocador. El nexo común más relevante que comparten, aparte de la historia contada, son los diálogos de los personajes. Por su parte, entre el producto fuente y el producto meta está el guion cinematográfico de J. L. Dibildos, que cumple una función mediadora para adaptar la obra de C. J. Cela, transformarla y hacer de La colmena un texto fílmico. En este trabajo se han analizado y comparado diálogos de La colmena de las tres propuestas creativas, con dos objetivos: (1) determinar si las variantes lingüísticas vienen pragmáticamente dadas por la escenografía de las secuencias y (2) constatar si la técnica constructivista desarrollada por Cela para hacer verosímiles los diálogos literarios sirve de referencia para la creación de nuevas secuencias dialogales e interacciones entre personajes que se inventan en el guionThe novel La colmena and the film La colmena are two narrative genres the textualization processes of which are built with different materials, even though they refer back to the same story. In the film, the cinema plot operates narratively and descriptively through the sequencing of images in which dialogues, action, spaces and characters coexist: there is a certain specification given in a multimodal form. In the novel, everything is verbal, discursive: its textualization is a succession of linguistic forms with evocative power. The common bond that they share, apart from the narrated story, are characters’ dialogues. Between the source product and the target product lies the mediating function of the cinema script written by J. L. Dibildos, which consists in adapting C. J. Cela’s work from literature to cinema with transformations in its literary structure and in its dialogues to turn La colmena into a film text. In this work, dialogues of La colmena of the three creative proposals are analyzed and compared, with two objectives: (1) to determine if linguistic modifications are imposed by scenography of the sequences and (2) to verify whether the constructivist technique developed by Cela to make literary dialogues truthful serves as a reference to create new dialogical sequences and interactions between characters invented in the scriptMinisterio de Economía y Competitividad (MINECO). España FFI2014-51826-PMinisterio de Economía y Competitividad (MINECO). España PGC2018-097823-B-I0

Multimodal communicative patterns on the transition to first words: changes in the coordination of gesture and vocalization

El objetivo del estudio es explorar la coordinación degestos y vocalizaciones en patrones comunicativos multimodales en el periodo de transición a las primeras palabras. Para ello se analizaron longitudinalmente las conductas comunicativas de 11 niños españoles monolingües entre los 9 y los 15 meses. Se observó que el uso de recursos comunicativos multimodales aumenta significativamente a los 12 meses,y que hay diferencias en el acompañamiento vocal de los distintos tipos degestos. Al considerar la función comunicativa yla estructura de las vocalizaciones que acompañan a los gestos, el gesto de alcance aparece vinculado a la función imperativa yésta a vocalizaciones vocálicas, mientras que el gesto de señalar se asocia a la función declarativa y a vocalizaciones tanto vocálicas como consonánticas.The aim of this study is to explore gestural and vocal coordination in multimodal communicative patterns during the transition period to first words. We analyse longitudinally the communicative behaviours of 11 monolingual Spanish children from 9 to 15 months of age. We observed both that use of multimodal communicative resources increases significantly at 12 months, and that differences on the vocal accompaniment of different types of gestures exist. Considering communicative function and vocalizations structure, we observe that reaching gesture is linked to the imperative function and to vocalic vocalizations, whereas pointing gesture is associated to the declarative function and to both vocalic and consonantic vocalizations

Desarrollo de una herramienta de procesamiento de imágenes médicas en MATLAB y su integración en Medical GiD

(...) En este informe, se presenta los avances alcanzados en el desarrollo e implementación de una herramienta de software en su versión prototipo para el procesamiento de imágenes médicas y la obtención de modelos geométricos, realizado durante la estancia de investigación de postgrado en el área de Biomedicina del Centro Internacional de Métodos Numéricos en Ingeniería (CIMNE), con el apoyo y la orientación de Eduardo Soudah y Jorge Suit Pérez, investigadores del centro. La herramienta fue desarrollada en Matrix Laboratory (MATLAB) [1] con la integración de librerías de código libre proporcionadas por Insight Segmentation and Registration Toolkit (ITK) [2] a través de Matlab and ITK (MATITK) [3] y Visualization Toolkit (VTK) [4]. Los resultados obtenidos fueron almacenados en un formato de archivo legible por el software GiD [5] con la finalidad de realizar un postprocesamiento de los modelos geométricos y generar modelos discretos para un posterior análisis a través de los métodos numéricos. Asimismo se utilizaron otras herramientas de visualización para validar los modelos geométricos obtenidos como el software de código libre ParaView [6]. El informe se ha dividido en cinco secciones. En la sección 1, se describe el objetivo general y los objetivos específicos planteados. En la sección 2, se detallan las funcionalidades desarrolladas e implementadas en esta herramienta, guiados por los principales procesos implicados en el procesamiento de imágenes médicas: La adquisición y lectura de las imágenes médicas; el filtrado o mejora de las imágenes para reducir ruido, acentuar detalles de interés, etc.; segmentación o extracción de regiones de interés en 2D y 3D para su posterior análisis; y la visualización de las regiones segmentadas en vistas adecuadas (volumen, superficie, malla) para su manipulación por parte del usuario. En la sección 3, se presentan los resultados obtenidos al aplicar los procesos mencionados anteriormente en tres casos diferentes: Primer caso: Segmentación y visualización del ventrículo izquierdo, músculo miocardio y posible cicatriz isquémica en pacientes con cardiopatía isquémica para el posterior análisis numérico de la patología. Segundo caso: Segmentación y visualización de imágenes de Tomografía Computarizada craneofaciales para obtener el volumen del hueso mandibular y maxilar en los que se realice un análisis numérico que permita aplicar procesos quirúrgicos para el tratamiento de patologías. Tercer caso: Procesamiento de imágenes de mamografía, para localizar y visualizar áreas sospechosas y microcalcificaciones en las glándulas mamarias que faciliten al médico un diagnóstico de ciertas patologías. En las secciones 4 y 5 se presentan las conclusiones y propuestas de trabajos futuros, respectivamente. Los resultados obtenidos nos permitieron validar algoritmos y librerías que serán posteriormente incorporadas a través de nuevos módulos en el software en etapa de desarrollo Medical GiD.Preprin

Conclusiones de la mesa de comunicaciones nº 6: Metodologías en el proceso de enseñanza-aprendizaje

Este trabajo resume las principales aportaciones de las comunicaciones presentadas en la Mesa de Comunicaciones nº 6 en las XIII Jornadas de Redes de Investigación en Docencia Universitaria 2014: “Nuevas estrategias organizativas y metodológicas en la formación universitaria para responder a la necesidad de adaptación y cambio” celebradas los días 2 y 3 de julio en la Universidad de Alicante. Encuadradas en el núcleo temático “Metodologías en el proceso de enseñanza-aprendizaje”, todas ellas comparten su compromiso con la mejora de la calidad de la enseñanza incorporando el aprendizaje activo, centrado en el estudiante, como principal estrategia pedagógica

Speech into Sign Language Statistical Translation System for Deaf People

This paper presents a set of experiments used to develop a statistical system from translating speech to sign language for deaf people. This system is composed of an Automatic Speech Recognition (ASR) system, followed by a statistical translation module and an animated agent that represents the different signs. Two different approaches have been used to perform the translations: a phrase-based system and a finite state transducer. For the evaluation, the followings figures have been considered: WER (Word Error Rate), BLEU and NIST. The paper presents translation results of reference sentences and sentences from the automatic speech recognizer. Also three different configurations have been evaluated for the speech recognizer. The best results were obtained with the finite state transducer, with a word error rate of 28.21% for the reference text, and 29.27% using the ASR output

Docencia en Interacción Persona-Ordenador en la Escuela Politécnica Superior de la Universidad Autónoma de Madrid

Versión electrónica de la ponencia presentada en las I Jornadas de Trabajo sobre Enseñanza de CHI, celebradas en Puertollano, del 4 a 8 de julio de 2005En este artículo se presenta una visión general sobre los estudios de Interacción Persona-Ordenador, dentro del Programa de Doctorado en Ingeniería Informática de la Escuela Politécnica Superior de la Universidad Autónoma de Madrid. En base a esto, se abordará la experiencia en la impartición de la asignatura Interfaces de Usuario Avanzadas, en concreto la experiencia llevada a cabo durante este último semestre. En el presente artículo se hablará sobre los contenidos de la asignatura, la evaluación continua aplicada a los alumnos, así como los resultados de las encuestas de la asignatura que reflejan el grado de satisfacción de los alumnos. Adicionalmente se aportarán conclusiones y se hablará de la experiencia de este curso y del Máster Europeo en Ingeniería Informática de la Comunidad de Madrid, dentro de los acuerdos alcanzados para la constitución de un área europea de educación superior a partir de la Declaración de Bolonia

Google Sites as a methodologic tool to share the knowledge construction

Esta contribución presenta una serie de experiencias llevadas a cabo por los autores en diversos niveles educativos y con finalidades distintas vinculadas al entorno Google Sites, el generador de páginas web que Google pone a la disposición de todos sus usuarios. Estas experiencias participan del enfoque competencial y ponen el punto de mira en la necesidad de enfrentar las prácticas docentes habituales a las posibilidades que ofrece la irrupción de las tecnologías de la información y comunicación (TIC). La exposición se inicia con el relato de las diversas experiencias pilotadas hasta el momento, para que el lector pueda vislumbrar el potencial de cada una de ellas. A continuación, se discuten las virtudes del uso didáctico de Google Sites en función de los retos que demanda la sociedad de las tecnologías para el aprendizaje y el conocimiento (TAC). Finalmente, se lleva a cabo una reflexión sobre las posibilidades de uso efectivo de estos entornos en el sistema educativo actual.The proposals follow the key competences approach and pretend to face everyday teaching practices with the range of options ICT offers. The paper starts with the description of some actual teaching practices in order that the reader can value the potential they have. Then, learning and knowledge technologies will be treated through a reflection of the challenges that Google Sites offers to the society. A reflection about the actual possibilities of working with these web environment tools will close the paper