La perplejidad como herramienta para estimar la asignación de nivel de competencia en escritos de una lengua extranjera

The allocation of proficiency levels to utterances written by foreign language learners is a subjective task. Therefore, the development of methods to automatically evaluate written sentences can help both students and teachers. In this work, we have explored two different approaches to tackle this task by using the corpus CAES, which contains written utterances of learners of Spanish labelled with CEFR levels (up to C1). The first approach is a deep learning model called Deep-ELE which assigns proficiency levels to sentences. The second approach consists in studying the perplexity of sentences written by students of different levels, to later allocate levels to those sentences based on such an analysis. Both approaches have been evaluated, and results confirm that they can be used to successfully classify written sentences into proficiency levels. In particular, the Deep-ELE model reaches an accuracy of 81.3% and a weighted Cohen Kappa of 0.83. As a conclusion, this work is a step towards better understanding how natural language processing methods can help learners of a second language.La asignación de niveles de competencia a escritos producidos por aprendices de una lengua es una tarea altamente subjetiva. Es por esto que el desarrollo de métodos que evalúen escritos de manera automática puede ayudar tanto al profesorado como al alumnado. En este trabajo, hemos explorado dos vías mediante el uso del corpus CAES. Dicho corpus está formado por escritos de aprendices de español y etiquetado con niveles CEFR (hasta el C1). La primera aproximación es un modelo de aprendizaje profundo llamado Deep-ELE que asigna niveles de competencia a las frases. La segunda aproximación llevada a cabo ha consistido en estudiar la perplejidad de las frases de los estudiantes de distintos niveles, para luego clasificarlos en niveles. Ambas aproximaciones han sido evaluadas, y se ha comprobado que pueden usarse de manera exitosa para clasificar frases por niveles. En concreto, el modelo Deep-ELE obtiene una accuracy de 81,3% y un QWK de 0,83. Como conclusión, este trabajo es un paso para entender cómo las herramientas del procesado de lenguaje natural pueden ayudar a las personas que aprenden un segundo idioma

Gestión mecanizada del conocimiento matemático en topología algebraica

Esta tesis presenta una particularización de la Gestión del Conocimiento Matemático al caso de la Topología Algebraica. La Gestión del Conocimiento Matemático es una rama de las Ciencias de la Computación cuyo principal objetivo consiste en desarrollar asistentes para las matemáticas que incorporen cálculo, deducción e interfaces de usuario potentes que puedan mejorar el trabajo cotidiano de los investigadores en Matemáticas. Nuestra área de aplicación particular es la Topología Algebraica utilizando el sistema Kenzo como herramienta fundamental. Kenzo es un programa Common Lisp para la Topología Algebraica que fue desarollado por Francis Sergeraert. Podemos dividir en tres grandes bloques el trabajo presentado en la tesis que coinciden con los grandes objetivos de la Gestión del Conocimiento Matemático. Nuestra primera labor ha consistido en el desarrollo de un sistema llamado fKenzo, del inglés friendly Kenzo. Dicho sistema no sólo proporciona una intefaz de usuario agradable y cómoda para utilizar el sistema Kenzo, sino que también guía al usuario en la interacción con el sistema. El sistema fKenzo permite también la integración de otros sistemas de cálculo simbólico (como GAP) y demostradores de teoremas (por ejemplo, ACL2) mediante un sistema de módulos. La segunda parte de la tesis se centra en incrementar las capacidades computacionales del sistema Kenzo. Se han desarrollado tres nuevos módulos para Kenzo. El primero de los módulos permite estudiar el pushout de conjuntos simpliciales, una construcción en Topología Algebraica. El segundo implementa la noción de complejo simplicial. El último módulo permite estudiar propiedades de imágenes 2D y 3D gracias al cálculo de los grupos de homología asociados con las imágenes. Por último, debido a que el sistema Kenzo ha obtenido resultados que no han sido ni confirmados ni refutados por ningún otro medio queremos incrementar la confianza en la fiabilidad del sistema Kenzo mediante el uso de demostradores de teoremas. En concreto, hemos utilizado el demostrador de teoremas ACL2. ACL2 permite demostrar propiedades sobre sistemas implementados en el lenguaje Common Lisp, como es el caso de Kenzo. En nuestro trabajo nos hemos centrado en la certificación de la corrección de algunos fragmentos importantes del sistema Kenzo.The work presented in this thesis tries to particularize Mathematical Knowledge Management to Algebraic Topology. Mathematical Knowledge Management is a branch of Computer Science whose main goal consists in developing integral assistants for Mathematics including computation, deduction and powerful user interfaces able to make the daily work of mathematical researchers easier. Our application context is Algebraic Topology using the Kenzo system, a Common Lisp program devoted to Algebraic Topology developed by Francis Sergeraert, as an instrumental tool. We can split the work presented in this thesis into three main parts which coincide with the main goals of Mathematical Knowledge Management. Our first task has consisted in developing a system called fKenzo, an acronym of friendly Kenzo. This system not only provides a friendly graphical user interface to interact with the Kenzo system but also guides the interaction of the user with the. Moreover, fKenzo allows one to integrate other symbolic computation systems (such as GAP) and theorem prover tools (for instance, ACL2) by means of a plugin system. The second part of the thesis is focussed on increasing the computational capabilities of the Kenzo system. Three new Kenzo modules have been developed which in turn extend the fKenzo system. The first one allows us to study the pushout of simplicial sets, an important construction in Algebraic Topology. The second one implements the simplicial complex notion (a generalization of the graph notion to higher dimensions). The last module allows us to analyse properties of 2D and 3D images by means of the Kenzo system thanks to the computation of the homology groups associated with the image. Finally, since the Kenzo system has obtained some results not confirmed nor refuted by any other means, we are interested in increasing the reliability of the Kenzo system by means of Theorem Proving tools. Namely, in our work we have used the ACL2 Theorem Prover. ACL2 allows us to prove properties of programs implemented in Common Lisp, as in the Kenzo case. Then, in our work we have focussed on the certification of the correctness of some important fragments of the Kenzo system

Towards a framework for the democratisation of deep semantic segmentation models

Semantic segmentation models based on deep learning techniques have been successfully applied in several contexts. However, non-expert users might find challenging the use of those techniques due to several reasons, including the necessity of trying different algorithms implemented in heterogeneous libraries, the configuration of hyperparameters, the lack of support of many state-of-the-art algorithms for training them on custom datasets, or the variety of metrics employed to evaluate semantic segmentation models. In this work, we present the first steps towards the development of a framework that facilitates the construction and usage of deep segmentation models

Guiding the creation of deep learning-based object detectors

Object detection is a computer vision field that has applications in several contexts ranging from biomedicine and agriculture to security. In the last years, several deep learning techniques have greatly improved object detection models. Among those techniques, we can highlight the YOLO approach, that allows the construction of accurate models that can be employed in real-time applications. However, as most deep learning techniques, YOLO has a steep learning curve and creating models using this approach might be challenging for non-expert users. In this work, we tackle this problem by constructing a suite of Jupyter notebooks that democratizes the construction of object detection models using YOLO. The suitability of our approach has been proven with a dataset of stomata images where we have achieved a mAP of 90.91%.Comment: To be published in I Workshop en Deep Learning of the CAEPIA Conferenc

Creación de un servidor de integración continua para gestión y corrección de entregas de prácticas

In this work, we present a web application (http: //iscima.unirioja.es/) devoted to allow both students and teachers to check that lab submissions sa- tisfy a set of minimal requirements (related to struc- ture, compilation and satisfiability of tests). Moreover, we present a case study where the tool is applied to a programming module and the conclusions obtained from its use. The web application is not only used to automatize and reduce the teachers work, but it also serves to introduce concepts about continuous integra- tion and testing to the students. In this paper, we intro duce the web application, its technological solutions, and an evaluation of the tool based on the students improvements.En este trabajo se presenta un servidor web público (http://iscima.unirioja.es/) desarrollado para permitir, tanto a estudiantes como a profesores, comprobar que los envíos de prácticas de programa- ción cumplen una serie de requisitos mínimos (en cuanto a estructura de directorios, compilación y com- probación de tests). Para completar el trabajo se mues- tra un caso de uso de aplicación de la herramienta en una asignatura y las conclusiones de su uso. Además del servidor, que automatiza y reduce el trabajo de los profesores, también se ha aprovechado su utilización para inculcar a los estudiantes conceptos y metodolo- gías propias de Ingeniería del Software como la entrega continua y el uso de tests. En este trabajo se presenta dicha herramienta informática, sus soluciones tecnoló- gicas, y una valoración de los cambios detectados en el aprendizaje de los estudiantes por el uso de la misma

El grupo de investigación en educación superior en informática de La Rioja y País Vasco: telecolaboración, PBL, valoración por pares y proyectos fin de carrera

Nuestro equipo de investigación se compone de seis profesores de La Rioja que colaboramos estrechamente con tres profesores del País Vasco. Inicialmente nuestras experiencias innovadoras se centraron en asignaturas de bases de datos. Destacamos un experimento donde los estudiantes realizaban un trabajo junto a un alumno de otra universidad distante que cursaba una asignatura complementaria pero no idéntica. La situación forzaba a utilizar las TIC y otros medios telemáticos. En otro experimento con asignaturas similares de gestión de proyectos la participación de los alumnos de ambas universidades se centraba en valorar una selección de proyectos que contenía trabajos hechos en las dos universidades. El eje central de esta última experiencia es el aprendizaje basado en proyectos, como también lo fue en otra experiencia con bases de datos, a la que se ha incorporado el aprendizaje en espiral y las valoraciones entre pares. También hemos estudiado la tutorización de trabajos de fin de carrera, analizando las funciones que realizan los tutores y consiguiendo una clasificación de tipos de supervisión. Además hemos comparado la percepción del tutor y el alumno a la conclusión del proyecto, identificando algunas divergencias interesantes, y hemos utilizado redes sociales y una aplicación ad hoc como nexo de unión entre los alumnos que realizan el proyecto. Con alguna excepción, a lo largo de las experiencias docentes hemos recopilado datos (mediante encuestas, formularios, notas) relacionados con los objetivos a alcanzar. El análisis estadístico de los datos ha permitido identificar diferencias o correlaciones útiles para demostrar las mejoras alcanzadas. Explicamos nuestra experiencia al publicar en revistas como Computers and Education, Journal of Engineering Education o IEEE Transactions on Education o los congresos JENUI e ITICSE