Multi-objective Reinforcement Learning

In this talk we present PQ-learning, a new Reinforcement Learning (RL) algorithm that determines the rational behaviours of an agent in multi-objective domainsThis work is partially funded by: grant TIN2009-14179 (Spanish Government, Plan Nacional de I+D+i) and Universidad de Málaga, Campus de Excelencia Internacional Andalucía Tech. Manuela Ruiz-Montiel is funded by the Spanish Ministry of Education through the National F.P.U. Progra

Aproximación Funcional en Aprendizaje por Refuerzo Multi-Objetivo

Describimos y comparamos dos t ecnicas para combinar m etodos de aproximaci on funcional y de escalarizaci on, con el objetivo de resolver problemas de aprendizaje por refuerzo con espacios de estados de tama~no elevado y con m ultiples objetivos. Se analizan los resultados de ambas t ecnicas al resolver un problema de aprendizaje.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

New computational techniques for detecting, learning and managing criteria in design problems

Los problemas de diseño suelen involucrar la consideración de criterios de diferente naturaleza, incluyendo necesidades técnicas, económicas, sociales y medioambientales, entre otras. Las herramientas CAD tradicionales ayudan a los diseñadores en la representación, modificación, análisis, documentación y evaluación de sus diseños. Sin embargo, los ordenadores pueden cumplir un papel más complejo: el del diseño computacional, consistente en la síntesis de nuevas soluciones de diseño. Esta tesis se ha enfocado en este rol no trivial, siendo su objetivo general el desarrollo de nuevas técnicas de diseño computacional capaces de considerar criterios de diseño. Algunos aspectos del proceso de diseño pueden entenderse como una búsqueda o exploración en un espacio de alternativas de diseño. Esta perspectiva facilita la explotación de técnicas computacionales para implementar métodos que sinteticen soluciones de acuerdo al propósito de un problema de diseño dado. Para el desarrollo de metodologías de diseño computacional, es necesario un sistema generativo capaz de representar y generar el espacio de diseño. En esta tesis hemos considerado el formalismo de las gramáticas de formas dado su uso intensivo en la literatura de diseño computacional y dada también su versatilidad. El enfoque tradicional a la hora de usar gramáticas de formas consiste en codificar el conjunto completo de criterios de diseño en las mismas reglas, dando lugar a gramáticas expertas que son difíciles de crear, modificar y mantener. Este tipo de gramáticas también promueve soluciones previsibles, dado que las reglas han sido creadas con el conocimiento previo de los requisitos que las formas han de cumplir. En esta tesis hemos considerado otra alternativa, que consiste en reducir o minimizar el número de criterios codificados en las reglas. Así, tratamos con gramáticas más ingenuas que no pueden producir soluciones factibles y necesitan de un mecanismo de control que guíe la derivación hacia buenos diseños. Concretamente, hemos utilizado algoritmos de búsqueda y métodos de aprendizaje por refuerzo para llevar a cabo dicho control. Las principales conclusiones de esta tesis pueden ser resumidas como sigue: 1. Se ha propuesto un esquema de clasificación para posibles enfoques al diseño computacional basados en gramáticas de formas. Concretamente, consideramos dos aspectos: el primero considera la cantidad de criterios de diseño codificados en las reglas, siendo las gramáticas puramente expertas aquellas en las que la totalidad de los criterios han sido codificados de esta manera. Cuantos menos criterios sean codificados en las reglas, más ingenua puede ser considerada la gramática. El segundo considera la complejidad del método de control empleado, desde sistemas que carecen de dicho sistema de control hasta sistemas que emplean mecanismos complejos. 2. Se ha desarrollado una metodología de diseño computacional basada en gramáticas de formas expertas y un mecanismo de control complejo. Dicha metodología está basada en la idea de codificar algunos requisitos de diseño en las reglas y utilizar el resto de manera explícita para evaluar las formas producidas a lo largo del proceso de generación, guiando dicho proceso hacia buenos diseños. Las gramáticas de formas involucradas son por tanto menos expertas que en el enfoque tradicional. En esta configuración distinguimos entre criterios que se especifican mejor geométricamente (dentro de las reglas) y criterios que se expresan mejor como predicados lógicos (restricciones y objetivos usados en un algoritmo de búsqueda). 3. Se ha desarrollado una herramienta software (ShaDe) para editar y ejecutar gramáticas de formas con capas, restricciones y objetivos. 4. Se ha desarrollado una metodología de diseño computacional basada en gramáticas de formas ingenuas y un mecanismo de control complejo. En esta metodología se usa el conjunto completo de criterios de diseño como recompensas en un proceso de aprendizaje por refuerzo, con el objetivo de aprender un heurístico que determine cómo aplicar las reglas del sistema generativo. Se han presentado dos alternativas para aprender las políticas de aplicación de reglas, dependiendo de la manera de tratar la naturaleza multi-objetivo del diseño. En la primera, las recompensas son escalarizadas. La segunda alternativa no escalariza las recompensas; han de aprenderse múltiples políticas que pueden ser utilizadas para producir un conjunto de soluciones óptimas. 5. Se ha propuesto un nuevo algoritmo de aprendizaje por refuerzo multiobjetivo (PQ-learning). En el contexto de la metodología en la que no se escalarizan las recompensas, hemos propuesto una nueva técnica de aprendizaje por refuerzo, basada en una extensión directa del algoritmo Q-learning, que trabaja con recompensas vectoriales. Este nuevo método ha sido probado en dos problemas pertenecientes a un benchmark de aprendizaje por refuerzo multi-objetivo. 6. Las metodologías desarrolladas han sido puestas en práctica en diferentes escenarios relacionados con la arquitectura. 7. Se han llevado a cabo dos estudios empíricos con estudiantes de arquitectura. Particularmente, fueron asociados con las metodologías correspondientes a gramáticas de formas ingenuas con y sin control, para estudiar diversos aspectos como la reacción de los alumnos y la viabilidad de los sistemas propuestos. A continuación detallamos los aspectos de esta tesis que merecen una investigación más profunda: -La extensión de las metodologías propuestas a tipos más complejos de gramáticas de formas, tales como gramáticas tridimensionales o incluso paramétricas. -Los casos de aplicación que involucran gramáticas ingenuas y aprendizaje por refuerzo escalarizado se basan en una división en fases del problema de diseño considerado. Esta división reduce el conjunto de criterios que han de tenerse en cuenta en cada paso. Sin embargo, también introduce una limitación importante que puede afectarnos en el caso de problemas de diseño más complejos: el proceso de aprendizaje sólo trata con los criterios locales de cada fase, y por tanto las políticas no pueden reflejar aspectos globales. Una posibilidad para afrontar dicho problema es la integración con técnicas más potentes como la generalización no lineal ofrecida por las redes neuronales. -Hemos mostrado cómo la metodología basada en gramáticas ingenuas y PQ-learning puede ser utilizada para abordar problemas geométricos, pero es necesaria más investigación para aplicar dicha metodología en escenarios reales. Creemos que esto puede conseguirse por medio de la integración de PQ-learning con técnicas de generalización. -Finalmente, la aplicación de las metodologías propuestas a otros ámbitos de diseño es también una línea importante de investigación

La probabilidad y la música a través del diseño de una unidad didáctica

El presente trabajo tiene la finalidad de relacionar a la probabilidad con la música, a través del diseño de una secuencia didáctica para hacer que el alumno sea reflexivo, desarrolle habilidades que son señaladas en el modelo educativo del Instituto Politécnico Nacional (2004), como la observación, percepción, operatorias, entre otras. Para la construcción de la unidad didáctica nos basamos en los estudios realizados por Diennes, (1970). Se trabajó la teoría de la probabilidad a través de lo que denominamos como El Juego de dados Musical de Mozart (1777). Se presentan resultados preliminares después de haberla puesto en práctica con estudiantes de nivel superior de la carrera de Ingeniería en Sistemas. Fueron 35 estudiantes de un grupo de tercer semestre que llevaban la materia de Probabilidad en una Escuela Superior de la Ciudad de México

Aspectos cognitivos y actitudinales mostrados por estudiantes de ingeniería al resolver una situación sobre variación: un análisis cuantitativo

En este documento se muestran los resultados del análisis cuantitativo de las respuestas de estudiantes que cursan el 1º y el 3er semestre de ingeniería en sistemas computacionales, ante un problema sobre el concepto de variación en el contexto de la física, en donde se pretenden revisar los conocimientos y actitudes que muestran los estudiantes para identificar oportunidades de aprendizaje cercanos a su futura práctica profesional. Esta situación en contexto se presentó en una página web, a través de la cual se pudieron revisar las respuestas dadas por los alumnos, mediante su clasificación en categorías y la elaboración de gráficas. Los resultados del análisis de los datos muestran que para los alumnos, el contexto de la ciencia representa un obstáculo en la resolución de problemas y al mismo tiempo una oportunidad de aprendizaje

Introduction to the special issue on cross-language algorithms and applications

With the increasingly global nature of our everyday interactions, the need for multilingual technologies to support efficient and efective information access and communication cannot be overemphasized. Computational modeling of language has been the focus of Natural Language Processing, a subdiscipline of Artificial Intelligence. One of the current challenges for this discipline is to design methodologies and algorithms that are cross-language in order to create multilingual technologies rapidly. The goal of this JAIR special issue on Cross-Language Algorithms and Applications (CLAA) is to present leading research in this area, with emphasis on developing unifying themes that could lead to the development of the science of multi- and cross-lingualism. In this introduction, we provide the reader with the motivation for this special issue and summarize the contributions of the papers that have been included. The selected papers cover a broad range of cross-lingual technologies including machine translation, domain and language adaptation for sentiment analysis, cross-language lexical resources, dependency parsing, information retrieval and knowledge representation. We anticipate that this special issue will serve as an invaluable resource for researchers interested in topics of cross-lingual natural language processing.Postprint (published version

Factores motivacionales y rendimiento académico en estudiantes de tercer año de la carrera de Psicología de la UNAN–Managua, (segundo semestre 2013). Estudio de casos

El presente trabajo analiza la motivación que en el ámbito de la enseñanza- aprendizaje tuvieron los estudiantes del tercer año de Psicología de la UNAN-Managua, durante el segundo semestre 2013. Se hace referencia a factores que incitan al estudiantado por interesarse en hacer preguntas, participar de forma activa en clase; realizar las actividades propuestas, ejercitarse con las técnicas adecuadas de estudio, la investigación y realización de campo o experimentales. El objetivo propuesto consistió en el análisis de los factores motivacionales y rendimiento académico obtenido por los estudiantes objeto de estudio, durante el período seleccionado. Se utilizó el enfoque cualitativo para el estudio de casos múltiples. De igual manera, es una investigación descriptiva y de corte transversal. Para la recolección de la información, se utilizaron instrumentos tales como, grupos focales (se realizaron dos). De igual manera, se realizaron entrevistas foclaizadas a cinco estudiantes, con el fin de conformar la muetsra. Por último se consultó el acta de calificaciones para obtener los promedios académicos. Otras técnicas de recopilación utilizada, fue la utilización de dos informantes claves y tres expertos, a los que se les realizó de forma individual una entrevista focalizada, permitiendo registrar en forma directa sus experiencias y opiniones respecto al tema. Para el procesamiento de la información, se utilizó el análisis de contenido, permitiendo la triangulación de la misma

Adaptación de una mesa ampliable para juegos de rol

[ES] Se realiza un rediseño de una mesa ampliable mediante un sistema de rotación, para pasar de 4 a 8 personas y transformarla en una mesa adaptada especialmente para juegos de rol con múltiples accesorios para cada jugador. Pensado para poder utilizar la mesa tanto en su uso cotidiano de comedor o de principal de la casa, como para disponer de ella para juegos de rol por sus dimensiones. Se aplican modificaciones en el diseño de una mesa ampliable añadiendo accesorios que complementen las actividades alternativas de juego y que de otra manera son incómodas de realizar para el usuario mientras realiza estas acciones.[EN] The redesign of an expandable table is made by a rotation system. It¿s ment to go from 4 to 8 people and transform into a table specially thought for role-gaming with multiple accesories for each player. Designed to be used both in your daily use of dinning room or main house, as well as to have it for role-playing games for the dimensions used. Modifications are applied to the design of an expandable table by adding accessories that complement alternative gaming activities and that are otherwise uncomfortable for the user to perform while performing these actions.Ruiz Montiel, F. (2020). Adaptación de una mesa ampliable para juegos de rol. http://hdl.handle.net/10251/152170TFG

Desarrollo de plataformas electroquímicas para biosensado directo de analitos de relevancia alimentaria y clínica en muestras de elevada complejidad

La evolución de la sociedad está generando nuevas inquietudes, como la garantía de la seguridad alimentaria y el acceso físico y económico a alimentos en cantidad suficiente, seguros y nutritivos. En este sentido, las enfermedades o trastornos asociados a la alimentación cobran cada día mayor importancia, como por ejemplo las alergias alimentarias, reacciones adversas a los alimentos producidas por un mecanismo inmunológico como consecuencia de la ingesta, contacto o inhalación de ciertas proteínas presentes en los alimentos, que pueden generar, incluso a niveles de traza, respuestas exacerbadas del sistema inmunológico. La alergia alimentaria afecta a alrededor del 5 % de la población adulta y al 80 % de la población infantil, presentando comúnmente sintomatologías locales (problemas digestivos, vómitos o dolor abdominal), sistemáticas (problemas cutáneos, respiratorios o cardiovasculares), e incluso severas, como el shock anafiláctico..

The ordo decurionum in the roman west: municipal administration and local senatus functioning

En el presente trabajo, utilizando como base la legislación municipal hispana, profundizaremos en los decuriones y senados locales del Occidente romano durante el Alto Imperio. El ordo decurionum estaba integrado por los miembros del senado local y sus familias. De ellos dependía la aprobación de los decretos decurionales, medidas que permitían la actuación de los magistrados, el mantenimiento de la pax deorum y la resolución de litigios de pequeña cuantía. Para ahondar en el carácter socio-político de este grupo social es fundamental analizar las leyes municipales hispanas, corpora cuyas normativas son imprescindibles para conocer las responsabilidades del consejo, así como sus requisitos y privilegios.In the present paper, using as a basis the Roman Spain municipal laws, we will delve into the local decurions and senates of the Roman West during the High Empire. The ordo decurionum consisted of members of the local senate and their families. On them depended the approval of the decurional decrees, measures that allowed the action of the magistrates, the maintenance of the pax deorum and the resolution of small disputes. To delve into the socio-political character of this social group, it is essential to analyze the Hispanic municipal laws, corpora corpus whose regulations are essential to know the responsibilities of the council, as well as its requirements and privileges