A review of two decades of research on the application of multicriteria decision making techniques to evaluate e-learning’s effectiveness

Multicriteria decision-making (MCDM) techniques have been widely adopted to evaluate the effectiveness of e-learning. However, the literature review has not kept pace with the rapid accumulation of knowledge in this field. This study systematically reviews the MCDM techniques applied in e-learning issues. In total, we reviewed 77 published studies selected from the Web of Science and Scopus databases. We classified the selected studies by the publication year, the authors’ nationality, and the type of MCDM techniques examined. We further discovered that the majority of previous studies adopted Information System Success Model (D&M model) which was proposed by Delone and McLean in 1992. Due to limited features that were provided by the e-learning system back in the mid-2000, the original D&M model might not consider some significant factors such as students’ characteristics, instructors’ characteristics, user interface and learning community. The goals of this systematic literature review are to understand if the original D&M model is addressed in modern e-learning and to determine if new factors have emerged to evaluate e-learning’s effectiveness but not captured by the original D&M model. This review contributes three new theoretical perspectives. First, reclassification of the D&M model is conducted to include learners’ characteristics, instructors’ characteristics, user interface, and learning community. Second, this study discovers that there is a need to perform reclassification of overlapping subfactors. Third, this review also identifies that the dependencies among the factors in the D&M model are inadequately examined in previous studies. Researchers can utilize the findings of this study as a foundation to formulate their research frameworks, and practitioners can integrate the significant factors identified in this study into their decision-making processes when developing e-learning at their institutions

Intelligent recruitment: how to identify, select, and retain talents from around the world using artificial intelligence.

This research analyzes how digital technologies contribute to improving the successive stages of the recruitment process: identifying, selecting, and retaining talented people. E-recruitment is an emerging and polymorphous phenomenon that starts with identification of candidates on social networks, continues through gamification of recruitment and job interviews with chatbots, and ends by matching a candidate and a job using artificial intelligence. These technologies are particularly useful for social businesses looking to recruit not only skilled people, but above all employees who have behaviors and values that match their mission. The methodology is based on grounded theory, participant observation, and qualitative data collection. A multiple case study is designed to analyze, compare, and combine several technologies dedicated to recruitment: (1) a social network with LinkedIn, (2) a MOOC with Udacity, (3) a serious game called Reveal from L'Oréal, (4) a chatbot called Ari from TextRecruit, and (5) a massive data analysis matching system with Randstad.tech. The discussion examines the respective performance and limits of these tools and their convergence via a progressive integration that leads to an uberization of recruitment. Managerial recommendations are formulated to support recruiters in their adoption of e-recruitment

MUSIC-MAS: Modelling a Harmonic Composition System with Virtual Organizations to Assist Novice Composers

Many music students today experience difficulties in composing melodies without a prior harmonical guide. While harmony can be helpful in creating a melody the generation of harmony is challenging due to the many factors that must be taken into account, such as style, harmonic functions, musical consonance or aesthetics. Although various solutions have been proposed in the past, our study employs a different expert solution based on virtual organizations to make musical harmonies, which can assist novice improvisers and/or composers. The virtual organizations are implemented with Multi-Agent System (MAS) using PANGEA (Platform for Automatic coNstruction of orGanizations of intElligent Agents), a platform to develop different multiagent systems. The main goal is to simulate an expert multiagent system that can compose harmony following specific rules. To do so, the Harmony Search Algorithm is implemented as the main behavior of the composer agent, and adapted to a Belief-Desire-Intention architecture. The application of a VO has not been previously used in the development of this kind of expert system in music. We measured the quality of the music obtained, by minimizing a mathematical function. Additionally, we developed an evaluation test that positively validates the musical results from the perspective of consonance and usefulness of the composers

Influence of employer support for professional development on MOOCs enrolment and completion: Results from a cross-course survey

Although the potential of open education and MOOCs for professional development is usually recognized, it has not yet been explored extensively. How far employers support non-formal learning is still an open question. This paper presents the findings of a survey-based study which focuses on the influence of employer support for (general) professional development on employees’ use of MOOCs. Findings show that employers are usually unaware that their employees are participating in MOOCs. In addition, employer support for general professional development is positively associated with employees completing MOOCs and obtaining certificates for them. However, the relationship between employer support and MOOC enrollment is less clear: workers who have more support from their employers tend to enroll in either a low or a high number of MOOCs. Finally, the promotion of a minimum of ICT skills by employers is shown to be an effective way of encouraging employee participation in the open education ecosystem.JRC.J.3-Information Societ

Effectiveness of e-cognocracy: A social-economic approach

Desde que a comienzos del siglo XXI se fijó en Lisboa el plan estratégico de la Unión Europea (Lisboa, 2000), tendente a conseguir que esta zona sea la más competitiva en la conocida Sociedad del Conocimiento (SC) (Bell, 1973; Drucker, 1969, 1994; Faure et al., 1972; Stehr, 1994; UNESCO, 2005), uno de los términos que más interés está despertando es el de Gobierno Electrónico (e-Gobierno). Este concepto se encuentra en constante estado de evolución y se ha convertido en una expresión que abarca multitud de actividades e intentos de innovación y modernización en el campo de la gestión pública (Wimmer, 2002). Layne and Lee, (2001) afirman que un objetivo importante del e-Gobierno es la prestación de servicios e información más rápidos y más baratos para los ciudadanos, socios comerciales, empleados, otros organismos y agencias gubernamentales. Estos autores también propusieron una evolución del gobierno electrónico de cuatro etapas: (1) la catalogación; (2) la transacción; (3) la integración vertical y (4) la integración horizontal. Los representantes elegidos por el pueblo deben aprovechar el uso de las TIC para acercarse a la sociedad, fomentar la participación democrática, contribuir a una buena administración y mejorar la efectividad, la eficacia y la eficiencia de las Administraciones Públicas. En abril de 2010, Moreno-Jiménez propuso la aproximación EF3 (EF3-approach) a la hora de abordar el comportamiento de los sistemas, la cual contempla las siguientes ideas: a) la efectividad, asociada a la planificación estratégica o comportamiento a largo plazo y a la detección de los criterios relevantes para la resolución de un problema (hacer lo correcto); b) la eficacia asociada a la planificación táctica o comportamiento a medio plazo y a la consecución de las metas marcadas para los objetivos fijados y c) la eficiencia asociada a la planificación operativa o comportamiento a corto plazo y a la consecución de las metas con la mejor asignación de recursos posibles (hacerlo correctamente). En síntesis, lo que se postula es lograr un nuevo tipo de gestión de lo público empleando convenientemente el uso de las TIC y que, además de garantizar la eficacia (satisfacer las necesidades de los ciudadanos), y la eficiencia (optimizar los recursos) del sistema, los modelos de intervención democrática se centren en su efectividad. Aprovechando el continuo desarrollo de la tecnología, también es necesaria una profunda reflexión sobre la orientación que debe tener la democracia en el futuro y las posibilidades que ofrece la red. En los últimos años, la consideración del ser humano en un contexto holístico y sistémico y la utilización de la búsqueda del conocimiento como criterio esencial que guíe el comportamiento de los individuos y de los sistemas, han llevado a la búsqueda de alternativas democráticas que recojan estas ideas (Moreno-Jiménez, 2006). Para construir ese futuro es preciso la mejora de las democracias actuales o habilitar nuevos modelos democráticos que, aprovechando el potencial de la Sociedad del Conocimiento, puedan dar respuesta a los nuevos retos y necesidades que en ella se plantean. En este sentido, la e-Cognocracia (Moreno-Jiménez 2003, 2004, 2006; Moreno-Jiménez y Polasek, 2003, 2004, 2005), es un nuevo modelo de democracia que combinando la democracia representativa y la directa permite: i) la co-creación en las diferentes etapas de la metodología científica utilizada en la resolución de los problemas planteados en el ámbito de las decisiones públicas referidas al gobierno de la sociedad, ii) la co-decisión entre ciudadanos y representantes a la hora de seleccionar la mejor opción, y iii) la cognición a través de la formación continuada de la ciudadanía mediante la democratización del conocimiento derivado de la resolución científica del problema . Este nuevo sistema democrático utiliza la decisión multicriterio como soporte metodológico, la red como soporte de comunicaciones y el sistema democrático como elemento catalizador del aprendizaje. Además, pretende potenciar la participación y el control de los ciudadanos en las decisiones públicas, así como mejorar la transparencia de los procedimientos seguidos. Las decisiones siguen siendo tomadas por la mayoría de la ciudadanía, pero a diferencia de lo que ocurre en la democracia representativa, la e-Cognocracia, además de no excluir ninguna idea del proceso de resolución, potencia la creatividad e innovación de los ciudadanos (Moreno-Jiménez, 2003). Durante la última década, la inclusión de los ciudadanos en la toma de decisiones políticas a través de la participación electrónica (e-Participación) ha recibido mucha atención. Macintosh (2004) definió este concepto como el uso de las TIC para ampliar y profundizar la participación política de los ciudadanos, para que puedan conectarse entre sí y con sus representantes electos. Con el uso de las TIC en la participación ciudadana se ha empezado a ver un cambio en la misma. Es un cambio de cultura y de hábitos cotidianos, un cambio en la manera de relacionarse y de observar el mundo que les rodea. En el marco de esta tesis, la e-Participación puede aplicarse, en general, a los dos ámbitos contemplados en la Administración Pública (Moreno-Jiménez, 2009): (i) provisión de servicios (e-Administración) y (ii) participación política en los procesos democráticos (e-Gobernanza). No obstante, tradicionalmente, la e-Participación se ha venido asociando exclusivamente al último ámbito de los dos considerados: la participación política o e-Gobernanza en su sentido más amplio (participación en la toma de decisiones públicas relativas al gobierno de la sociedad). Con esta interpretación de la e-Participación, la e-Cognocracia puede considerarse como un nuevo modelo de participación, y por lo tanto incluida en la misma, pues uno de sus objetivos es una toma de decisiones pública colaborativa. Cada vez se habilitan más espacios donde los ciudadanos pueden participar en la definición, gestión y desarrollo de la agenda institucional. Este hecho ha provocado que la participación ciudadana se esté convirtiendo en uno de los grandes desafíos a los que se enfrentan los gobiernos del XXI. Es por ello, por lo que las Administraciones deben, necesariamente, incrementar el nivel de información disponible, y al hacerlo ponen a disposición de la ciudadanía más herramientas para el segui¬miento, el control y la evaluación de las políticas públicas. La participación ha de tener una traslación en términos prácticos, de manera que los ciudadanos puedan constatar su incidencia y sus resultados. De esta manera, es conveniente desarrollar procedimientos de evaluación conjunta y participada, para poder medir el alcance y el impacto de una experiencia de e-Participación. La evaluación no sólo permite visualizar los resultados de una iniciativa y el grado de cumplimiento de los objetivos propuestos sino que expresa una voluntad de rigor, transparencia, análisis y mejora continuada que refuerza la consis¬tencia y credibilidad de las experiencias participativas. Con la evaluación se pretende realizar un análisis lo más riguroso posible acerca de las distintas etapas y resultados alcanzados por las experiencias de e-Participación, de tal forma que se pueda determinar, entre otros aspectos, la efectividad, la eficacia, la eficiencia (EF3-approach) así como el impacto económico, social y ambiental de las acciones. Aunque la importancia de la evaluación de una iniciativa de e-Participación es reconocida por el gobierno y el mundo académico, las evaluaciones rigurosas de e-participación son difíciles de encontrar (Macintosh and White, 2008). La evaluación ex-post de un experiencia de e-Participación nos permite analizar el impacto que ha tenido ésta, así como el análisis de la utilización práctica de los instrumentos de participación. Además, nos sirve para conocer qué modificaciones podrían ser necesarias a efectos de poder mejorar, desde el punto de vista de la efectividad, eficacia y eficiencia, las actividades futuras. Además, estas iniciativas participativas, llevan asociado un coste económico, que en la mayoría de los casos está financiado con fondos públicos, por lo que sería conveniente la valoración de las mismas, con el fin de ser, ante todo, transparente y consecuente con los objetivos estratégicos perseguidos, ya que éstos, deberían ser verificables y demostrables económica y socialmente. De esta manera, se presenta la necesidad de cuantificar, monetariamente, tanto los aspectos económicos, sociales y ambientales, como el valor añadido generado de la aplicación práctica de este tipo de iniciativas de e-Participación (Pérez Espés et al., 2012). Para poder dar una respuesta apropiada a los nuevos retos y necesidades que en el ámbito de las decisiones públicas relativas al gobierno de la sociedad, plantea la Sociedad del Conocimiento, se propone el desarrollo de esta tesis Doctoral: Efectividad de la e-Cognocracia. Una aproximación económica-social. El principal objetivo de esta tesis es establecer un marco general que permita la evaluación, en términos de efectividad, eficacia y eficiencia, de una experiencia de e-Participación basada en la e-Cognocracia. Así mismo, se extenderá para la evaluación de cualquier experencia de e-Participación. Además de valorar, en términos monetarios, los aspectos económicos, sociales y ambientales, de la implementación y el desarrollo de una experiencia de e-Participación basada en la e-Cognocracia. Esta valoración permitirá, disponer de información ecónomica y social relativa al verdadero valor añadido que aportan estas iniciativas a la sociedad en general. A continuación, en los dos apartados siguientes, se detallan la metodología aplicada para abordar los objetivos propuestos y la estructura seguida en el desarrollo de esta tesis. Metodología: Para la elaboración de esta tesis se va a emplear una metodología mixta, a través de los desarrollos teóricos basados en los resultados obtenidos de nuestro caso de estudio: la experiencia real llevada a cabo en Cadrete (Zaragoza, España). A continuación, se presenta el caso de estudio y las técnicas aplicadas. Caso de estudio: Para la consecución y el logro de los objetivos propuestos, se utiliza como caso de estudio: la experiencia de e-Participación (basada en la e-Cognocracia) para el diseño de políticas públicas llevadas a cabo en Cadrete. Esta iniciativa fue realizada a lo largo del 2010 dentro del proyecto investigador multidisciplinar ¿Gobierno Electrónico, e-Participación y Democratización del Conocimiento¿ que, bajo la dirección del profesor Moreno-Jiménez fue ejecutado por un grupo de 41 personas, entre las que se encuentra la autora de esta tesis. Este municipio forma parte, junto al Gobierno de Aragón y el Ayuntamiento de Zaragoza, del conjunto de instituciones que habitualmente colaboran en la línea investigadora del Grupo Decisión Multicriterio Zaragoza. La justificación de la elección de esta experiencia de e-Participación como caso de estudio, se centra, fundamentalmente, en que es la única experiencia completa de aplicación de la e-Cognocracia (tema principal de la tesis) y que fue elaborada por el GDMZ por lo que disponemos de los datos de la misma. Técnicas aplicadas: i) Modelos de Ecuaciones Estructurales (MES): Se crea un marco téorico basado en la EF3-approach para la evaluación de la e-Cognocracia. Este marco llamado teórico EF3-marco (theoretical EF3-framework) es evaluado a través de una encuesta implementada en la experiencia real llevada a cabo en Cadrete usando MES. Debido al número limitado de respuestas, no fue posible validar el marco teórico propuesto (Moreno-Jiménez, Pérez Espés and Rivera, 2013) para la evaluación conjunta de todos los aspectos definidos en el theoretical EF3-framework. Sin embargo, esto nos ha permitido aprovechar las ideas extraídas para extender el marco para evaluar cualquier experiencia de e-Participación no sólo la e-Cognocracia. ii) Grupo de expertos: La extension del theoretical EF3-Framework ha sido evaluada por un grupo de expertos internacionales a través de un cuestionario. EF³-framework es el nombre del marco validado por los expertos. iii) Técnicas de Decisión Multicriterio El EF³-framework se aplica a nuestro caso de estudio (la experiencia de Caderete). Para valorar esta iniciativa se utiliza la técnica de decisión multicriterio denominada Proceso Analítico Jerárquico (AHP). iv) Aproximación económico-social (SROI- Social Return on Investment ) Se realiza una aproximación social-económica a través de la metodología del SROI, la cual nos permite cuantificar, monetariamente, los aspectos económicos, sociales y ambientales, de la implementación y desarrollo de una iniciativa de e-Participación basada en la e-Cognocracia. Así como, disponer de información económica y social relativa al valor añadido que aportan estas experiencias. Estructura y conclusiones Esta tesis doctoral está dividida en dos partes. La primera se compone de dos capítulos donde se analiza el marco teórico para el estudio del gobierno de la sociedad y los modelos de democracia. El primer capítulo analiza el impacto que han tenido las TIC en el gobierno de la sociedad y en la gestión pública, así como el desarrollo que está teniendo la aparición del concepto del e-Gobierno en la Administración Pública y el alcance en la sociedad. Mientras que el segundo capítulo se centra en los diferentes modelos de democracia existentes hasta la fecha, haciendo más hincapié y explicando de manera detallada el nuevo modelo de democracia propuesto por José Mª Moreno en el año 2003 bajo el nombre de e-Cognocracia. La segunda parte está formada por dos capítulos empíricos. En el tercer capítulo, se estudia la relación entre e-Participación y e-Cognocracia y se presenta un marco (EF3-framework) para la evaluación, en términos de efectividad, eficacia y eficiencia, de cualquier experiencia de e¬-Participación. La iniciativa de Cadrete es evaluada y valorada siguiendo el marco EF3 propuesto en dicho capítulo. Y en el cuarto y último capítulo se valora, monetariamente, la implementación y el desarrollo de la experiencia de Cadrete. Esta valoración nos permite, a través de la comparación de los beneficios económicos y sociales con la inversión realizada, tener una visión global sobre el verdadero valor añadido que aportan las iniciativas de e-Participación a la sociedad. Referencias Bell, D. (1973). The Coming of Post-Industrial Society. N.Y. Basic Books. Drucker, P. F. (1969). The Age of Discontinuity. Guidelines to our Changing Society. New York: Harper & Row. Drucker, P. F. (1994). The age of social transformation. The Atlantic Monthly, 273(11) (Boston, http://www.theatlantic.com/election/connection/ecbig/soctrans.htm). Faure, E., Herrera, F., Kaddoura, A., Lopes, H., Petrowsky, A., Rahnema, M., et al. (1972). Learning To Be. The World of Education Today and Tomorrow. Paris/London: UNESCO/Harrap. Layne, K. and Lee, J. (2001). Developing fully functional E-government: A four stage model, Government Information Quarterly, 18 (2) 122-137. Lisboa (2000). http://www.europarl.europa.eu/summits/lis1_es.htm Macintosh, A. (2004). Characterizing E-Participation in Policy-Making, In the Proceedings of the Thirty-Seventh Annual Hawaii International Conference on System Sciences (HICSS-37), January 5 ¿ 8, Big Island, Hawaii. Macintosh, A. and Whyte, A. (2008). Towards an Evaluation Framework for eParticipation. Transforming Government: People, Process and Policy, 2(1), 16-30. Moreno-Jiménez, J.M. (2003). Los Métodos Estadísticos en el Nuevo Método Científico. In Casas, J.M. y Pulido, A.: Información económica y técnicas de análisis en el siglo XXI. INE, 331-348. Moreno-Jiménez, J.M. (2004). E-cognocracia y Representación Democrática del Inmigrante. XVIII Anales de Economía Aplicada. León (CD). ISBN: 84-609-4715-7. Moreno-Jiménez, J.M. (2006). E-Cognocracia: Nueva Sociedad, Nueva Democracia. Estudios de Economía Aplicada 24(1-2), 559¿581. Moreno-Jiménez, J.M. (2009). Participación Ciudadana Electrónica en el Diseño de Políticas Públicas Locales. Universidad de Zaragoza (http://aragonparticipa.aragon.es/dmdocuments/Resumen%20e-cognocracia.pdf). Moreno-Jiménez, J.M., Pérez-Espés, C. and Rivera, P. (2013). Notes on an EF3-evaluation of e-Cognocracy. Proceedings 5th World Summit on the Knowledge Society 2012, Roma (Italia), June 2012. Moreno-Jiménez, J. M. and Polasek, W. (2003). E-democracy and Knowledge. A Multicriteria Framework for the New Democratic Era, Journal Multicriteria Decision Analysis, 12, 163-176. Moreno-Jiménez, J. M. and Polasek, W. (2004). E-cognocracy: combining e-democracy with knowledge networks. En Padget, J.; Neira, R. y Díaz de León, J.L. (Eds.) Research on Computing Science 8, 165-175. Méjico. Moreno-Jiménez, J. M. and Polasek, W. (2005). E-cognocracy and the participation of immigrants in egovernance. En Böhlen y otros (eds.): TED Conference on e-government 2005. Electronic democracy:The challenge ahead. University Rudolf Trauner-Verlag, Schriftenreihe Informatik, 13, 18-26. Pérez-Espés, C., Moreno-Jiménez, J.M. and Altuzarra, A. (2012). Algunas notas sobre la valoración económica de los procesos de participación ciudadana. Aplicación a la e-Cognocracia. Anales de Economía Aplicada 2012 ISBN: 978-84-15581-10-9. Stehr, N. (1994). Knowledge Societies: The Transformation of Labour, Property and Knowledge in Contemporary Society. London: Sage. UNESCO (2005). Towards Knowledge Societies. UNESCO World Report (available at http://unesdoc.unesco.org/images/0014/001418/141843.pdf) Wimmer, M. A. (2002). A European perspective towards online one-stop government: the eGOV project, in Electronic Commerce research and Applications, 1(1) 92-103

Elearning, Communication and Open-data: Massive Mobile, Ubiquitous and Open Learning

ABSTRACT: In MOOCs, learning analytics have to be addressed to the various types of learners that participate. This deliverable describes indicators that enable both teachers and learner to monitor the progress and performance as well as identify whether there are learners at risk of dropping out. How these indicators should be computed and displayed to end users by means of dashboards is also explained. Furthermore a proposal based on xAPI statements for storing relevant data and events is provided

ECO D2.5 Learning analytics requirements and metrics report

In MOOCs, learning analytics have to be addressed to the various types of learners that participate. This deliverable describes indicators that enable both teachers and learner to monitor the progress and performance as well as identify whether there are learners at risk of dropping out. How these indicators should be computed and displayed to end users by means of dashboards is also explained. Furthermore a proposal based on xAPI statements for storing relevant data and events is provided.Part of the work carried out has been funded with support from the European Commission, under the ICT Policy Support Programme, as part of the Competitiveness and Innovation Framework Programme (CIP) in the ECO project under grant agreement n° 21127