Do editors have a silver bullet? an agent-based model of peer review

This paper presents an agent-based model of peer review that looks at the effect of different editorial policies of referee selection. We tested four author/referee matching scenarios as follows: random selection of referees, selection of referees with a similar status to submission authors, selection of higher-skilled and lower skilled referees. We tested these scenarios against three types of referee behaviour, ie., fair, unreliable and strategic and measured their implications for the quality and efficiency of the process. Results show that in case of randomness of referee judgment, any editorial policy is detrimental for peer review. If referees behave strategically, certain matching policies, such as selecting referees of good quality, might counteract possible bias

When competition is pushed too hard. An agent-based model of strategic behaviour of referees in peer review

This paper examines the impact of strategic behaviour of referees on the quality and efficiency of peer review. We modelled peer review as a process based on knowledge asymmetry and subject to evaluation bias. We built two simulation scenarios to investigate largescale implications of referee behaviour and judgment bias. The first one was inspired by "the luck of the reviewer draw" idea. In this case, we assumed that referees randomly fell into Type I and Type II errors, i.e., recommending submissions of low quality to be published or recommending against the publishing of submissions which should have been published. In the second scenario, we assumed that certain referees tried intentionally to outperform potential competitors by underrating the value of their submissions. We found that when publication selection increased, the presence of a minority of cheaters may dramatically undermine the quality and efficiency of peer review even compared with a scenario purely dominated by "the luck of the reviewer draw". We also found that peer review outcomes are significantly influenced by differences in the way scientists identify potential competitors in the system

A few bad apples are enough: an agent-based peer review game

Following previous agent-based research on peer review, this paper presents a game theory-inspired model that looks at peer review as a cooperation dilemma. We tested different scientist behaviours and network topologies in order to understand their implications on the quality, efficiency and type of resource distribution in the science system. We tested random, scale-free and small world networks connecting scientists and three types of referee behaviour: self-interested (providing unreliable opinion), normative referees (providing reliable opinion) and conformist reviewers (conforming to other referees' behaviour). Preliminary results indicate that differences in the combination of referee behaviour have significant impact on the quality of the process and that the percentage of conformists is one of the most crucial model parameters

De la Clase Tradicional a la Clase Invertida: Aplicación Práctica en Ingeniería del Software

Este artículo presenta la experiencia docente de transformación de la asignatura Ingeniería del Software de una clase tradicional dirigida por proyectos a una clase invertida. El cambio estuvo motivado principalmente por la baja satisfacción de los estudiantes, aunque también para mejorar la calidad de los resultados académicos. La clase invertida se ha llevado a cabo en el Grado de Ingeniería Telemática de la Universitat de València. Tras el cambio de metodología docente, la asignatura se ha seguido dirigiendo por proyectos, pero sin clases magistrales. Los estudiantes disponían de un conjunto de materiales explicativos que debían trabajar fuera del aula, tanto en formato de presentaciones subidas a una plataforma basada en Moodle (denominada Aula Virtual) como de videos subidos en YouTube. Dentro del aula se realizaban cuestionarios a través de la plataforma Socrative y se realizaban ejercicios prácticos en grupos dirigidos por proyectos. Los resultados del cambio de metodología docente se han evaluado en términos de satisfacción de los estudiantes tanto cuantitativa como cualitativamente. Además, se ha analizado el impacto en el rendimiento de los estudiantes a partir de los resultados académicos obtenidos en primera convocatoria. Los resultados muestran un aumento en la satisfacción y un mejor rendimiento académico.This article presents the educational experience of transforming the subject of Software Engineering from a traditional class directed by projects to a flipped classroom. The change was mainly motivated by the low satisfaction of the students compared to other subjects and to improve the academic results. The flipped classroom has been carried out in the Degree in Telematics Engineering at the Universitat de València. Teaching has continued to be directed by projects but there were no longer master classes where theoretical concepts were explained. Students had explanatory material, both in the form of presentations uploaded to a Moodle platform (Virtual Classroom) and videos uploaded on YouTube. In the classroom, the students had to fill out questionnaires through the Socrative platform and perform practical exercises in cooperative groups through projects. The results of the new teaching methodology have been evaluated in terms of students’ satisfaction, both quantitatively and qualitatively. Students' impressions were extracted through a questionnaire, with close response questions for the former and open response for the later. In addition, the impact on student performance has been analyzed, taking into account the academic results obtained in the first call. The results obtained show that flipped classroom improves both, satisfaction and academic results.Financiado por el proyecto “Desarrollo de Software desde una Perspectiva Industrial“ (UVSFPIE_GER17-589175) y por el proyecto MINECO TIN2015-66972-C5-5-R

Comparativa de Dos Técnicas Basadas en Roles para el Desarrollo de Software desde una Perspectiva Industrial

[EN] Both the degree in Telematic Engineering and the degree in Multimedia Engineering have a subject of Software Engineering. One competence of this subject is to train students as professionals for the real world. For this aim, we have applied two versions of a role-playing game where there are both clients, who ask for a system development project, and developers. In the degree in Telematic Ingineering, the teacher plays the role of client, while students play the role of developers. Regarding the degree of Multimedia Engineering, students play both the role of client and developer at the same time (for different projects). In this paper, we tackle both experiences and we show a comparative of results. For Telematic Engineering, we ensure that the workload is the same for all the students. Moreover, the teacher can control directly the work of the students since he/she knows perfectly the project that needs to be developed. Regarding Multimedia Engineering, we try to enhance the students’ creativity since they must devise themselves a project to develop. Moreover, the students learn how to develop both roles, which can be useful for the real world.[ES] Dentro de los grados de Ingeniería Telemática e Ingeniería Multimedia se imparte la asignatura de Ingeniería del Software. Una de las competencias de esta asignatura es formar a los alumnos como profesionales para el mundo real. Para ello, hemos aplicado dos variantes de un juego de rol donde hay clientes, que solicitan un proyecto informático, y desarrolladores. En el Grado de Ingeniería Telemática (GIT), el rol de usuario final lo tomaba un único profesor, mientras que los usuarios jugaban el rol de desarrolladores. En el Grado de Ingeniería Multimedia (GIM), los estudiantes jugaban a la vez el rol de cliente y de desarrolladores (para proyectos distintos). En este artículo se abordan ambas experiencias y se presenta una comparativa de los resultados obtenidos con ellas. En el caso de GIT se garantiza que la carga de trabajo es para todos los estudiantes la misma. Además, el profesor puede llevar un seguimiento más directo al conocer de primera mano el caso a desarrollar. En el caso de GIM se potencia la creatividad de los alumnos, ya que deben inventarse el proyecto a desarrollar. Además, los alumnos aprenden a desempeñar dos roles que les pueden ser útiles en el mundo real.Este trabajo se ha desarrollado dentro del proyecto de innovación educativa “Desarrollo de Software desde una Perspectiva Industrial” de la Universidad de Valencia.Rueda Pascual, S.; Cabotà, J.; Panach Navarrete, J.; Martínez, J.; Pérez, M.; Casas, S. (2017). Comparativa de Dos Técnicas Basadas en Roles para el Desarrollo de Software desde una Perspectiva Industrial. En In-Red 2017. III Congreso Nacional de innovación educativa y de docencia en red. Editorial Universitat Politècnica de València. 552-563. https://doi.org/10.4995/INRED2017.2017.6858OCS55256

A few bad apples are enough: an agent-based peer review game

Following previous agent-based research on peer review, this paper presents a game theory-inspired model that looks at peer review as a cooperation dilemma. We tested different scientist behaviours and network topologies in order to understand their implications on the quality, efficiency and type of resource distribution in the science system. We tested random, scale-free and small world networks connecting scientists and three types of referee behaviour: self-interested (providing unreliable opinion), normative referees (providing reliable opinion) and conformist reviewers (conforming to other referees' behaviour). Preliminary results indicate that differences in the combination of referee behaviour have significant impact on the quality of the process and that the percentage of conformists is one of the most crucial model parameters

BPM for quality assurance systems in higher education

Arran de la posada en marxa de l'Espai Europeu d'Educació Superior, les universitats espanyoles han dissenyat sistemes de garantia interna de qualitat per als seus centres i les seues titulacions. Aquest article presenta en detall el Sistema Informàtic de Garantia Interna de Qualitat de la Universitat de València (SIGIQ-UV), una eina informàtica de codi obert que integra tecnologies de gestió de processos de negoci amb tecnologies de repositori documental per al seguiment dels procediments de qualitat i l'emmagatzematge de les evidències documentals resultants de la seua execució. L'aproximació modular amb què ha estat desenvolupat garanteix la flexibilitat del sistema, l'estat d'implantació del qual abasta tots els centres i titulacions de grau i màster de la Universitat de València. El SIGIQ-UV ajuda a estructurar el treball d'anàlisi, de planificació i d'avaluació i redueix la sobrecàrrega de treball que suposaria una realització manual dels processos de qualitat per part dels usuaris involucrats

SIGIC-UV: Sistema Informático de Garantía Interna de Calidad para los centros y titulaciones de la Universitat de València

Arran de la posada en marxa de l’espai europeu d’educació superior, les universitats espanyoles han dissenyat sistemes de garantia interna de qualitat per als seus centres i les seues titulacions. Aquest article presenta en detall el Sistema Informàtic de Garantia Interna de Qualitat de la Universitat de València (SIGIQ-UV), una eina informàtica de codi obert que integra tecnologies de gestió de processos de negoci amb tecnologies de repositori documental per al seguiment dels procediments de qualitat i l’emmagatzematge de les evidències documentals resultants de la seua execució. L’aproximació modular amb què ha estat desenvolupat garanteix la flexibilitat del sistema, l’estat d’implantació del qual inclou tots els centres i titulacions de grau i màster de la Universitat de València. El SIGIQ-UV ajuda a estructurar el treball d’anàlisi, de planificació i d’avaluació i redueix la sobrecàrrega de treball que suposaria una realització manual dels processos de qualitat per part dels usuaris involucrats.Following the creation of the European Higher Education Area, Spanish universities have designed internal quality assurance systems for their schools and degrees. This paper discusses in detail the computer system that internally assures quality at the University of Valencia (SIGIQ-UV). This is an open source tool that integrates business process management with document repository technologies for tracking quality processes and storaging documents resulting from their execution. The proposed approach is modular and flexible and it has been already applied to all schools, Bachelor and Masters degrees of the University of Valencia. The SIGIQ-UV helps structure analysis, planning and evaluation and reduces the workload that a manual implementation of quality processes would pose on the users involved.A raíz de la puesta en marcha del espacio europeo de educación superior, las universidades españolas han diseñado sistemas de garantía interna de calidad para sus centros y titulaciones. Este artículo presenta en detalle el Sistema Informático de Garantía Interna de Calidad de la Universitat de València (SIGIQ-UV), una herramienta informática de código abierto que integra tecnologías de gestión de procesos de negocio con tecnologías de repositorio documental para el seguimiento de los procedimientos de calidad y el almacenamiento de las evidencias documentales resultantes de su ejecución. La aproximación modular con la que ha sido desarrollado garantiza la flexibilidad del sistema, cuyo estado de implantación abarca todos los centros y titulaciones de grado y máster de la Universitat de València. El SIGIQ-UV ayuda a estructurar el trabajo de análisis, de planificación y de evaluación y reduce la sobrecarga de trabajo que supondría una realización manual de los procesos de calidad por parte de los usuarios involucrados