Evaluar revistas científicas: un afán con mucho presente y pasado e incierto futuro

This chapter analyses the reasons behind the evaluation of scientific journals in all scientific fields, especially activities aimed at assessing the performance of scientists. Secondly, it describes the methods, procedures and criteria that can be used to evaluate scientific journals. This section establishes a two-dimensional approach to evaluating journals: as a scientific communication method and as a social institution that represents a community of scientists. It considers a number of evaluation criteria for each dimension. With respect to the first dimension, which is designed to assess the editorial quality of a journal, the indicators analysed include compliance with regulatory standards, management of the editorial process, visibility and accessibility, use, impact, reputation and quality of content. In terms of the second dimension, the most appropriate method for gaining an insight into a journal is bibliometrics, and the key indicators that can be used include production, authorship, collaboration, topic, analysis of references and social networks

New Technique to Enhance the Performance of Spoken Dialogue Systems by Means of Implicit Recovery of ASR Errors

This paper proposes a new technique to implicitly correct some ASR errors made by spoken dialogue systems, which is implemented at two levels: statistical and linguistic. The goal of the former level is to employ for the correction knowledge extracted from the analysis of a training corpus comprised of utterances and their corresponding ASR results. The outcome of the analysis is a set of syntactic-semantic models and a set of lexical models, which are optimally selected during the correction. The goal of the correction at the linguistic level is to repair errors not detected during the statistical level which affects the semantics of the sentences. Experiments carried out with a previouslydeveloped spoken dialogue system for the fast food domain indicate that the technique allows enhancing word accuracy, spoken language understanding and task completion by 8.5%, 16.54% and 44.17% absolute, respectively.Ministerio de Ciencia y Tecnología TIN2007-64718 HAD

The Google Scholar Family: ¿Is it an alternative for the evaluation of science?

Contiene la ponencia presentada en el IV Seminario EC3: Altmetrics y unidades de Bibliometría, celebrado en la Universidad de Granada los días 14 y 15 de marzo de 2013.Tras marcar las acusadas diferencias existentes entre los sistemas tradicionales de información y medición científica (Thomson Reuters con su Web of Science y JCR; Elsevier con Scopus y SJR) y GS (Google Scholar), se desvelan las razones que explican la siguiente paradoja: ¿Cómo siendo tan distintos estos dos mundos pueden ofrecer unos resultados bibliométricos tan idénticos? Se ilustra este fenómeno con los resultados de varios estudios empíricos de ranking de revistas con muestras de diverso tamaño y naturaleza realizadas por el grupo EC3. El porqué de esta similaridad entre productos tan diametralmente divergentes no es otra que su composición: GS, cuyo motor rastrea la red científica y académica sin descaso, incluye en su seno todo el mundo tradicional (cerrado y controlado) al cual añade el mundo abierto y libre que circula en el espacio académico. Se sostiene que hoy día GS es, como fuente de información científica, una seria alternativa a las bases de datos tradicionales y se defiende que los productos bibliométricos derivados del mismo, y en concreto, los rankings de revistas (Google Scholar Metrics) ofrecen resultados tan solventes, fiables y válidos como los ofrecidos por JCR (Journal Citation Reports) o SJR (Scimago Journal Rank). En definitiva, se apuesta por Google Scholar como fuente para la medición científica. Las razones: mide más, pues abarca muchos más documentos (su tamaño duplica o triplica según áreas a sus competidores), es capaz de trabajar con grandes números (sus indicadores bibliométricos alcanzar más tamaño). Mide mejor porque cubre todo tipo de documentos, porque carece de los sesgos geográficos y lingüísticos de que adolecen los sistemas tradicionales. Crece más y lo hace de manera más rápida y sus resultados son estables en el tiempo y ofrecen un margen de error más que tolerable, producto de la falta de control técnico de la información. Es capaz de ofrecer luz donde antes solo existían tinieblas (Humanidades y Ciencias Sociales) Los dos grandes peligros o amenazas para las nuevas herramientas, no son científico ni técnicos, como pueden creer muchos científicos, sino humanos: por un lado, el principal enemigo es su propio creador (Google) que despreciando la exigencia de transparencia propia del ethos científico hace depender a sus productos de su caprichosa y entera voluntad. Por otro, la facilidad con que se pueden manipular sus datos. Desde el momento en que GS automáticamente rastrea, indiza y vacía cualquier documento de apariencia científica que cuelga de un dominio académico por voluntad de un autor sin sufrir ningún control externo previo (el de los repositorios es solo un filtro técnico que no opera sobre los contenidos) abre la posibilidad a que cualquier persona sin escrúpulos pueda manipular a su entero gusto y beneficio documentos que repercuten directamente sobre la evaluación de su producción e impacto bibliométrico. Poner en manos de todos los científicos, que son humanos, las herramientas que permiten manipular la producción y las citas pueden tener consecuencias imprevisibles o pueden convertir a estas herramientas en inservibles.EC3: Evaluación de la Ciencia y de la Comunicación Científic

The Google Scholar Revolution: Opening the academic Pandora's box. The transformation of scientific communication

The transformation of scientific communication From the Gutenberg Galaxy to the Web Galaxy The Google Scholar Revolution An alternative model of publication and communication? Research evaluation: A determining factor for academic communication practices From Bibliometrics To Webometrics - Altmetrics ALLMETRICS: The measuring of Science Gamification of the scientific endeavour Will the metric become an end in itself? New “scientific illnesses” impactitis, egotitis

Low visibility of Latin American repositories in Google Scholar: technical incompatibility or lack of web strategy?

The content in many repositories in Latin America fail to come up in systematic searches largely due to the inadequate use of domain names and metadata schema, find Enrique Orduña-Malea and Emilio Delgado-López-Cózar. Institutional repositories are ultimately websites and concepts such as usability, information architecture, search engine optimization, among others, should be considered in their primary design. In a context like Latin America, in which scholarly production requires extra visibility because it lies outside the academic mainstream, repositories are essential vehicles, and their low visibility could significantly affect their real use by end users