Evaluar revistas científicas: un afán con mucho presente y pasado e incierto futuro

This chapter analyses the reasons behind the evaluation of scientific journals in all scientific fields, especially activities aimed at assessing the performance of scientists. Secondly, it describes the methods, procedures and criteria that can be used to evaluate scientific journals. This section establishes a two-dimensional approach to evaluating journals: as a scientific communication method and as a social institution that represents a community of scientists. It considers a number of evaluation criteria for each dimension. With respect to the first dimension, which is designed to assess the editorial quality of a journal, the indicators analysed include compliance with regulatory standards, management of the editorial process, visibility and accessibility, use, impact, reputation and quality of content. In terms of the second dimension, the most appropriate method for gaining an insight into a journal is bibliometrics, and the key indicators that can be used include production, authorship, collaboration, topic, analysis of references and social networks

The Google Scholar Family: ¿Is it an alternative for the evaluation of science?

Contiene la ponencia presentada en el IV Seminario EC3: Altmetrics y unidades de Bibliometría, celebrado en la Universidad de Granada los días 14 y 15 de marzo de 2013.Tras marcar las acusadas diferencias existentes entre los sistemas tradicionales de información y medición científica (Thomson Reuters con su Web of Science y JCR; Elsevier con Scopus y SJR) y GS (Google Scholar), se desvelan las razones que explican la siguiente paradoja: ¿Cómo siendo tan distintos estos dos mundos pueden ofrecer unos resultados bibliométricos tan idénticos? Se ilustra este fenómeno con los resultados de varios estudios empíricos de ranking de revistas con muestras de diverso tamaño y naturaleza realizadas por el grupo EC3. El porqué de esta similaridad entre productos tan diametralmente divergentes no es otra que su composición: GS, cuyo motor rastrea la red científica y académica sin descaso, incluye en su seno todo el mundo tradicional (cerrado y controlado) al cual añade el mundo abierto y libre que circula en el espacio académico. Se sostiene que hoy día GS es, como fuente de información científica, una seria alternativa a las bases de datos tradicionales y se defiende que los productos bibliométricos derivados del mismo, y en concreto, los rankings de revistas (Google Scholar Metrics) ofrecen resultados tan solventes, fiables y válidos como los ofrecidos por JCR (Journal Citation Reports) o SJR (Scimago Journal Rank). En definitiva, se apuesta por Google Scholar como fuente para la medición científica. Las razones: mide más, pues abarca muchos más documentos (su tamaño duplica o triplica según áreas a sus competidores), es capaz de trabajar con grandes números (sus indicadores bibliométricos alcanzar más tamaño). Mide mejor porque cubre todo tipo de documentos, porque carece de los sesgos geográficos y lingüísticos de que adolecen los sistemas tradicionales. Crece más y lo hace de manera más rápida y sus resultados son estables en el tiempo y ofrecen un margen de error más que tolerable, producto de la falta de control técnico de la información. Es capaz de ofrecer luz donde antes solo existían tinieblas (Humanidades y Ciencias Sociales) Los dos grandes peligros o amenazas para las nuevas herramientas, no son científico ni técnicos, como pueden creer muchos científicos, sino humanos: por un lado, el principal enemigo es su propio creador (Google) que despreciando la exigencia de transparencia propia del ethos científico hace depender a sus productos de su caprichosa y entera voluntad. Por otro, la facilidad con que se pueden manipular sus datos. Desde el momento en que GS automáticamente rastrea, indiza y vacía cualquier documento de apariencia científica que cuelga de un dominio académico por voluntad de un autor sin sufrir ningún control externo previo (el de los repositorios es solo un filtro técnico que no opera sobre los contenidos) abre la posibilidad a que cualquier persona sin escrúpulos pueda manipular a su entero gusto y beneficio documentos que repercuten directamente sobre la evaluación de su producción e impacto bibliométrico. Poner en manos de todos los científicos, que son humanos, las herramientas que permiten manipular la producción y las citas pueden tener consecuencias imprevisibles o pueden convertir a estas herramientas en inservibles.EC3: Evaluación de la Ciencia y de la Comunicación Científic

The Google Scholar Revolution: Opening the academic Pandora's box. The transformation of scientific communication

The transformation of scientific communication From the Gutenberg Galaxy to the Web Galaxy The Google Scholar Revolution An alternative model of publication and communication? Research evaluation: A determining factor for academic communication practices From Bibliometrics To Webometrics - Altmetrics ALLMETRICS: The measuring of Science Gamification of the scientific endeavour Will the metric become an end in itself? New “scientific illnesses” impactitis, egotitis

Low visibility of Latin American repositories in Google Scholar: technical incompatibility or lack of web strategy?

The content in many repositories in Latin America fail to come up in systematic searches largely due to the inadequate use of domain names and metadata schema, find Enrique Orduña-Malea and Emilio Delgado-López-Cózar. Institutional repositories are ultimately websites and concepts such as usability, information architecture, search engine optimization, among others, should be considered in their primary design. In a context like Latin America, in which scholarly production requires extra visibility because it lies outside the academic mainstream, repositories are essential vehicles, and their low visibility could significantly affect their real use by end users

Otras realidades, otros impactos, otras métricas: la nueva bibliometría

Conferencia impartida en V Jornadas –Taller de formación sobre libro electrónico organizado por la Unión de Editoriales Universitarias Españolas en Madrid, 1 de junio de 2015¿la medida alterará el fin mismo de la ciencia? ¿Un inquietante futuro? Un día en la vida de Chris - Cuando se despierta, Chris Dancy analiza los datos que ha registrado su colchón mientras dormía para saber si se ha movido, ha hablado en sueños o ha rechinado los dientes. - Toda su vida está vigilada, hasta el sexo. Por eso, Chris pide a sus parejas que registren y midan su propia actividad en sus encuentros amorosos. Algunas aceptan; otras, no. Al menos, tiene la caballerosidad de no contarles los resultados. - Si va a un restaurante o a un concierto, le piden que se quite sus Google Glass. «Pero nunca me piden que me quite la cámara que llevo sobre la cabeza». - Su correo electrónico también está sometido a análisis, así como la cisterna del cuarto de baño o el armario de las medicinas. - En la actualidad, varias firmas de electrónica le pagan para estudiar esta 'vida vigilada'. Los dispositivos que lleva en su cuerpo Google Glass. Dispositivo de visualización, parecido a unas gafas de realidad aumentada, que se controla con la voz, con funciones similares a las de un smartphone. Cámara narrativa. Suele llevarla en la cabeza y, cada dos segundos, toma fotografías que envía al smartphone. Wahoo Blue HR. Monitor que, instalado bajo la camiseta, controla su frecuencia cardiaca. Brazalete FitBit. Sus sensores miden el rendimiento físico y almacenan sus datos. Se conecta a un ordenador mediante USB. Controlador de actividad JawboneUp. "Lo empecé a utilizar en mayo. Relaciona las estadísticas de tu conducta con las de tus movimientos físicos", explica. Pulsioxímetro. Lo utiliza una vez al día para medir el nivel de saturación de oxígeno en su sangre. Body Media FIT. Banda para el brazo dotada de sensores que miden el rendimiento del cuerpo, dormido o durante la vigilia. Relojes inteligentes Pebble y Samsung Gear. Almacenan los datos procedentes del resto de los sensores. Lumoback. Se coloca en la cintura. Analiza la postura del cuerpo y emite una señal cuando este no está equilibrado. iPhone 5S. Lo utiliza, sobre todo, para recoger y almacenar informaciones personales. Y en su casa tiene además... Netatmo: mide el ruido, la calidad del aire y la temperatura de su casa. WeMo: detecta el movimiento y enciende y apaga los dispositivos electrónicos a distancia. Aria: mide las ondas Wi-Fi. Hue: combate el efecto dañino de las ondas Wi-Fi. Tagg: vigila la actividad de sus perros. NetGear VueZone: sistema de vídeo que graba la actividad en el hogar. Thermostat Nest: regula la temperatura por Wi-Fi. Nest Protect: detector de gas. Beddit: colchón inteligente que mide la calidad del sueño. Automatic: analiza su conducción. Estimote: información sobre los objetos de su hogar. Cube Sensors: controla el ruido, la humedad y la presión atmosférica de la casa.1. La medida de la ciencia2. Hitos históricos evaluación bibliométrica De la Bibliometrics: la evaluación de unos pocos, por unos pocos y para unos pocos A la Webmetrics y a la Altmetrics: La popularización y democratización de la evaluación científica La evaluación de todos, por todos, para todos, de todo, a todas horas y en todos los lugares3.La nueva bibliometría: 3.1 Otras realidades - Nuevos medios de comunicación Los sitios web - Nuevos medios de comunicación Blogs - Nuevos medios de comunicación Twitter - Nuevos medios de comunicación Presentaciones - Nuevos almacenes de información bibliográfica: los repositorios - Nuevos almacenes de información bibliográfica : los gestores de referencias bibliográficas - Las redes sociales científicas 3.2 Otros impactos Otras métricas - Midiendo el impacto de los sitios web - Midiendo el impacto de un Blog - Midiendo el impacto en Twitter - Midiendo el impacto de las presentaciones - Midiendo el impacto de los documentos indizados en los repositorios - Midiendo el impacto de los documentos indizados en los nuevos almacenes de información bibliográfica : los gestores de referencias bibliográficas - Midiendo en las redes sociales científicas 3.3 Otras herramientas - Construyendo rankings web. Nivel macro, Nivel micro (Google Analytics) - Google Scholar: la nueva "casa de citas" - LOS DERIVADOS BIBLIOMÉTRICOS DE GOOGLE SCHOLAR Google Scholar Metrics, Google Scholar Citations 3.4 ¿Qué futuro aguarda a los nuevas métricas?, ¿Cuál es el futuro de los nuevos medios de comunicación?, ¿Cuántos documentos posee las nuevas métricas? - ¿Qué sabemos de las nuevas métricas? El sentido común Evidencias empíricas - ¿Para qué los nuevos indicadores? - ¿Qué impacto miden? Científico Profesional Educativo Social - ¿Qué sabemos de Google Scholar como fuente de evaluación científica?4. Los riesgos de la nueva bibliometría - Problemas: La FUGACIDAD - The Googledependency Problemas: La dependencia tecnológica - El gran peligro: La MANIPULACIÓN - ¿Se convertirá la métrica en un fin en sí mismo?Unión de Editoriales Universitarias Españolas(UNE); Consejo Superior de Investigaciones Científicas (CSIC

Dimensions: Re-discovering the Ecosystem of Scientific Information

[EN] The overarching aim of this work is to provide a detailed description of the free version of Dimensions (new bibliographic database produced by Digital Science and launched in January 2018). To do this, the work is divided into two differentiated blocks. First, its characteristics, operation, and features are described, focusing on its main strengths and weaknesses. Secondly, an analysis of its coverage is carried out (comparing it against Web of Science Core Collection, Scopus and Google Scholar) in order to determine whether the bibliometric indicators offered by Dimensions have an order of magnitude significant enough to be used. To this end, an analysis is carried out at three levels: journals (sample of 20 publications in `Library & Information Science¿), documents (276 articles published by the Journal of informetrics between 2013 and 2015), and authors (28 people awarded with the Derek de Solla Price prize). Preliminary results indicate that Dimensions has coverage of the recent literature superior to Scopus, although inferior to Google Scholar. With regard to the number of citations received, Dimensions offers slightly lower figures than Scopus. Despite this, the number of citations in Dimensions exhibits a strong correlation with Scopus and somewhat less (although still significant) with Google Scholar. For this reason, it is concluded that Dimensions is an alternative for carrying out citation studies, able to rival Scopus (greater coverage and free of charge) and Google Scholar (greater functionalities for the treatment and data export).Orduña Malea, E.; Delgado-López-Cózar, E. (2018). Dimensions: Re-discovering the Ecosystem of Scientific Information. El profesional de la información. 27(2):420-431. https://doi.org/10.3145/epi.2018.mar.21S42043127

Philosophers’ appraisals of bibliometric indicators and their use in evaluation: from recognition to knee‑jerk rejection

Open Access funding provided thanks to the CRUE-CSIC agreement with Springer Nature. No funding was received for conducting this study.The authors would like to thank Daniel Pallarés-Domínguez for his help in the data collection process and Mark Andrews for the English translation. We would also like to thank the three main Spanish philosophy and ethics associations, Asociación Española de Ética y Filosofía Política (AEEFP), Sociedad Académica de Filosofía (SAF) and Red Española de Filosofía (REF), for their collaboration during the research process and their endorsement of the data collection report.The knowledge and stance of researchers regarding bibliometric indicators is a feld of study that has gained weight in recent decades. In this paper we address this issue for the little explored areas of philosophy and ethics, and applied to a context, in this case Spain, where bibliometric indicators are widely used in evaluation processes. The study combines data from a self-administered questionnaire completed by 201 researchers and from 14 in-depth interviews with researchers selected according to their afliation, professional category, gender and area of knowledge. The survey data suggest that researchers do not consider bibliometric indicators a preferred criterion of quality, while there is a fairly high self-perception of awareness of a number of indicators. The qualitative data points to a generalised perception of a certain rejection of the specifc use of indicators, with four main positions being observed: (1) disqualifcation of the logic of metrics, (2) scepticism about the possibility of assessing quality with quantitative methods, (3) complaints about the incorporation of methods that are considered to belong to other disciplines, and (4) criticism of the consequences that this generates in the discipline of philosophy.CRUE-CSI

H Index Communication Journals according to Google Scholar Metrics (2009-2013)

The aim of this report is to present a ranking of Communication journals covered in Google Scholar Metrics (GSM) for the period 2008-2013. It corresponds to the H Index update made last year for the period 2008-2012 (Repiso & Delgado López-Cózar 2013). Google Scholar Metrics does not currently allow to group and sort all journals belonging to a scientific discipline. Therefore, in an attempt to overcome this limitation, we have used the diversity of search procedures allowed by GSM to identify the greatest number of scientific journals of Communication with H Index calculated by this bibliometric tool. The result is a ranking of 434 communication journals sorted by the same H Index. Journals are also grouped by quartiles.EC3: Evaluación de la Ciencia y de la Comunicación Científic