A review of the characteristics of 108 author-level bibliometric indicators

An increasing demand for bibliometric assessment of individuals has led to a growth of new bibliometric indicators as well as new variants or combinations of established ones. The aim of this review is to contribute with objective facts about the usefulness of bibliometric indicators of the effects of publication activity at the individual level. This paper reviews 108 indicators that can potentially be used to measure performance on the individual author level, and examines the complexity of their calculations in relation to what they are supposed to reflect and ease of end-user application.Comment: to be published in Scientometrics, 201

A Review of Theory and Practice in Scientometrics

Scientometrics is the study of the quantitative aspects of the process of science as a communication system. It is centrally, but not only, concerned with the analysis of citations in the academic literature. In recent years it has come to play a major role in the measurement and evaluation of research performance. In this review we consider: the historical development of scientometrics, sources of citation data, citation metrics and the “laws" of scientometrics, normalisation, journal impact factors and other journal metrics, visualising and mapping science, evaluation and policy, and future developments

Using noun phrases extraction for the improvement of hybrid clustering with text- and citation-based components. The example of “Information Systems Research”

The hybrid clustering approach combining lexical and link-based similarities suffered for a long time from the different properties of the underlying networks. We propose a method based on noun phrase extraction using natural language processing to improve the measurement of the lexical component. Term shingles of different length are created form each of the extracted noun phrases. Hybrid networks are built based on weighted combination of the two types of similarities with seven different weights. We conclude that removing all single term shingles provides the best results at the level of computational feasibility, comparability with bibliographic coupling and also in a community detection application

Benchmarking citation measures among the Australian education professoriate

Individual researchers and the organisations for which they work are interested in comparative measures of research performance for a variety of purposes. Such comparisons are facilitated by quantifiable measures that are easily obtained and offer convenience and a sense of objectivity. One popular measure is the Journal Impact Factor based on citation rates but it is a measure intended for journals rather than individuals. Moreover, educational research publications are not well represented in the databases most widely used for calculation of citation measures leading to doubts about the usefulness of such measures in education. Newer measures and data sources offer alternatives that provide wider representation of education research. However, research has shown that citation rates vary according to discipline and valid comparisons depend upon the availability of discipline specific benchmarks. This study sought to provide such benchmarks for Australian educational researchers based on analysis of citation measures obtained for the Australian education professoriate

A review of the literature on citation impact indicators

Citation impact indicators nowadays play an important role in research evaluation, and consequently these indicators have received a lot of attention in the bibliometric and scientometric literature. This paper provides an in-depth review of the literature on citation impact indicators. First, an overview is given of the literature on bibliographic databases that can be used to calculate citation impact indicators (Web of Science, Scopus, and Google Scholar). Next, selected topics in the literature on citation impact indicators are reviewed in detail. The first topic is the selection of publications and citations to be included in the calculation of citation impact indicators. The second topic is the normalization of citation impact indicators, in particular normalization for field differences. Counting methods for dealing with co-authored publications are the third topic, and citation impact indicators for journals are the last topic. The paper concludes by offering some recommendations for future research

Reviewing the literature in the IS field: Two bibliometric techniques to guide readings and help the interpretation of the literature

In this article, we show how to apply profitably bibliometric analysis in IS research as a way to help review and highlight patterns in the literature, and complement traditional methods to do so. This approach can help guide researchers to interpret a more traditional literature review by highlighting important texts to investigate in priority and more particularly. We propose specifically to use two techniques in a complementary manner, co-citation analysis of references and bibliographic coupling analysis of documents, which are described while highlighting the main methodological steps and relevant issues. We illustrate and demonstrate the value of the complementary use of both techniques in a dense and well-established research domain within the IS field: Strategic alignment

Bibliometric network to identify the intellectual structure and evolution of the big data research field

Big Data has evolved from being an emerging topic to a growing research area in business, science and education fields. The Big Data concept has a multidimen-sional approach, and it can be defined as a term describing the storage and analy-sis of large and complex data sets using a series of advanced techniques. In this respect, the researches and professionals involved in this area of knowledge are seeking to develop a culture based on data science, analytics and intelligence. To this end, it is clear that there is a need to identify and examine the intellectual structure, current research lines and main trends. In this way, this paper reviews the literature on Big Data evaluating 23,378 articles from 2012 to 2017 and offers a holistic approach of the research area by using SciMAT as a bibliometric and network analysis software. Furthermore, it evaluates the top contributing authors, countries and research themes that are directly related to Big Data. Finally, a sci-ence map is developed to understand the evolution of the intellectual structure and the main research themes related to Big Data

Producción científica en educación relacionada con la legislación y la administración: un análisis cienciométrico

Contenido de la investigación: El objetivo general de esta investigación fue analizar la producción sobre legislación y educación en la categoría " Business, Management and Accounting" a través de un estudio cienciométrico de las publicaciones indexadas en la base de datos de SCOPUS. Las hipótesis fueron que los artículos de investigación en legislación y educación en la categoría Negocios, Gestión y Contabilidad en las revistas indexadas en SCOPUS en el período de estudio verifican las principales leyes cienciométricas: Lotka y Bradford y que la colaboración entre autores en esta producción científica es principalmente de carácter local o nacional. El objetivo general fue desglosado en 6 objetivos específicos: El primer objetivo fue conocer el desarrollo diacrónico de la producción científica en educación relacionada con la legislación e indexada en SCOPUS (Business, Management and Accounting). Toda la producción se encontró en el período entre 1970 y 2019, mientras que ha habido un aumento gradual en el volumen de producción hasta el año 2002, alcanzando el pico máximo en 2002, pero desde entonces, ha habido una disminución. Además, no hubo un patrón de crecimiento continuo, sino que se evidencian diversas fluctuaciones. Al principio del periodo estudiado, no se encontró producción durante cuatro años seguidos y entre 1999 y 2000 se ha producido un descenso de la producción, con una Tasa de Variación Interanual (TVI) negativa igual a -47, y en 2008, con una Tasa de Variación Interanual (TVI) negativa igual a -45, mientras que la TVI positiva más alta (sin tener en cuenta el incremento de 1975, ya que hubo 4 años sin producción) se alcanzó en 2001 con un valor de 207. En general, se ha pasado de producir 36 documentos en 1975 a 1052 en 2020; es decir, se trata de un incremento porcentual del 4072%. La media de documentos publicados es de 711 al año. En cuanto a la tasa anual de cambio, la tasa más alta se ha identificado en 1975, seguida de 1978. Comparando nuestro resultado con los resultados de Lopera-Pérez et al (2021), quienes realizaron un análisis bibliométrico de la producción científica internacional sobre Educación Ambiental en la Web of Science (WoS) dentro de las categorías Educación e Investigación Educativa y Educación, Disciplinas Científicas para las últimas dos décadas (2000-2019). Sus resultados mostraron el acelerado incremento de la producción de conocimiento en esta área, y presentan los principales contextos de investigación, así como algunas perspectivas educativas y de investigación. Dichos resultados contrastan con los nuestros, ya que encontramos una disminución de la producción desde 2002. En la misma línea, Gantman y Fernández (2017) analizaron la producción de literatura académica en español sobre estudios de organización y gestión entre 2000 y 2010 indexada en el Catálogo Latindex. El segundo objetivo consistió en describir e identificar las diferentes relaciones de redes de conocimiento que se generan. Se encontró que existe una colaboración relativamente baja (1,7) en la autoría en esta área, pero esta situación ha ido cambiando con los años. La colaboración entre autores y universidades fue identificada por Lopera-Pérez et al (2021), lo cual coincide con nuestros resultados, ya que se encontró que la colaboración comenzó a despegar y su incremento es notorio a partir del año 2008. El tercer objetivo consistió en visualizar las redes de colaboración nacionales e internacionales, tanto a nivel de autoría como a nivel institucional, e identificar patrones de colaboración. Este objetivo se responde en el apartado 6.1.6, donde se ha constatado que la mayoría han sido de autoría única, y los firmados por dos o tres autores representan un tercio del total. El patrón de autoría ha sufrido cambios en el periodo, pasando de un inicio en 1975 con predominancia en la publicación de documentos con autoría única frente a los de autoría múltiple hasta invertir la relación en 2019. El cuarto objetivo consistió en identificar los patrones de citación y colaboración. El análisis de las citas en las revistas analizadas indicó que el 39,7% de la producción no había recibido ninguna cita. Del total de documentos citados, el 12,6% sólo han sido citados una vez, y el 8,3% dos veces. El artículo más citado tiene 855 citas. Además, en cuanto a los años en los que se han realizado estas citas, el mayor porcentaje fue en 2003 con 944 citas, seguido de 2007 con 905 citas. En cuanto a los patrones de colaboración, al analizar en detalle el número de autores, se encontró que el 58,21% fueron de autoría única, y los firmados por dos o tres autores representaron el 34,37% del total. La media anual de los documentos sin colaboración resultó estar por encima de la media, lo que podría inducir que hay casi igualdad entre los documentos sin colaboración y los que sí la tienen. Sin embargo, este valor se debe en gran medida a los primeros años dentro del rango de estudio. La colaboración comenzó a despuntar y su aumento es notable a partir del año 2008. Por último, se determinaron los valores de los tres indicadores de colaboración más frecuentes en la literatura. Así, el grado de colaboración en el periodo es DC =0,66. El valor mínimo se produjo en 2002 y el máximo en 1970. Este valor fue casi similar al obtenido por las revistas de educación publicadas en Brasil (0,636) (Madrid, et al, 2017) y cercano al encontrado para el GD (0,75) en las publicaciones científicas colombianas en SciELO (Maz-Machado, Jiménez-Fanjul y Villarraga-Rico, 2016). Sin embargo, fue superior al encontrado para las categorías SSCI Demografía (0,605) y Estudios Urbanos (0,591) (Maz-Machado y Jiménez-Fanjul, 2018). El quinto objetivo consistió en establecer valores para los indicadores de la dimensión cuantitativa de la producción científica sobre el tema. A este objetivo se responde en el apartado 6.2.1 y 6.2.2. Se verificó la Ley de Bradford con las revistas que conforman el núcleo de Bradford siendo Chronicle of Higher Education y Journal of Management Education y estas dos acumulan 11526 documentos. Además, se verificó la ley de Lotka para el conjunto de autores que publicaron en las revistas objeto de estudio. El sexto y último objetivo fue identificar los temas abordados. Este objetivo se responde en el apartado 6.1.8. Se comprobó que los temas estaban relacionados con Gestión y Liderazgo en Educación, Educación Infantil, Educación Superior, Marketing en Educación, Educación Contable, Educación y Trabajo, Educación Turística, Educación en Salud Mental y Educación en Organización Industrial. Conclusión: Se ha realizado un análisis cienciométrico de la producción científica Business, Management and Accounting indexada en Scopus, donde se ha constatado los cambios sustanciales durante el periodo analizado desde 1970 hasta 2019, tanto a nivel de producción, como de colaboración entre autores y universidades, así como un análisis de la dimensión cuantitativa de la producción verificando leyes habituales en un estudio de estas características como la Ley de Bradford, Lotka y Bradford