Counting publications and citations: Is more always better?

Is more always better? We address this question in the context of bibliometric indices that aim to assess the scientific impact of individual researchers by counting their number of highly cited publications. We propose a simple model in which the number of citations of a publication depends not only on the scientific impact of the publication but also on other 'random' factors. Our model indicates that more need not always be better. It turns out that the most influential researchers may have a systematically lower performance, in terms of highly cited publications, than some of their less influential colleagues. The model also suggests an improved way of counting highly cited publications

The pros and cons of the use of altmetrics in research assessment

© 2020 The Authors. Published by Levi Library Press. This is an open access article available under a Creative Commons licence. The published version can be accessed at the following link on the publisher’s website: http://doi.org/10.29024/sar.10Many indicators derived from the web have been proposed to supplement citation-based indicators in support of research assessments. These indicators, often called altmetrics, are available commercially from Altmetric.com and Elsevier’s Plum Analytics or can be collected directly. These organisations can also deliver altmetrics to support institutional selfevaluations. The potential advantages of altmetrics for research evaluation are that they may reflect important non-academic impacts and may appear before citations when an article is published, thus providing earlier impact evidence. Their disadvantages often include susceptibility to gaming, data sparsity, and difficulties translating the evidence into specific types of impact. Despite these limitations, altmetrics have been widely adopted by publishers, apparently to give authors, editors and readers insights into the level of interest in recently published articles. This article summarises evidence for and against extending the adoption of altmetrics to research evaluations. It argues that whilst systematicallygathered altmetrics are inappropriate for important formal research evaluations, they can play a role in some other contexts. They can be informative when evaluating research units that rarely produce journal articles, when seeking to identify evidence of novel types of impact during institutional or other self-evaluations, and when selected by individuals or groups to support narrative-based non-academic claims. In addition, Mendeley reader counts are uniquely valuable as early (mainly) scholarly impact indicators to replace citations when gaming is not possible and early impact evidence is needed. Organisations using alternative indicators need recruit or develop in-house expertise to ensure that they are not misused, however

Are citations from clinical trials evidence of higher impact research? An analysis of ClinicalTrials.gov

An important way in which medical research can translate into improved health outcomes is by motivating or influencing clinical trials that eventually lead to changes in clinical practice. Citations from clinical trials records to academic research may therefore serve as an early warning of the likely future influence of the cited articles. This paper partially assesses this hypothesis by testing whether prior articles referenced in ClinicalTrials.gov records are more highly cited than average for the publishing journal. The results from four high profile general medical journals support the hypothesis, although there may not be a cause-and effect relationship. Nevertheless, it is reasonable for researchers to use citations to their work from clinical trials records as partial evidence of the possible long-term impact of their research

О ценности научного документа. Часть 1

Рассмотрена терминологическая путаница, связанная с наименованиями свойств научных документов, отображаемых фактом их цитируемости. В очередной раз аргументируется утверждение, что непосредственно цитируемость научных документов отражает их использование, которое, в свою очередь, отражает их ценность. Необходимость продолжения соответствующей полемики и усиления аргументации вызваны тем, что многие специалисты либо не ассоциируют цитируемость с ценностью, либо безразличны к вопросу о свойстве документов, отображаемых цитируемостью, либо смешивают ценность документа с его качеством. Более того, существует авторитетная точка зрения, согласно которой использование – лишь один из факторов, вызывающих цитируемость научных документов; при этом обращения к документам считаются, напротив, несомненным свидетельством их использования, в то время как в этом случае остаётся неизвестным, будет ли полный текст затребованного документа хотя бы бегло просмотрен пользователем. Эти вопросы получают в статье своё критическое рассмотрение. Высказывается мнение, что путаница с понятием «использование документа» связано с невольным смешиванием его с традиционной библиотечной концепцией «использования фонда». Показано, как принятие к рассмотрению философского понятия ценности может внести ещё больше путаницы в терминологию, используемую для обозначения свойства научного документа, отражаемого par excellence его цитируемостью. Критически проанализированы существующие в библиотековедении определения «ценности документа». Предпринимается попытка уточнения понятий и содержания терминов «ценность научного документа» и «использование научного документа». Конкретно же в первой части данной работы приведены в основном примеры и критика терминологической путаницы с наименованием свойства научного документа, отображённого его цитируемостью и использованием. Они рассмотрены сквозь призму неуточненных понятий ценности и качества научного документа, которыми автор пользовался до завершения работы над второй частью исследования, где понятие ценности научного документа будет развито и уточнено

Toward context metrics: citation classification on the Web of Science

[EN] The purpose of this note is to describe the new citation context classification feature provided by Web of Science, in which citations received by publications are classified into five categories (Background, Basis, Support, Differ, and Discuss). To exemplify the functionality, two case studies have been carried out: one involving a journal (Profesional de la información; 1,604 publications) and the other, an author (Loet Leydesdorff; 341 publications). Both cases reflect the still low coverage of classified citations, which currently limits the use of this functionality. Finally, some of the questions that arise with the use of these context metrics (precision, comprehension, simplificatio[EN] El objetivo de esta nota es describir la nueva funcionalidad de clasificación de citas por contexto proporcionada por Web of Science (WoS), en la que las citas recibidas por un trabajo se clasifican en cinco categorías (Background, Basis, Support, Differ, Discuss). Con el fin de testear las prestaciones de la funcionalidad se han llevado a cabo dos casos de estudio. Por un lado, una revista (Profesional de la información; 1,604 publicaciones) y, por otro lado, un autor (Loet Leydesdorff; 341 publicaciones). Ambos casos reflejan la todavía baja cobertura de citas clasificadas (inferior al 6%) que limitan el uso de esta funcionalidad actualmente. Finalmente se discuten algunos de los interrogantes que se abren con el uso de estas métricas de contexto, tales como la precisión, comprensión, simplificación, representatividad, comparabilidad, idioma, agregación, uso evaluativo, efectos y extrapolación.Orduña Malea, E. (2022). Hacia las métricas de contexto: clasificación de citas en Web of Science. Anuario ThinkEPI. 16(1):1-7. https://doi.org/10.3145/thinkepi.2022.e16a321716

Counting publications and citations: Is more always better?

Merit, Expertise and Measuremen