Hit count estimate variability for website-specific queries in search engines: The case for rare disease association websites

"This article is (c) Emerald Group Publishing and permission has been granted for this version to appear here https://doi.org/10.1108/AJIM-10-2017-0226. Emerald does not grant permission for this article to be further copied/distributed or hosted elsewhere without the express permission from Emerald Group Publishing Limited"[EN] Purpose - The purpose of this paper is to determine the effect of the chosen search engine results page (SERP) on the website-specific hit count estimation indicator. Design/methodology/approach - A sample of 100 Spanish rare disease association websites is analysed, obtaining the website-specific hit count estimation for the first and last SERPs in two search engines (Google and Bing) at two different periods in time (2016 and 2017). Findings - It has been empirically demonstrated that there are differences between the number of hits returned on the first and last SERP in both Google and Bing. These differences are significant when they exceed a threshold value on the first SERP. Research limitations/implications - Future studies considering other samples, more SERPs and generating different queries other than website page count (ositeW) would be desirable to draw more general conclusions on the nature of quantitative data provided by general search engines. Practical implications - Selecting a wrong SERP to calculate some metrics (in this case, website-specific hit count estimation) might provide misleading results, comparisons and performance rankings. The empirical data suggest that the first SERP captures the differences between websites better because it has a greater discriminating power and is more appropriate for webometric longitudinal studies. Social implications - The findings allow improving future quantitative webometric analyses based on website-specific hit count estimation metrics in general search engines. Originality/value - The website-specific hit count estimation variability between SERPs has been empirically analysed, considering two different search engines (Google and Bing), a set of 100 websites focussed on a similar market (Spanish rare diseases associations), and two annual samples, making this study the most exhaustive on this issue to date.Font-Julian, CI.; Ontalba Ruipérez, JA.; Orduña Malea, E. (2018). Hit count estimate variability for website-specific queries in search engines: The case for rare disease association websites. Aslib Journal of Information Management. 70(2):192-213. https://doi.org/10.1108/AJIM-10-2017-0226S192213702Bar-Ilan, J. (2001). Scientometrics, 50(1), 7-32. doi:10.1023/a:1005682102768Bowler, L., Hong, W., & He, D. (2011). The visibility of health web portals for teens: a hyperlink analysis. Online Information Review, 35(3), 443-470. doi:10.1108/14684521111151469European Organization for Rare Diseases (2012), “What is a rare disease?”, available at: www.eurordis.org/content/what-rare-disease (accessed 10 January 2018).Forman, J., Taruscio, D., Llera, V. A., Barrera, L. A., Coté, T. R., … Edfjäll, C. (2012). The need for worldwide policy and action plans for rare diseases. Acta Paediatrica, 101(8), 805-807. doi:10.1111/j.1651-2227.2012.02705.xGao, Y., & Vaughan, L. (2005). Web hyperlink profiles of news sites. Aslib Proceedings, 57(5), 398-411. doi:10.1108/00012530510621851Gouveia, F. C., & Kurtenbach, E. (2009). Mapping the web relations of science centres and museums from Latin America. Scientometrics, 79(3), 491-505. doi:10.1007/s11192-007-1949-8Groselj, D. (2014). A webometric analysis of online health information: sponsorship, platform type and link structures. Online Information Review, 38(2), 209-231. doi:10.1108/oir-01-2013-0011Lewandowski, D. (2008). A three-year study on the freshness of web search engine databases. Journal of Information Science, 34(6), 817-831. doi:10.1177/0165551508089396Li, X. (2003). A review of the development and application of the Web impact factor. Online Information Review, 27(6), 407-417. doi:10.1108/14684520310510046Noruzi, A. (2006). The web impact factor: a critical review. The Electronic Library, 24(4), 490-500. doi:10.1108/02640470610689188Orduna-Malea, E. (2014), “Caracterización y rendimiento del sistema museístico de la comunidad valenciana a través de un análisis cibermétrico”, in Gimenez-Chornet, V. (Ed.), Gestión Cultural: Innovación y Tendencias, Tirant Lo Blanch, Valencia, pp. 13-43.Orduña-Malea, E., Delgado López-Cózar, E., Serrano-Cobos, J., & Romero, N. L. (2015). Disclosing the network structure of private companies on the web. Online Information Review, 39(3), 360-382. doi:10.1108/oir-11-2014-0282Park, H. W., Kim, C.-S., & Barnett, G. A. (2004). Socio-Communicational Structure among Political Actors on the Web in South Korea. New Media & Society, 6(3), 403-423. doi:10.1177/1461444804042522Rodríguez i Gairín, J. M. (1997). Valoración del impacto de la información en Internet: Altavista, el «Citation Index» de la red. Revista española de Documentación Científica, 20(2), 175-181. doi:10.3989/redc.1997.v20.i2.591Romero-Frías, E., & Vaughan, L. (2010). European political trends viewed through patterns of Web linking. Journal of the American Society for Information Science and Technology, 61(10), 2109-2121. doi:10.1002/asi.21375Satoh, K. and Yamana, H. (2012), “Hit count reliability: how much can we trust hit counts?”, in Sheng, Q.Z., Wang, G., Jensen, C.S. and Xu, G. (Eds), Asia-Pacific Web Conference, Springer, Berlin Heidelberg, April, pp. 751-758.Snyder, H., & Rosenbaum, H. (1999). Can search engines be used as tools for web‐link analysis? A critical view. Journal of Documentation, 55(4), 375-384. doi:10.1108/eum0000000007151Uyar, A. (2009). Investigation of the accuracy of search engine hit counts. Journal of Information Science, 35(4), 469-480. doi:10.1177/0165551509103598Vaughan, L., & Thelwall, M. (2004). Search engine coverage bias: evidence and possible causes. Information Processing & Management, 40(4), 693-707. doi:10.1016/s0306-4573(03)00063-3Vaughan, L., & Wu, G. (2004). Links to commercial websites as a source of business information. Scientometrics, 60(3), 487-496. doi:10.1023/b:scie.0000034389.14825.bcWilkinson, D., & Thelwall, M. (2013). Search markets and search results: The case of Bing. Library & Information Science Research, 35(4), 318-325. doi:10.1016/j.lisr.2013.04.00

Präsenz und Sichtbarkeit von Meeresforschungsinstituten im World Wide Web : eine Fallstudie zum Potential der Webometrie zur Untersuchung der internationalen Einbettung wissenschaftlicher Einrichtungen

Ruschenburg T. Präsenz und Sichtbarkeit von Meeresforschungsinstituten im World Wide Web : eine Fallstudie zum Potential der Webometrie zur Untersuchung der internationalen Einbettung wissenschaftlicher Einrichtungen. Bielefeld (Germany): Bielefeld University; 2010.Das World Wide Web hat in den 20 Jahren seit seiner Entstehung die Vernetzung und den Austausch von Informationen innerhalb der wissenschaftlichen Gemeinschaft enorm erleichtert. In der quantitativen Wissenschaftsforschung sowie der Informationswissenschaft wird seit Mitte der 90er Jahre darüber diskutiert, inwiefern das World Wide Web Aufschluss über die sozialen Strukturen der Wissenschaft gegeben kann. Vorbild war dabei zunächst die etablierte quantitative Methode der Wissenschaftsforschung: die Bibliometrie. Auf der Grundlage von Publikations-, Zitations- und Koautorenschaftsdaten lassen sich mit bibliometrischen Verfahren beispielsweise Erkenntnisse über den Stellenwert und die Vernetzung einzelner ForscherInnen, Gruppen, Forschungseinrichtungen oder Nationen gewinnen. In Anlehnung daran werden nun unter dem Begriff "Webometrie" Daten zur Größe von Websites und ihrer Vernetzung durch Links analysiert, um die virtuelle Präsenz und Vernetzung verschiedener wissenschaftlicher Entitäten zu bestimmen. Neben oberflächlichen Parallelen zur Bibliometrie wurden jedoch schnell auch fundamentale Unterschiede deutlich. Sie resultieren aus spezifischen Eigenschaften des World Wide Webs, das anderen Zwecken dient als Fachzeitschriften und das - anders als Publikationsdatenbanken - keine retrospektiven Untersuchungen zulässt, das kaum formal standardisiert ist und in dem eine systematische Qualitätskontrolle fehlt, wie sie in wissenschaftlichen Zeitschriften mit der Peer-Review fest verankert ist. Folglich befasst sich ein großer Teil der webometrischen Literatur mit der Entwicklung neuer Verfahren und Indikatoren sowie mit der Prüfung ihrer Aussagekraft. Dies gilt auch für die vorliegende Dissertation, die sich mit der Frage befasst, inwiefern webometrische Verfahren dazu geeignet sind, internationale Zusammenhänge in der Wissenschaft zu untersuchen. Diese Frage ist bislang nicht systematisch betrachtet worden. Um sie beantworten zu können, wurden auf der Grundlage zweier literaturbasierter Kapitel - zur Entwicklung der Webometrie sowie zur webometrischen Untersuchung internationaler Zusammenhänge in der Wissenschaft - drei Leitfragen entwickelt: 1. Wie aussagekräftig sind Top-Level-Domains als Indikatoren der nationalen Verortung? 2. Inwieweit ähneln sich die Bilder, die webometrische und bibliometrische Indikatoren von der internationalen Einbettung von Forschungseinrichtungen zeigen? 3. Hängen Präsenz und Vernetzung wissenschaftlicher Einrichtungen im World Wide Web (bzw. im Web of Science) mit dem Entwicklungsstand ihrer Sitzländer zusammen? Die drei Leitfragen wurden im Rahmen einer empirischen Fallstudie geklärt. Gegenstand der Fallstudie waren zehn Meeresforschungseinrichtungen in deutsch- und englischsprachigen Ländern. Die Ergebnisse dieser Dissertation sprechen dafür, dass die Webometrie eher eine Ergänzung als ein Ersatz für die Bibliometrie darstellt. Beide befassen sich mit sehr unterschiedlichen Datenquellen, die ihre eigenen Anforderungen an die Methode stellen. Im Hinblick auf internationale Fragestellungen hat eine Limitierung in der Reichweite webometrischer Anwendungen gezeigt: Da keine zuverlässigen, automatisiert auszuwertenden Indikatoren für die nationale Zuordnung von Webseiten zur Verfügung stehen, muss die Webometrie internationale Fragestellungen weiterhin anhand ausgewählter Websites durchführen, deren nationale Verortung bekannt ist. Darüber hinaus zeigte sich ein eher negatives Bild, was die Einbindung von Forschungseinrichtungen in Entwicklungsländern in Webstrukturen betrifft: Durch die global digital divide im Internetzugang weisen die untersuchten Meeresforschungseinrichtungen in englischsprachigen Entwicklungsländern - im Verhältnis zu ihrer personellen Größe - deutlich kleinere Websites auf als diejenigen in Deutschland und den USA. Sie sind zudem wesentlich schwächer verlinkt. Im Gegensatz dazu stellte sich heraus, dass die Publikationen der Forschungsinstitute durchgängig zu hohen Teilen im Web of Science erfasst werden. Das Einrichten und Pflegen einer Webpräsenz ist offensichtlich eine Anforderung, die Forschungseinrichtungen in Industrieländern - u.a. mit Hilfe von spezialisiertem Personal - besser bewältigen und für sich nutzen können als solche in Entwicklungsländern. Dort belastet diese zusätzliche, wissenschaftsfremde Aufgabe die ohnehin knappen Forschungsressourcen. Bisher verschärft das World Wide Web somit die bestehende Ungleichheit in der globalen Forschungslandschaft eher, als dass es sie mildert. Es ist anzunehmen, dass Forschungseinrichtungen, die nicht die Möglichkeit haben, ihre Existenz und ihre Aktivitäten im World Wide Web darzustellen, Chancen - beispielsweise auf neue Kooperationen - entgehen