Assessing the reliability and validity of Google Scholar indicators : The case of social sciences in Italy

Google Scholar is an appealing data source for the measurement of scientific production in the social sciences and humanities (SSH) fields. Its appeal derives from its extensive coverage of the literature. This contrasts with issues of data quality, which are still quite controversial. This chapter aims to evaluate the reliability and validity of bibliometric indicators taken from Scholar as well as their coverage of the scientific production in the social sciences. The analysis will be based on a comparison of Scholar with other bibliometric data sources (Web of Science and Scopus) plus an institutional dataset. The reliability of Scholar indicators will be investigated through correlational analysis, while their validity will be assessed using different external criteria (the results of national evaluation procedures based on a peer review approach). The analysis will be developed for the population of Italian university professors in a subset of SSH: political philosophy, history, political science and sociology. The final discussion of the results will take into account the various purposes that bibliometric exercises try to achieve

Church attendance and religious change inEastern Europe (1990-2015)

Eastern Europe is one of the areas where the debate on religious change and individual-level secularization has been recently more intense. The attempt to explain religious developments in this part of Europe has brought to a fierce competition among the main theories of religious change (secularization, individualization and market theory). An additional source of interest for Eastern European countries stems from their heterogeneity, in both religious (e.g. the Catholic rather than the Orthodox tradition) and historical terms (starting from the intensity of the Soviet regime's grip). Finally, literature analysis highlights some inconsistencies among the different authors in assessing church attendance trends, see for example the recent contributions by Brenner (2016), van Ingen and Moor (2015) and Burkimsher (2014): such discrepancies give room to new contributions. The paper aims to contribute to the debate on religious change in Eastern Europe focusing on estimates of church attendance trends for the past twenty-five years. The research design considers more studies simultaneously to enlarge the observation window and get more reliable estimates. To this end, we consider the following comparative and repeated cross-sectional surveys: Eurobarometer (various series), European Social Survey (ESS), European Values Study (EVS), the World Values Survey (WVS), International Social Survey Programme (ISSP). Church attendance is available in all these studies and, despite some relevant criticisms, continues to be a key indicator of religious change. At the end of the paper the trends detected for Eastern Europe will be compared to those in Western countries in order to highlight differences and similarities

Copertura, attendibilità e validità degli indicatori bibliometrici tratti da Google Scholar nel campo delle scienze politiche e sociali (CAVIB Scholar)

L\u2019obiettivo del progetto di ricerca CAVIB Scholar \ue8 quello di valutare l\u2019attendibilit\ue0 e la validit\ue0 degli indicatori bibliometrici tratti da Google scholar nonch\ue9 il loro grado di copertura della produzione scientifica nelle aree cosiddette non bibliometriche. Attingendo a diverse fonti di dati (Google scholar, Scopus, Web of science) \ue8 stato creato un dataset al livello di base delle singole pubblicazioni e un dataset aggregato al livello degli autori. Oltre alla copertura, \ue8 stata analizzata l\u2019attendibilit\ue0 degli indicatori delle diverse dimensioni della produzione scientifica attraverso l\u2019analisi delle correlazioni e la validit\ue0 degli indicatori bibliometrici utilizzando diversi criteri esterni (punteggi individuali VQR 2004-2010 ed esiti ASN 2012). Le analisi sono state sviluppate per i docenti afferenti all\u2019Area 14 \u2013 Scienze Politiche e Sociali che, per quanto riguarda la produzione scientifica, presentano una certa eterogeneit\ue0 interna che \ue8 risultata utile in fase di analisi. La copertura della produzione scientifica da parte di Google scholar \ue8 risultata sicuramente pi\uf9 ampia di quella offerta da Scopus e Web of science ma non cos\uec estesa come generalmente sostenuto. Gli indicatori tratti da Google scholar presentano un elevato grado di attendibilit\ue0 e soprattutto di validit\ue0. La discussione dei risultati ottenuti tiene conto dei diversi contesti valutativi nei quali possono svilupparsi gli esercizi bibliometrici

Ranking e valutazione : il caso delle classifiche delle universit\ue0

L\u2019articolo si compone di due parti. La prima, pi\uf9 generale, \ue8 dedicata all\u2019introduzione alle classifiche delle universit\ue0, alla presentazione delle principali classifiche internazionali e alla discussione degli usi che ne vengono fatti. La seconda si concentra sulla classifica italiana Censis-la Repubblica sviluppando due tipi di analisi: dapprima un\u2019analisi, per cos\uec dire teorica, sull\u2019impianto della classifica e la validit\ue0 degli indicatori, poi un\u2019analisi empirica di indicatori e indici sulla base di una parziale ricostruzione della base dati Censis-la Repubblica. A partire dai risultati di tali analisi viene stilato un elenco degli elementi a cui prestare attenzione nella definizione di classifiche di istituzioni complesse come le universit\ue0. The paper consists of two parts. The first is more general: it introduces to university ranking, shows the leading international ranking, discusses the uses people make of rankings. The second focuses on Italian ranking Censis-la Repubblica developing two different kinds of analyses: after considering indicators validity and reliability, principal components analysis and cluster analysis are applied to a partial replication of Censis-la Repubblica data. A list of points to pay attention comes out of these analyses: it can be useful when defining rankings of complex institutions such as universities

Povert\ue0, teoria e tempo : la valutazione delle politiche di sostegno al reddito

Meccanismi causali, valutazione realistica, analisi longitudinale, povert\ue0 dinamica, assistenza economica: sono queste le parole chiave del volume che nel tentativo di dare una risposta originale a un problema specifico \u2013 come valutare le politiche di sostegno al reddito? \u2013 sviluppa e pone a confronto alcuni dei principali temi dell\u2019attuale dibattito valutativo e metodologico. Sul problema della povert\ue0, delle relative politiche di contrasto e della loro valutazione, il volume fa convergere due distinti filoni di ricerca: da un lato, l\u2019approccio della valutazione realistica che si definisce attorno ai concetti di contesto, meccanismo e risultato; questa prospettiva rappresenta una delle principali componenti di quel movimento per una valutazione basata sulla teoria il cui fitto dialogo coi tradizionali filoni valutativi \ue8 attualmente alla ribalta nazionale e internazionale; dall\u2019altra, l\u2019approccio longitudinale allo studio della povert\ue0 che a partire da una semplice idea di fondo \u2013 la povert\ue0 non rappresenta uno stato sostanzialmente permanente ma piuttosto un episodio dalla durata variabile \u2013 ha profondamente cambiato il modo di concepire e analizzare le politiche di sostegno al reddito. La tesi di dottorato da cui \ue8 tratto questo volume ha vinto l\u2019edizione 2004 del \uabPremio per tesi sulla valutazione\ubb assegnato dall\u2019Associazione Italiana di Valutazione (AIV). Il volume \ue8 stato recensito da G.L. Venturini in Polis. Ricerche e studi su societ\ue0 e politica in Italia, ISSN: 1120-9488, Numero: 3, dicembre 2006, DOI: 10.1424/23548, pp. 480-481