A study about journal rankings in the evaluation of SSH

BANFI, Antonio Mario

Aisberg (Università degli Studi di Bergamo)

Aspetti critici dell’uso di rankings di ...by Antonio Banfi - http://www.roars.it/online/  redazione.roars@gmail.com  date:2015-04-30Aspetti critici dell’uso di rankings di riviste nelle scienze umane2012-02-24 18:22:59 By Antonio BanfiAspetti critici dell’uso di rankings di riviste nelle scienze umane.L’esercizio VQR 2004-2010 è apparso, fin dal principio, opera alquanto complessa e non scevra dirischi. Rischi dovuti essenzialmente alla novità di un esercizio tanto vasto per il sistema italiano, atempi troppo compressi nella sua realizzazione, alla mancanza di un’adeguata discussione intorno aicriteri sui quali si fonderà la valutazione stessa e non da ultimo alla configurazione di ANVUR comeuna sorta di executive agency.Un punto particolarmente critico è costituito dall’adozione di criteri bibliometrici per la valutazionedei prodotti della ricerca. Il ricorso alla bibliometria serve a rendere più spedito, meno costoso, esecondo alcuni anche più oggettivo il processo di valutazione.[2] Va detto, a questo proposito,  chespecie in alcune aree disciplinari la conoscenza e la pratica consapevole di strumenti bibliometrici fragli accademici italiani è vicina se non pari allo zero.Fra gli strumenti bibliometrici di valutazione un discorso a parte dev’essere riservato all’utilizzazionedi rankings o liste di riviste collocate in una sorta di graduatoria. L’assegnazione di una “classe dimerito” a una determinata rivista, per esempio sulla base del suo fattore di impatto, ossia della suapresenza riconosciuta (attraverso l’analisi citazionale) in un dato settore disciplinare[3] genera per suanatura un meccanismo semiautomatico di valutazione, tale per cui la valutazione del contenitore puòessere trasferita sul contenuto. Tale strumento avrebbe anche il vantaggio di aumentarevirtuosamente la competizione fra i ricercatori, desiderosi di apparire sulle riviste “migliori” o“eccellenti”. In realtà, si tratta di uno strumento tutt’altro che privo di rischi e che sarebbe opportunonon utilizzare. La stessa ANVUR, dopo gli interventi di A. Baccini e G. De Nicolao, pubblicati sul sito ROARS[4] ha dovuto rivedere, annunciando un rinvio di un mese, i criteri che aveva elaborato per learee delle “scienze dure”, che prevedevano anche il ricorso a classifiche di riviste. Il ricorso all’impactfactor delle sedi di pubblicazione sarà – pare – mantenuto, ma in forma limitata per fornireessenzialmente un’indicazione orientativa ai giovani studiosi su quale sia il miglior luogo dovepubblicare.                                          page 1 / 7Aspetti critici dell’uso di rankings di ...by Antonio Banfi - http://www.roars.it/online/  redazione.roars@gmail.com  date:2015-04-30Per le aree delle scienze umane il dibattito è rimastosotterraneo, benché la questione sia tutt’altro che irrilevante. Infatti, se è pur vero che vieneannunciato un ricorso a parametri bibliometrici solo in via “sperimentale” e per quote percentualiridotte dei prodotti della ricerca,[5] va osservato che l’ANVUR non intende far ricorso per questediscipline alla mera peer review, ma auspica un “mix valutativo” che faccia ricorso alla “informed peerreview”. Con questo termine si intende una revisione da parte dei pari integrata con informazioni dinatura bibliometrica: si tratta appunto dei famosi rankings di riviste, che saranno inviati ai revisoriinsieme ai prodotti da valutare.[6]E’ evidente che i revisori anonimi nominati dai rispettivi GEV (gruppi di esperti della valutazione)potranno decidere di non tenere in alcun conto la collocazione di una rivista nelle fasce di meritorifiutando di considerare le informazioni aggiuntive che verranno loro trasmesse. Ma è altrettantoevidente che, anche vista la mole dei prodotti oggetto di valutazione, sarà assai facile che si producaun trasferimento quasi automatico del ranking dal contenitore al contenuto. Come è ricordato neldocumento IMU sui rankings di riviste, “another negative aspect of such rankings is that they havebeen misused in an attempt to evaluate individual departments and researchers. It is of greatimportance to acknowledge that, while the quality of a journal depends on the quality of the papersthat appear in it, the quality of any individual paper is not determined by the quality of the journal inwhich it appears.”[7] Si tratta dunque di una scelta per certi versi pericolosa e che verosimilmenteprodurrà effetti distorsivi. Questo sia per motivi intrinseci, legati alla natura dello strumento, che peril modo in cui si è scelto di operare nel contesto della VQR.Cominciando dal secondo punto non si può non rilevare come la scelta di produrre listegerarchicamente ordinate di riviste sia operazione estremamente delicata, che andrebbe compiuta,se proprio è necessario, sulla base di criteri uniformi e trasparenti, discussi ampiamente con gliinteressati e sulla base di procedure chiaramente predefinite.[8] Nulla di ciò finora si è visto. Lostesso coinvolgimento delle Società disciplinari è avvenuto in modo disordinato, senza che fosse deltutto chiaro come esse dovevano operare e senza che vi fosse il tempo necessario per un’adeguatadiscussione. Operazioni del genere, che in assenza di dati sul fattore di impatto delle riviste di normarichiedono all’estero molti mesi, se non anni, di duro lavoro, sono dunque compiute ai fini della VQRin un modo che, a voler essere generosi, può definirsi come frettoloso; inoltre le classifiche sono aquanto pare rielaborate e adattate dagli stessi GEV sulla base di indicazioni provenienti dal Direttivodell’ANVUR, ciò che costituisce un’anomalia assoluta nel panorama internazionale. Non sono mai ivalutatori a predisporre essi stessi rankings di questa natura: i valutatori debbono valutare secondostrumenti che non dipendono dalle loro scelte, e che sono riconosciuti come opportuni ed efficaci daisoggetti valutati. Anche in questo caso, come in molti altri, l’Agenzia travalica i compiti chedovrebbero essere suoi propri, per estendere il proprio campo d’azione al di là di quantosuggeriscono le migliori pratiche internazionali.                                          page 2 / 7Aspetti critici dell’uso di rankings di ...by Antonio Banfi - http://www.roars.it/online/  redazione.roars@gmail.com  date:2015-04-30Venendo al secondo punto: le classifiche di riviste sono uno strumento intrinsecamente rischioso eper molti versi sconsigliabile. Basterebbe a dimostrarlo la recente esperienza della lista australiana (ilcosiddetto ranking ERA) che si è dovuto infine ritirare dopo aver constatato gli effetti distorsivi cheessa aveva prodotto e i danni anche gravi arrecati ad alcuni settori disciplinari.[9] Il ministroaustraliano competente ha dovuto dichiarare che “There is clear and consistent evidence that therankings were being deployed inappropriately … in ways that could produce harmful outcomes”. Lalista ERA, infatti, non è più oggi costruita come ranking, ma come un elenco che discrimina fra rivistescientifiche (le cui pubblicazioni sono valutabili) e non scientifiche (le cui pubblicazioni non sonovalutabili). Anche la lista ERIH, promossa dalla European Science Foundation e riservata alle scienzeumane, si è rivelata un sostanziale fallimento: i rankings assegnati alle sedi di pubblicazione hannosuscitato tali controversie da determinarne il sostanziale abbandono.[10] L’Accademia Reale Olandesedelle Scienze, in un documento dedicato alla valutazione delle humanities, considera la possibilità dicompilare classifiche di riviste in assenza di altri dati bibliometrici,[11] ma ribadisce più volte cheoccorre estrema cautela nella loro redazione per evitare che esse si rivelino dannose. Va rilevato chegli estensori del documento si astengono dal prendere posizione sull’opportunità dell’uso di talistrumenti per l’allocazione dei fondi (The question of whether one wishes to utilise classifications ofthis type – whether or not together with scoring – when allocating funding, as is the case in Norwayand Flanders, is a more far-reaching and political question, and one that the Committee does notwish to answer),[12] osservando comunque che la classificazione in sedi di classe A, B, C “suggests anexactitude that this specific quality indicator cannot in fact provide”.[13] In ogni caso, la redazione ditali rankings dovrebbe, secondo il parere degli estensori del documento, essere affidato alle comunitàscientifiche e supervisionato dall’Accademia delle Scienze, quale soggetto terzo e imparziale. Daultimo, ricordo che nel prossimo esercizio di valutazione britannico (REF), nessun panel di valutatorifarà ricorso a classifiche di riviste.[14]Nel caso italiano, per i modi e i tempi in cui le classifiche sonocostruite esse non paiono affatto restituire una “fotografia” del prestigio accademico delle sedi dipubblicazione già noto alle comunità di ricercatori; esse anzi rischiano non di certificare l’esistente,ma di influenzare in modo determinante il comportamento delle comunità stesse. L’identificazione daparte di ANVUR che – è bene ricordarlo – è organo di emanazione ministeriale e non un’autorità terzae imparziale,[15] di distribuzioni percentuali dei prodotti nelle diverse classi è un modo pertrasformare la realtà, non per analizzarla; vi è dunque il rischio concreto che la valutazione si svolgasecondo criteri che non solo non erano previamente noti, ma neppure immaginabili da parte deiricercatori i cui prodotti saranno esaminati. Inoltre, specie per quelle discipline per le quali nonesistono riviste ad uso dei professionisti, si determinerà una moltiplicazione dei contributi inviati alleriviste individuate – secondo criteri più o meno ragionevoli – come eccellenti e un impoverimentodelle sedi a cui è assegnato, a torto o a ragione, un basso ranking. Un processo con ogni evidenzairreversibile e self-sustaining.[16] Con l’effetto perverso di impoverire nel suo complesso laproduzione editoriale per alcune discipline (un certo numero di riviste andrà verosimilmente incontroa morte certa) e di rafforzare il potere accademico di chi controlla determinate sedi editoriali di per sériconosciute come portatrici di un “marchio di qualità”.                                          page 3 / 7Aspetti critici dell’uso di rankings di ...by Antonio Banfi - http://www.roars.it/online/  redazione.roars@gmail.com  date:2015-04-30Inoltre, la stessa struttura delle discipline umanistiche e lo scarso volume dei fondi per esse allocaticontribuiscono a rendere del tutto inutile un esercizio di questo tipo. Anche per questo motivo, negliStati Uniti dove pure è molto diffuso l’uso di classifiche di riviste per le hard sciences, non si fa ricorsoa rankings nei settori disciplinari delle humanities: come è stato scritto di recente, Humanitiesscholars in the United States should be proud that they have to date avoided rank and brandfever.[17]Nell’attuale situazione, nell’attesa che il dibattito si approfondisca e si rendano disponibili anche allescienze umane altri strumenti bibliometrici atti alla valutazione delle strutture (inclusi eventualmentequelli citazionali) parrebbe dunque opportuno rinunciare ad un’operazione rischiosa come quelladella costruzione di classifiche di sedi editoriali. La migliore soluzione pare dunque quella didistinguere unicamente sedi scientifiche (valutabili) e non scientifiche (non valutabili), sulla base diuna serie di parametri verificabili come quelli ai quali fa riferimento la lista di LATINDEX. Per tutto ilresto, c’è la peer review. Purché, è giusto ricordarlo, anche per questo aspetto si seguano le miglioripratiche, assicurando la pubblicità ex post dei nomi dei revisori.Genoni e Haddow, nel prevedere il fallimento del ranking ERA, hanno scritto che there are goodarguments that can be made to suggest that ranking of journals, particularly in the humanities, is afutile pursuit. Not only is it likely to produce questionable results in terms of the accuracy of thehierarchy it constructs, but also [..] it may lead to undesirable outcomes by inducing authors to seekpublication in journals that are sub-optimal in terms of communicating with a specific audience, whilethreatening the existence of the bulk of B and C journals that depend upon a regular flow of qualitysubmissions. These ramifications will be felt most keenly in disciplines that depend on local journals,and in middle-ranking research nations where there is an incentive to ‘export' research publishing toleading international journals.[18] Sono parole che i responsabili della VQR dovrebbero meditare.In conclusione, mi permetto di suggerire ai GEV delle aree umanistiche di rifiutare, al pari dei lorocolleghi inglesi, di ricevere classifiche di riviste, per dedicarsi a una uninformed peer review.Due diverse versioni di questo testo sono apparse sul sito dell’Istituto di Ricerche sulla PubblicaAmministrazione e su ASTRID, Fondazione per l’analisi, gli studi e le ricerche sulla riforma delleistituzioni democratiche e sull’innovazione nelle amministrazioni pubbliche. [2] Quest’ultimo punto è ormai largamente contestato. Si veda ad esempio il rapporto curato daRobert Adler, John Ewing, Peter Taylor per IMU, ICIAM e IMS, Citation Statistics: The idea thatresearch assessment must be done using “simple and objective” methods is increasingly prevalenttoday. The “simple and objective” methods are broadly interpreted as bibliometrics, that is, citationdata and the statistics derived from them. There is a belief that citation statistics are inherently moreaccurate because they substitute simple numbers for complex judgments, and hence overcome thepossible subjectivity of peer review. But this belief is unfounded.[3] Il principale, anche se non l’unico, strumento utilizzato a questi fini è l’impact factor (IF o JIF),                                          page 4 / 7Aspetti critici dell’uso di rankings di ...by Antonio Banfi - http://www.roars.it/online/  redazione.roars@gmail.com  date:2015-04-30elaborato dalla Thomson Reuters.[4] Cfr. A. Baccini, VQR e la bibliometria fai-da-te dell’ANVUR 1 e G. De Nicolao, VQR e la bibliometriafai-da-te dell’ANVUR 2.[5] Il che è imposto dalla mancanza, al momento, di indicizzazione dei prodotti delle scienze umane ealle difficoltà dello stesso data mining nelle scienze umane. Sono comunque in corso sperimentazioniper la costruzione di database citazionali per le scienze umane, un esperimento che – purchéconfinato alla valutazione di strutture e in presenza di un’adeguata normalizzazione dei dati rispettoal settore disciplinare di riferimento – consentirebbe di costruire una metrica intrinsecamente menodistorta di quella derivante dai rankings di riviste. Restano ovviamente ferme le critiche, ormai note,agli indici citazionali e ai comportamenti opportunistici che essi ingenerano: ogni indicatorebibliometrico dev’essere sempre utilizzato cum grano salis.[6] Guido Abbattista, che ringrazio, mi fa rilevare che non si tratterebbe propriamente di bibliometria,ma di analisi qualitativa su criteri prestabiliti. Senza esaminare a fondo la questione chenecessiterebbe di molto spazio, devo dire che non sono del tutto d’accordo. Non solo perché si trattadi fatto di una “metrica”, ma anche perché In fondo la stessa bibliometria fondata su dati citazionalinon è altro che una variante in forma quantitativa della peer review, come già vide D. Gillies (Howshould Research be Organized?, 2008, p. 57 ss.)[7] Report of the IMU/ICIAM Working Group on Journal Ranking (June 2011) p. 5.[8] In taluni paesi si fa ricorso a consultazioni pubbliche. E’ il caso della lista elaborata dal CNRS per leriviste economiche.                                          page 5 / 7Aspetti critici dell’uso di rankings di ...by Antonio Banfi - http://www.roars.it/online/  redazione.roars@gmail.com  date:2015-04-30[9] Cfr. in proposito G. De Nicolao, I numeri tossici che minacciano la scienza.[10] Cfr. J. Howard, New Ratings of Humanities Journals Do More Than Rank. They Rankle, TheChronicle of Higher Education, 10.10.2008.[11] Royal Netherlands Academy of Arts and Sciences, Quality Indicators for Research in theHumanities, 2011 p. 43: The Committee does consider, however, that precisely where digitisedbibliometrics (citation scores, h-index, etc.) are insufficiently usable in many areas of the humanities,a system for classifying publication media (both journals and publishers and books series) canprovide useful alternative indicators if applied judiciously and with an awareness of the limitationsoutlined above.[12] Ibid.[13] Ibid.[14] Cfr. in Proposito A. Baccini, VQR e la bibliometria fai-da-te dell’ANVUR 1.[15] Cfr. C. Pinelli, Autonomia universitaria, libertà della scienza, e valutazione dell’attività scientifica,in Rivista dell’Associazione Italiana dei Costituzionalisti, 3/2011, p. 5.[16] Cfr. P. Genoni, G. Haddow, ERA and the Ranking of Australian Humanities Journals, AHR 46 (2009),                                          page 6 / 7Aspetti critici dell’uso di rankings di ...by Antonio Banfi - http://www.roars.it/online/  redazione.roars@gmail.com  date:2015-04-30a proposito del ranking ERIH:  Despite the ESF's attempt to reconceptualise the ranking of humanitiesjournals, the ERIH attracted a substantially adverse response (Gorman; Howard). It was argued thatdevising categories in this way remains antithetical to the process of humanities scholarlycommunication, and that it ‘creates the hierarchies it claims only to be describing' (Howard). Criticsalso point out that despite the claim that the categories indicate ‘scope and audience' they willinevitably be used as a guide to quality, thereby directing the flow of papers away from the localjournals in category C. Cfr. anche J.W. Lamp, Journal Ranking and the Dreams of Academics, OnlineInformation ReviewVol. 33 No. 4, 2009 pp. 827-830.[17] J.R. Di Leo, Against Rank, Inside Higher Ed, 21.6.2010.[18] P. Genoni, G. Haddow, ERA and the Ranking of Australian Humanities Journals, AHR 46 (2009). Copyright :All this contents are published under Creative Commons Attribution-NonCommercial-ShareAlike2.5 Generic License.for reproduced, please specify from this website ROARS AND give the URL.Article link：http://www.roars.it/online/?p=4846Powered by TCPDF (www.tcpdf.org)                                          page 7 / 7

Italian

Aspetti critici dell’uso di rankings di riviste nelle scienze umane

https://aisberg.unibg.it/retrieve/handle/10446/29666/24322/Banfi%20-%20Aspetti%20critici%20dell%27uso%20di%20rankings%20di%20riviste%20nelle%20scienze%20umane.pdf

Aspetti critici dell’uso di rankings di riviste nelle scienze umane

Abstract

Similar works

Full text

Available Versions

Aisberg (Università degli Studi di Bergamo)