«La scienza è diventata un gioco in cui si pubblica e si fa carriera, non un modo per cercare la verità. Le riviste e le metriche stanno distruggendo la scienza», Sydney Brenner, 2017.
«Non avrei mai fatto carriera in un sistema che richiede continuamente pubblicazioni. Il mio lavoro fondamentale non sarebbe stato possibile con l’attuale cultura dei paper», Peter Higgs, 2013.
«L’impact factor ha invaso la biologia come un virus. È una metrica tossica», Bruce Albert in un editoriale su Science, 2013.
«Le riviste prestigio-centriche distorcono la scienza. L’impact factor è diventato una malattia», Randy Schekman, 2013, che in quell’anno annunciava che il suo laboratorio avrebbe boicottato Nature, Science e Cell.

Da almeno vent’anni si leggono autorevoli avvertimenti su come la bibliometria stia distruggendo la basi cognitive e morali di quel fragile ecosistema intellettuale che è la scienza. Le personalità sopra citate – tre delle quali premi Nobel – forse sono state ascoltate dalla Sorbona e dal CNRS, che sono usciti da Web of Science e Scopus. La decisione ha un significato politico forte, che non resterà senza conseguenze. Enrico Bucci, che per primo ne ha parlato e che conosce meglio di chiunque in Italia le dinamiche dell’editoria scientifica e della valutazione della ricerca, scrive che gli eventi recenti dimostrano che qualcosa si può ancora fare. Non sono così ottimista.

Con un solo gesto, in Francia vengono respinte sia la bibliometria come criterio centrale di valutazione, sia le pratiche ricattatorie degli oligopoli editoriali (inclusi i costi per abbonamenti e Article Access Charges). Per i francesi, la bibliometria è incompatibile con i principi dell’Open Science. Sono trascorsi quattordici anni dalla San Francisco Declaration on Research Assessment (DORA), che criticava la pratica di collegare l’impact factor (IF) delle riviste scientifiche al merito dei singoli ricercatori. Un simile uso, si sosteneva, introduce pregiudizi e inesattezze nella valutazione della ricerca: l’IF non deve essere utilizzato come misura sostitutiva della qualità dei singoli articoli, né nelle decisioni di assunzione, promozione o finanziamento. Nel 2015 seguiva il Manifesto di Leiden, che formulò dieci princìpi per contrastare l’uso improprio della bibliometria nella valutazione della letteratura scientifica: le metriche correnti, si diceva, portano regolarmente a valutazioni errate dei contenuti scientifici.

Subito ebbe inizio un processo di studio della questione che ha portato alla decisione francese. Sorprendente in parte, perché altri paesi erano già più avanti nel riformare i propri sistemi di valutazione e nel ridurre il più possibile l’uso di strumenti bibliometrici. Tra questi spiccano Paesi Bassi e Norvegia. Se i miseri curricula puramente numerici che da noi vengono presentati per concorsi o finanziamenti fossero sottomessi lì, finirebbero direttamente in un cestino. I curricula devono essere scritti in forma «narrativa», come quelli che trent’anni fa dovevo preparare quando partecipavo ai concorsi. Si vuole sapere nel dettaglio cosa è stato fatto nel periodo in cui si ricopriva le posizioni documentate, e quali idee o progetti un candidato ha per la testa. Altri paesi nordeuropei stanno lavorando alle riforme. L’ANVUR, l’Agenzia nazionale di valutazione del sistema universitario e della ricerca, è diventata operativa solo un anno prima di DORA, e ha riconosciuto di recente i limiti della bibliometria. E tuttavia continua a fondare le sue procedure su strumenti bibliometrici.

La bibliometria nacque negli anni Sessanta e sviluppò nel tempo una serie di indicatori (metriche) destinati a descrivere l’attività scientifica: numero di articoli, citazioni, impact factor, h-index, ecc. In origine avevano una funzione descrittiva, cioè leggere dinamiche generali dei sistemi della ricerca, non valutare individui. A partire dagli anni Novanta la produzione scientifica quantitativa era sostenuta da un sistema altamente efficiente su diversi livelli e la domanda di oggettività nella gestione di massicci finanziamenti rendeva l’ecosistema della ricerca facile preda della burocratizzazione. Le metriche erano comodi strumenti per decidere carriere individuali o criteri per la distribuzione di fondi, premi e riconoscimenti. In pratica, numeri che servivano per capire dinamiche complessive sono stati reclutati per valutare singoli ricercatori, spacciando convenienze e pseudo-misurazioni per strumenti di meritocrazia.

Gli effetti furono molteplici e si sommarono progressivamente, erodendo innanzitutto l’etica della ricerca. Poiché i ricercatori devono pubblicare sempre più articoli e sempre più rapidamente per sopravvivere nella lotta per l’esistenza, la domanda strutturalmente insaziabile di spazi editoriali ha portato all’invasione di specie nuove di editori, che hanno scoperto e ampliato una ricca nicchia adattativa. La cosiddetta «editoria predatoria» vede editori senza scrupoli offrire pubblicazioni rapide, con revisioni fittizie o inesistenti, dietro pagamento. Un modello economicamente redditizio, perché risponde a bisogni reali: velocità, volume, facilità. L’espansione esplosiva delle riviste predatorie, che sono circa un quinto di tutte le riviste scientifiche oggi pubblicate, si è verificata soprattutto nei Paesi in cui i sistemi di valutazione bibliometrica dominano la vita scientifica. Non è la cattiva etica di singoli editori ad alimentare il predatory publishing, ma la struttura stessa degli incentivi scientifici. Quando una pubblicazione, di qualunque qualità, vale più del suo contenuto, il mercato risponde offrendo prodotti che massimizzano la quantità. In questo senso il predatory publishing non è un’anomalia, ma l’esito necessario del modello bibliometrico. E si è facili profeti a dire che tale fenomeno, se nulla cambia, sarà amplificato a dismisura dall’uso delle IA generative.

Un altro effetto della bibliometria è l’aumento delle pratiche scorrette, dal p-hacking al cherry-picking fino alla falsificazione diretta dei dati, alle paper mills eccetera. Quando la quantità (numeri alti) pesa più della qualità (originalità e rigore metodologico), la competizione esasperata per la visibilità – qualunque cosa significhi – induce alcuni a superare i limiti dell’integrità. Aumentano così le retraction, gli scandali, le pubblicazioni dubbie e il generale clima di sfiducia nella scienza. Qualcuno sostiene che le percentuali di frodi rimane bassa e che forse è costante. Ma anche solo il 2-3% di oltre 50 milioni, il totale di pubblicazioni negli ultimi anni, è un numero significativo e c’è una vasta area grigia che non è analizzabile. Diverse interviste ai ricercatori riportano che circa il 40% afferma di avere avuto uno o più comportamenti non integri nella carriera.  Quale sarà l’impatto dell’IA generativa nell’esplosione del combinato disposto truffe (moltiplicabili all’infinito e fatte meglio delle persone) più editoria predatoria? E i costi in termini di denaro dilapidato o di posizioni assegnate a incapaci?

Lo «stile bibliometrico» ha favorito una massiccia concentrazione del settore editoriale: multinazionali come Elsevier, Springer Nature, Wiley, Taylor & Francis e Sage controllano gran parte delle riviste scientifiche del mondo. Era chiaro da subito che la bibliometria era una fonte cospicua di rendita economica. L’impact factor, attribuito alle riviste e non ai singoli articoli, è una sorta di marchio di lusso: pubblicare in riviste di alto livello porta vantaggi di carriera, e così le istituzioni pagano somme altissime per accedere ai contenuti e per coprire gli APC (Article Processing Charges, le tariffe richieste per pubblicare un articolo scientifico). Acquistare e inglobare riviste già esistenti e allo stesso tempo crearne di nuove (a volte anche decine per singola disciplina, o decine griffate, si veda il portfolio Nature) si è rivelato un affare. La proliferazione non risponde a esigenze scientifiche, ma a logiche economiche: più riviste significa più articoli, più citazioni, più flussi di denaro. Il risultato è un ecosistema dominato da oligopoli privati, che drogano pesantemente il mercato, ma anche l’immagine stessa del prestigio scientifico.

Il modello APC, per cui l’autore paga per rendere l’articolo accessibile, crea un incentivo diretto per gli editori ad accettare quanti più articoli possibile. E così si compromette la qualità della peer review e il livello di selettività. Nelle riviste create appositamente per sfruttare questo modello, i tassi di accettazione sono spesso molto elevati e la pressione sui revisori enorme. Gli editori predatori hanno imitato e radicalizzato questa logica, trasformando la pubblicazione in una transazione puramente commerciale. In questo senso, il confine tra editoria predatoria ed editoria commerciale aggressiva, in alcuni contesti, è meno netto di quanto sembri: la bibliometria monetizza la produzione scientifica. Il risultato è una perdita di qualità e un aumento dei costi.

L’effetto è devastante non solo sul piano etico, ma anche su quello epistemologico. La ricerca diventa più superficiale, più rapida, più orientata verso risultati positivi e citabili. Studi lunghi, complessi, teorici o con esiti negativi hanno poche possibilità di pubblicazione. L’innovazione disruptive, che richiede tempo, è penalizzata. Le repliche quasi scompaiono. L’aumento del volume delle pubblicazioni genera un sovraccarico cognitivo che rende difficile ai ricercatori rimanere aggiornati e si compromette la capacità di distinguere ciò che è significativo da ciò che è banale. Il sistema non sta già reggendo all’impatto ed è drammaticamente impoverito. Risultato: la credibilità del sistema editoriale si assottiglia progressivamente. Inoltre, le discipline con basso indice di citazione naturale, le scienze umane o parti della matematica, sono snobbate. In area umanistica, non bibliometrica, si allestiscono procedure che scimmiotta su un piano qualitativo quelle delle aree bibliometriche, tanto per aumentare l’arbitrarietà e la discrezionalità. 

La crisi della bibliometria riguarda la natura stessa della scienza come impresa cooperativa che esiste come tale nella misura in cui conquista sempre nuovi territori conoscitivi sulla base di libertà, creatività, etica e competizione per l’oggettività. L’editoria predatoria, la manipolazione dei dati e la concentrazione del potere editoriale sono sintomi di un sistema in cui gli incentivi sono diventati più importanti dei contenuti. Ma l’innovazione scientifica non può funzionare sulla base di una organizzazione taylorista della produzione. 

Che fare? La Francia ha lanciato la sfida. Negli Stati Uniti non si muove quasi nulla. Nel mezzo ci sono i paesi nordeuropei che cercando di capire se nell’acqua sporca si trova anche un bambino, prima di buttarla via. Scorrendo la letteratura scritta da persone più competenti di me, mi sono fatto l’idea che non sarebbe tardi per riformare la burocrazia della scienza. Ma che può essere tardi per riformare la psicologia della ricerca generata nelle persone dalla bibliometria. I condizionamenti sopravvivono ai regolamenti. La cultura accademica sclerotizzata difende privilegi ormai solo formali, per cui i burocrati proliferano senza controllo nelle università. L’editoria è ormai troppo potente, il volume delle pubblicazioni è fuori controllo, il peer review è saturo e gli incentivi sono consolidati. Se le istituzioni accademiche e gli enti sono abitati da persone selezionate dal sistema in corso, come possono cambiare? Scegliendo come è nella natura umana in situazioni simili il gattopardismo?