La selezione per popolarità statistica penalizza gli studi piccoli ma solidi, filtrando prima che l’utente se ne accorga.
Chiedi a un chatbot generalista di recuperare gli studi essenziali su una questione clinica: in media ne trova quattro su dieci. Il migliore, ChatGPT, arriva a sei su dieci. Il peggiore, Gemini, non arriva a due. Non è un’anomalia sporadica: è il modo in cui la conoscenza scientifica viene filtrata oggi. La scorsa settimana, uno studio pubblicato su arXiv ha valutato tre chatbot di uso generale — Claude Sonnet 5, Gemini 3.1 Pro e ChatGPT GPT-5.5 — sulla capacità di recuperare gli studi inclusi nelle revisioni sistematiche Cochrane, il riferimento per l’evidenza clinica. Il risultato medio è un recall del 39,2%, con una deviazione standard del 29,8%. Tradotto: una risposta su due recupera meno di quattro studi su dieci, e la variabilità tra un tentativo e l’altro è enorme.
I numeri nel dettaglio. ChatGPT ha ottenuto una recall del 63,1%, Claude del 37,0%, Gemini del 17,3%. Una forbice che va da più di sei studi su dieci a meno di due, con una differenza statisticamente significativa. Nemmeno il ruolo assegnato al chatbot riequilibra il quadro: il ruolo di ricercatore ha prodotto una recall del 42,8%, quello di clinico del 38,6%, quello di paziente del 36,1%. Dire al modello “comportati da ricercatore” migliora qualcosa, ma si resta comunque sotto la metà. Chi usa un chatbot per decidere una terapia o orientare una revisione sta lavorando con una base parziale, senza sapere quale metà gli viene nascosta.
C’è un dettaglio che spiega come ragionano davvero questi sistemi. L’unico predittore indipendente e significativo del recupero è la dimensione del campione dello studio, con un odds ratio di 1,80 per ogni aumento unitario del logaritmo della dimensione campionaria. In parole povere: i modelli trovano più facilmente gli studi grandi, quelli noti, quelli già molto citati. Gli studi piccoli — magari metodologicamente solidi ma meno visibili — restano fuori. Non è ricerca bibliografica: è selezione per popolarità statistica. E il filtro opera prima ancora che l’utente possa rendersene conto.
Il paradosso dei benchmark: superare l’esame non basta
La domanda resta aperta: se un modello supera esami medici a pieni voti, come può fallire così vistosamente nel recuperare studi? Il paradosso ha radici profonde, e i numeri degli anni scorsi lo mostravano già. Nel 2023, secondo un’analisi di Bhattacharyya et al. su Scientific Reports, il 55% delle citazioni generate da GPT-3.5 risultavano inventate, mentre il 18% di quelle di GPT-4 erano fabbricate. Nel 2025, un test su esami medici pubblicato su Scientific Reports mostrava Gemini 2.5 Flash davanti a ChatGPT-5 e ChatGPT-4o, con tassi di accuratezza rispettivamente del 79,9%, 74,5% e 68,9%. Stessi modelli, due capacità completamente diverse: rispondere a un quiz a scelta multipla e cercare fonti affidabili sono problemi distinti. Il benchmark premia la memoria del sapere codificato; il recupero bibliografico richiede di distinguere ciò che esiste da ciò che suona plausibile.
L’invisibilità algoritmica: se il chatbot non ti trova
Il paradosso dei benchmark lascia il posto a una domanda più scomoda: chi decide cosa esiste per chi usa un chatbot? La risposta, nei dati, è un filtro che premia la grandezza e trascura la qualità. Già ad aprile 2026, un audit pubblicato da BMJ Open aveva rilevato che la qualità delle referenze fornite dai chatbot era scarsa, con un punteggio medio di completezza del 40%. Nessun chatbot ha fornito una lista di referenze completamente accurata, a causa di allucinazioni e citazioni fabbricate. Non un difetto occasionale: una proprietà strutturale del modo in cui questi modelli generano risposte.
Se il tuo studio non viene recuperato da un chatbot, per una quota crescente di professionisti non esiste. La visibilità scientifica si sta spostando dai database specializzati alle risposte dei modelli: chi pubblica deve pretendere metriche di retrieval, non solo impact factor.
