I modelli linguistici trovano ma non sanno scegliere

La differenza tra recuperare e discriminare spiega il crollo di performance nella selezione finale degli studi

Nei giorni scorsi è apparso su arXiv uno studio che mette a nudo un paradosso istruttivo per chiunque segua l’automazione del lavoro intellettuale. Il dataset si chiama MetaSyn, contiene 442 meta-analisi curate da esperti provenienti dalle riviste del gruppo Nature Portfolio e serve a misurare quanto i modelli linguistici siano capaci di condurre una revisione sistematica della letteratura scientifica. Il numero più sorprendente è questo: il miglior sistema di recupero informazioni trova il 90,9 per cento degli studi inclusi nel ground truth tra i primi 200 candidati, ma nessun sistema end-to-end ne include più del 52,7 per cento nel rapporto finale. Quasi quaranta punti percentuali di differenza tra il trovare e lo scegliere.

Recupero quasi perfetto, inclusione fallimentare

Il dato è controintuitivo per chi pensa che le revisioni sistematiche siano soprattutto un problema di ricerca documentale: se la macchina recupera quasi tutto, perché alla fine ne butta via metà? La risposta è nascosta nella differenza tra recuperare e discriminare. Lo studio mostra che il miglior retriever raggiunge un richiamo del 90,9 per cento a K=200, cioè quando si prendono i primi duecento risultati ordinati per rilevanza. È una prestazione notevole, che suggerisce come la fase di ricerca della letteratura sia quella in cui l’intelligenza artificiale può già dare il contributo più concreto.

Ma il problema arriva subito dopo. I modelli linguistici attuali, scrivono i ricercatori, «non riescono a separare in modo affidabile gli studi eleggibili dai distrattori PI/ECO in pool di rilevanza topica comparabile». Tradotto dal gergo: PI/ECO è l’acronimo che descrive i criteri di eleggibilità di uno studio — popolazione, intervento, confronto, esito — e i distrattori sono articoli che parlano dello stesso argomento ma non rispettano quei criteri. Il modello legge, capisce di cosa si parla, ma non sa decidere se quel particolare studio vada incluso o meno nella sintesi finale.

Perché i modelli falliscono

La spiegazione del paradosso sta nella natura stessa del compito. Recuperare documenti pertinenti è un problema di similarità semantica: il modello confronta la query con i testi e restituisce quelli più vicini. Scegliere quali includere in una meta-analisi è un problema di giudizio metodologico: bisogna valutare se il disegno sperimentale è corretto, se la popolazione è quella giusta, se l’intervento corrisponde esattamente a quello definito nel protocollo. Sono due operazioni cognitive diverse, e la seconda richiede una comprensione delle regole del metodo scientifico che i modelli attuali non possiedono in modo affidabile.

MetaSyn è il primo benchmark a fornire un ground truth definito dal protocollo attraverso tutte e tre le fasi: recupero, screening e sintesi. Questo significa che per la prima volta possiamo misurare non solo se il sistema trova gli studi giusti, ma anche se li include correttamente e se li sintetizza in modo appropriato. Ed è proprio questo che rivela il crollo: il recupero è buono, la selezione no. La sintesi finale, di conseguenza, è incompleta.

Per dare un termine di paragone, vale la pena guardare a un altro benchmark uscito negli scorsi mesi: ScienceAgentBench. In quel contesto, il miglior agente autonomo risolveva solo il 32,4 per cento dei compiti in modo indipendente. OpenAI o1-preview, con prompting diretto e self-debug, arrivava al 42,2 per cento. Numeri che fotografano una distanza ancora ampia dall’automazione completa del lavoro scientifico, anche su compiti meno complessi di una revisione sistematica strutturata.

C’è però un dato che mitiga il quadro. Uno studio apparso lo scorso giugno su Nature ha mostrato che lo screening assistito da modelli linguistici ha un’alta concordanza con la revisione manuale, con una sensibilità tra l’86 e il 93 per cento e una specificità tra il 96 e il 99 per cento. Il tempo di screening è sceso a 2-3 ore contro le 30-62 ore del lavoro interamente umano. La differenza è che in quel caso il modello suggeriva e l’umano decideva. Non era un sistema end-to-end lasciato a se stesso. E questo cambia tutto.

L’impatto sulle revisioni sistematiche

Il problema non è solo tecnico: investe la credibilità stessa delle revisioni sistematiche assistite dall’intelligenza artificiale. Se un modello include la metà degli studi che dovrebbe, la sintesi finale rischia di essere distorta in modi difficili da rilevare per chi non conosce la letteratura di partenza. È il paradosso dell’automazione applicato alla scienza: lo strumento è più utile proprio dove l’umano ha meno capacità di verifica, ma è anche lì che i suoi errori fanno più danni.

Le organizzazioni che producono evidenze scientifiche si stanno muovendo con cautela. Già nel marzo 2025, quattro tra le principali realtà internazionali — Cochrane, Campbell, JBI e CEE — hanno formato un gruppo congiunto sui metodi di intelligenza artificiale per guidare l’adozione di queste tecnologie. L’iniziativa è un segnale chiaro: l’interesse c’è, le risorse vengono stanziate, ma la strada per una sintesi completamente autonoma è più lunga di quanto i titoli trionfalistici degli ultimi due anni lasciassero intendere.

Chi si occupa di revisioni sistematiche sa che il collo di bottiglia è sempre stato lo screening: leggere migliaia di abstract per trovare le poche decine di studi davvero rilevanti. I modelli linguistici possono accelerare questa fase, a patto che restino strumenti di supporto e non diventino deleghe in bianco. Lo studio su Nature lo conferma: sensibilità alta, specificità alta, ma sempre con un revisore umano a chiudere il cerchio. I numeri di MetaSyn raccontano invece cosa succede quando si prova a fare a meno di quell’ultimo passaggio.

La lezione per chi produce evidenze scientifiche — agenzie regolatorie, gruppi di ricerca, organizzazioni come quelle del gruppo AI Methods — è che l’automazione va progettata per fasi. Il recupero della letteratura può essere delegato quasi interamente. Lo screening può essere accelerato con sistemi di triage automatico. Ma la decisione finale su quali studi includere, per ora, resta un compito per cui serve un essere umano che abbia letto il protocollo e sappia cosa sta cercando. Il resto è sperimentazione, non ancora pronta per sostituire il giudizio di un ricercatore. La sintesi completamente autonoma è ancora lontana, e i quaranta punti percentuali di MetaSyn sono lì a ricordarcelo.