Il confronto tra due scenari di generazione permette di isolare le imprecisioni parola per parola
Immagina di chiedere al tuo assistente digitale quanti clienti hai perso nell’ultimo trimestre. Lui ti risponde «17», ma poi aggiunge: «però non ho verificato la cifra esatta». Finora, i sistemi di verifica delle risposte generate dall’intelligenza artificiale funzionavano più o meno così: ti dicevano se una risposta era globalmente affidabile, non se ogni singolo dato lo fosse. Era un giudizio a spanne. Nei giorni scorsi è stato pubblicato su arXiv CORTEX, un metodo di rilevamento delle cosiddette allucinazioni che promette di cambiare approccio: non più una valutazione complessiva, ma una verifica precisa, token per token, all’interno dei sistemi di Retrieval-Augmented Generation, meglio noti come RAG.
Il tallone d’Achille del RAG: verifiche a spanne
Il RAG, ormai adottato su larga scala per migliorare la factualità dei grandi modelli linguistici, è un meccanismo che permette all’AI di attingere a documenti esterni prima di formulare una risposta. In teoria, dovrebbe garantire la massima aderenza ai fatti. In pratica, anche quando i riferimenti sono corretti e pertinenti, i modelli possono generare contenuti infondati o incoerenti. Il diavolo, come al solito, sta nei dettagli. E i dettagli, in una risposta lunga e articolata, sono tanti.
I metodi esistenti per il rilevamento delle allucinazioni, spiega l’articolo, sono limitati proprio perché valutano l’output nel suo complesso. Prendiamo due approcci molto diffusi. Il primo, basato sull’autoconsistenza, stima l’affidabilità misurando il grado di accordo tra più risposte generate dallo stesso prompt (come proposto da Manakul et al. nel 2023). Il secondo, basato su prompt, usa i modelli stessi come fact-checker per verificare a posteriori il contenuto (studi di Zheng et al., 2023, Es et al., 2024, Furumai et al., 2024). Entrambi hanno un difetto comune: in un testo dove convivono frasi corrette e affermazioni inventate, non sanno distinguere il grano dal loglio con sufficiente precisione. Buttano via il bambino con l’acqua sporca, oppure promuovono tutto senza guardare.
Per chi pubblica contenuti online e punta a essere citato da questi sistemi, è un problema serio. Se l’AI ti menziona ma poi aggiunge un dato sbagliato, il sistema di verifica potrebbe bollare l’intera risposta come inaffidabile, oppure, al contrario, avallare l’inesattezza perché nel complesso il testo appare coerente. In entrambi i casi, il risultato è un danno di credibilità e, potenzialmente, di traffico.
CORTEX: il microscopio che confronta due mondi
La risposta arriva da un team dell’Università della Virginia, che ha sviluppato CORTEX. L’intuizione è semplice da capire, anche per chi non è un tecnico: invece di guardare una sola versione della risposta, CORTEX costruisce una vista controfattuale accoppiata, analizzando le rappresentazioni interne del modello in due condizioni distinte: quando lavora con i documenti recuperati e quando lavora senza. Confronta ciò che il modello avrebbe detto basandosi solo sulla sua conoscenza interna con ciò che dice dopo aver letto i riferimenti. Dove le due rappresentazioni divergono in modo significativo, lì si annida con alta probabilità un’allucinazione. È una sorta di controllo incrociato, un microscopio puntato sui singoli token che compongono la frase.
Il risultato, documentato da esperimenti su due benchmark RAG e tre diversi modelli linguistici, è un miglioramento sostanziale nel rilevamento a livello di token. Non è l’unico tentativo di affinare la detection. Già a dicembre 2025 era apparso RAGLens, un rilevatore leggero basato su autoencoder sparsi (SAE) che sfrutta le attivazioni interne del modello per segnalare gli output infedeli nei sistemi RAG. Quel lavoro è stato poi accettato all’ICLR 2026. La differenza, però, è sostanziale: RAGLens sonda un singolo input, mentre CORTEX introduce un confronto dinamico tra due scenari, isolando l’effetto del documento recuperato sulla generazione della risposta. In altre parole, non si chiede solo «questa risposta è fedele?», ma «questa risposta è più fedele di quella che il modello avrebbe prodotto da solo?».
Perché la tua visibilità online dipenderà da una verifica token per token
La ricaduta immediata è sui sistemi RAG utilizzati da motori di ricerca e assistenti AI sempre più diffusi. Se questi sistemi inizieranno a integrare metodi di verifica granulare come CORTEX, la qualità della citazione diventerà un fattore determinante. Non basterà più comparire tra i documenti recuperati; bisognerà che l’AI, a valle, interpreti quei contenuti senza stravolgerli. La differenza tra un’allucinazione e un fatto verificato può essere questione di un solo token: un numero, una data, un nome proprio. E quella differenza, in uno scenario di ricerca AI-driven, può decidere se il tuo contenuto apparirà in cima ai risultati o verrà scartato perché giudicato potenzialmente inaffidabile.
Gli esperimenti condotti su più LLM dimostrano che il miglioramento è consistente, ma il cammino è appena iniziato. Siamo ancora nella fase della ricerca, lontani da un’implementazione di massa. Tuttavia, la direzione è chiara. A dicembre dello scorso anno, RAGLens aveva già mostrato che era possibile costruire rilevatori leggeri basati sulle attivazioni interne. Ora CORTEX alza l’asticella, spostando il focus dalla risposta complessiva al singolo frammento di informazione.
Per chi pubblica online, la sfida non è più solo fornire i documenti giusti, ma assicurarsi che l’AI li interpreti senza inventare nulla. La posta in gioco è la fiducia del lettore e, di conseguenza, il traffico che da quella fiducia dipende. Come nota lo studio, negli output RAG «contenuti fedeli e allucinati spesso coesistono». Separarli con un bisturi, anziché con un’accetta, era il passaggio che mancava.
