Lo studio TrapQA individua due bias sistematici nel recupero delle informazioni
Perché un’intelligenza artificiale con miliardi di parametri e accesso a quantità sterminate di dati fornisce risposte completamente inventate? La spiegazione più diffusa chiama in causa l’ignoranza: il modello non sa, quindi improvvisa. Ma lo scorso 1° luglio, un nuovo studio pubblicato su arXiv da ricercatori di Google Research e Technion ha ribaltato questa lettura. Le allucinazioni, sostengono gli autori, non nascono dalla mancanza di dati. Nascono da un vizio di ragionamento: il modello sa, ma sceglie male cosa recuperare e come agire. La ricerca, firmata da Simhi e colleghi e presentata al workshop ICLR 2026 sull’AI agentica affidabile, introduce un test diagnostico chiamato TrapQA, progettato per isolare con precisione questi meccanismi distorti.
L’allucinazione non è amnesia
L’idea che un’IA allucini perché non ha informazioni sufficienti è rassicurante: basterebbe aggiungere dati, e il problema sparirebbe. Ma il quadro che emerge dallo studio è più scomodo. I ricercatori mostrano che l’allucinazione può derivare da «inferenza latente distorta piuttosto che da sola assenza di conoscenza». In altre parole, il modello ha i dati che gli servono, ma il suo processo interno — il modo in cui decide cosa è rilevante e cosa no — lo porta fuori strada. È come avere un bibliotecario che conosce a memoria ogni libro della sua biblioteca, ma quando gli chiedi un titolo specifico ti porta sistematicamente il libro sbagliato. Non perché quel libro non esista, ma perché il suo criterio di ricerca è tarato male. La domanda che segue è immediata: come si diagnostica un vizio di ragionamento così sottile, che non lascia tracce nell’archivio ma si annida nel processo decisionale del modello?
TrapQA: il test che svela due trappole mentali
Proprio per isolare questi «vizi di forma» è nato TrapQA, un framework diagnostico che non si limita a contare quante volte il modello sbaglia, ma cerca di capire perché sbaglia. Il test si compone di due ambienti controllati. Il primo, ScientistQA, mette il modello di fronte a scienziati con nomi simili e gli chiede di associare a ciascuno la scoperta corretta: un esercizio di disambiguazione che rivela quanto il modello si lasci guidare da somiglianze superficiali invece che dai fatti. Il secondo, Real-Life Constrained QA, è più subdolo: presenta domande quotidiane in cui esiste sempre una scorciatoia evidente ma fuorviante — una risposta facile che però viola un vincolo esplicito della richiesta. Superare il test significa resistere alla tentazione di quella scorciatoia.
I risultati delineano due modalità di fallimento ben distinte. La prima è il bias di recupero del compito nella disambiguazione delle entità: il modello, messo davanti a più opzioni plausibili, recupera quella che somiglia di più a casi già visti in fase di addestramento, ignorando gli indizi contestuali che dovrebbero guidarlo verso la scelta corretta. La seconda è il bias di selezione della chiave nella scelta dell’azione: quando deve decidere come rispondere, il modello afferra la prima chiave di ricerca familiare che gli viene in mente — quella statisticamente più frequente nei suoi dati — anche quando non centra con la domanda specifica. In entrambi i casi, non siamo di fronte a un bug di memoria. Siamo di fronte a una distorsione sistematica nell’ordine di priorità che il modello assegna alle informazioni. Questi bias non sono semplici errori di programmazione: sono il sintomo di una tendenza più profonda che riguarda chiunque pubblichi informazioni online.
Cosa cambia per chi pubblica contenuti online
Se i modelli scelgono attivamente cosa ignorare, la visibilità dei contenuti non dipende solo dalla loro qualità o autorevolezza. Dipende anche da quanto quei contenuti riescono a superare i filtri distorti che il modello applica quando decide cosa recuperare. Il bias di selezione della chiave, in particolare, dovrebbe far riflettere chi si occupa di SEO e presenza online: un modello può scartare una fonte autorevole semplicemente perché la chiave di ricerca che ha appreso come «predefinita» punta altrove. La correttezza dell’informazione diventa secondaria rispetto alla familiarità statistica del percorso per raggiungerla. È un meccanismo che premia la prevedibilità, non necessariamente l’accuratezza. Per un editore, questo significa che pubblicare contenuti verificati e ben strutturati non basta più: bisogna anche capire come il modello «ragiona» quando sceglie quali fonti interrogare per primo. Resta da chiedersi quando i motori di ricerca e le piattaforme che integrano modelli linguistici inizieranno a correggere questi bias in modo sistematico — e se lo faranno prima che le distorsioni si consolidino in abitudini difficili da scardinare.
Le allucinazioni non sono un difetto di fabbrica destinato a scomparire con la prossima generazione di modelli. Sono una conseguenza prevedibile di come i modelli assegnano priorità alle informazioni che già possiedono. Il test TrapQA lo dimostra con un rigore sperimentale che mancava: non serve cercare il problema nei dati di addestramento o nella dimensione del modello. Il problema è nel criterio di scelta. Comprenderlo significa progettare contenuti che non vengano fraintesi già alla prima «decisione» dell’algoritmo su cosa vale la pena recuperare. Per chi produce informazione, la partita della visibilità si sposta dalla quantità dei dati alla prevedibilità delle inferenze. Non è una buona notizia, ma è una notizia chiara.
