Gli errori dell’AI sfuggono ai verificatori automatici

Il metodo più diffuso si ferma a un’AUC di 0,51, mentre un classificatore elementare raggiunge quasi 0,88

Immaginate un antifurto che suona a caso e un sensore da pochi euro che invece funziona. Nei controlli di veridicità degli LLM — i modelli linguistici che generano testo — succede esattamente questo. Il metodo più diffuso, il campionamento di coerenza in stile SelfCheckGPT, fallisce con una precisione da lancio di moneta: un’area sotto la curva (AUC, dove 1 è la rilevazione perfetta e 0,5 è il caso puro) di 0,51. Un probe lineare — un classificatore elementare, niente reti neurali sofisticate — addestrato su dati vecchi e mai esposto alle decomposizioni quasi raddoppia la capacità di individuare errori, raggiungendo un’AUC tra 0,86 e 0,88. Il confronto è documentato in un paper sottomesso su arXiv l’11 agosto 2026, reso pubblico nei giorni scorsi.

Non è una disputa accademica. È il segnale che qualcosa non torna nei sistemi automatici usati per verificare la factualità delle risposte dell’AI, e che chi pubblica contenuti online dovrebbe osservare con attenzione.

Il paradosso del controllo cieco

La cosa sorprendente non è che un metodo funzioni e l’altro no: è che il metodo vincente sia quello più semplice. Il probe lineare descritto nello studio è addestrato esclusivamente su dati di conflitto contesto-memoria classico — un dataset chiamato NQ-Swap — e non ha mai visto in fase di addestramento alcun output di decomposizione. Eppure separa in modo significativo le decomposizioni che producono il fenomeno da quelle fedeli, con una significatività statistica forte (p inferiore a 0,0005).

Lo studio dà un nome al problema: Decomposition-Induced Context-Memory Conflict, abbreviato DI-CC. È un conflitto tra il contesto fornito al modello e la memoria interna del modello stesso, che emerge proprio quando un LLM scompone una risposta lunga in fatti atomici per verificarli uno per uno. Il metodo considerato sofisticato — campionare più versioni della risposta e controllarne la coerenza reciproca — non vede questo conflitto. Il probe lineare sì. Perché? La risposta sta nel modo in cui i modelli scompongono le risposte.

Perché la decomposizione rompe la memoria

Dentro un LLM coesistono due fonti di informazione: il contesto fornito nella richiesta e la memoria interna, costruita durante l’addestramento. Di norma concordano. Quando però il modello deve scomporre un testo in affermazioni singole, le due fonti possono entrare in conflitto: il contesto dice una cosa, la memoria un’altra. È questo il DI-CC, e i controlli di coerenza — progettati per verificare che più versioni della stessa risposta siano in accordo tra loro — non sono attrezzati per coglierlo, perché il conflitto è tra il contesto e la memoria, non tra una risposta e l’altra.

È come se un dipendente leggesse una nota interna che aggiorna i prezzi, ma continuasse a riferire i listini vecchi che ha memorizzato anni prima. Il problema non è la nota e non è la memoria: è l’interazione tra le due, che emerge solo quando il testo viene scomposto in singole affermazioni da verificare.

Questa pratica — scomporre un testo in fatti atomici — non è un dettaglio tecnico. È il cuore di metriche come FACTSCORE, introdotta già nel 2023, che scompone una generazione in fatti atomici e calcola la percentuale di fatti supportati da una fonte di conoscenza affidabile. Esiste anche una mitigazione nota dal contesto classico: il context-aware decoding, proposto nel 2023, che amplifica la differenza tra le probabilità di output di un modello usato con e senza contesto.

Nel nuovo studio, il context-aware decoding trasferisce al contesto della decomposizione e sopprime il DI-CC. Ma a un costo serio: molte decomposizioni in condizioni con coreferenze — quando il testo usa pronomi che rimandano a entità già citate — non riescono a essere elaborate e falliscono del tutto. La mitigazione c’è, ma non è pronta per l’uso reale.

Chi verifica i verificatori?

Il problema si estende all’ecosistema di valutazione. SAFE, un valutatore di factualità per risposte lunghe proposto dal 2024, utilizza un LLM per scomporre le risposte in fatti individuali e li verifica tramite ricerche su Google. Se la decomposizione è il punto debole documentato nel paper, anche un sistema come SAFE può ereditare lo stesso problema: il DI-CC può compromettere l’affidabilità delle sue valutazioni senza che il sistema se ne accorga.

Per chi pubblica contenuti online, la conseguenza è concreta. Se i controlli standard non rilevano il conflitto contesto-memoria, gli errori fattuali nelle risposte generate dall’AI — comprese quelle che descrivono un brand, un prodotto, un prezzo — possono passare inosservati. E quando un motore di ricerca basato sull’AI rappresenta un’azienda con un fatto sbagliato, nessun sistema automatico lo segnala come errore.

Se i controlli standard falliscono, le risposte generate dall’AI sul tuo brand possono contenere errori fattuali senza che nessun sistema automatico li rilevi. La visibilità nei motori AI dipende da metriche di factualità che oggi mostrano un punto cieco: chi pubblica deve pretendere verifiche più robuste o monitorare direttamente come gli LLM rappresentano i propri contenuti.