Lo studio ha analizzato modelli da 1,7 a 20 miliardi di parametri, trovando errori in tutti
I modelli linguistici più avanzati, quelli che ragionano e si autocorreggono, continuano a sbagliare quando devono leggere una tabella. Non è un incidente sporadico: succede in tutti i modelli, da quelli compatti a quelli con decine di miliardi di parametri. E in settori come la finanza, la sanità o la rendicontazione scientifica, un errore su un dato non è un dettaglio, è un guasto del sistema. Secondo uno studio pubblicato il 30 giugno scorso su arXiv, questi errori di riferimento ai dati — i Data Referencing Error, o DRE — sono molto più diffusi di quanto si pensasse e resistono perfino ai meccanismi di auto-riflessione che dovrebbero eliminarli.
L’errore nascosto in ogni tabella
La ricerca ha passato al setaccio modelli di dimensioni comprese tra 1,7 e 20 miliardi di parametri. Il risultato è netto: i DRE compaiono ovunque. «I DRE si verificano in tutti i modelli testati», scrivono gli autori. Significa che quando un modello linguistico deve rispondere a una domanda che coinvolge dati tabulari — per esempio “qual è stato il fatturato del terzo trimestre?” — la risposta può contenere un riferimento sbagliato alla cella, alla riga o alla colonna giusta. Il modello vede la tabella, ma non la “legge” correttamente.
Il problema non è nuovo, ma finora era stato affrontato con strumenti limitati. Già nel 2015, Pasupat e Liang avevano creato il dataset WikiTableQuestions, che resta un punto di riferimento per misurare la capacità dei modelli di interrogare tabelle. Studi successivi avevano osservato i DRE, ma sempre su un singolo modello e con pochi casi annotati a mano. Adesso per la prima volta l’analisi è estesa e sistematica. E la conferma che nessuna taglia di modello, nemmeno la più grande, evita questo tipo di sviste solleva una domanda inevitabile: perché i modelli di ragionamento più moderni non riescono a correggersi da soli?
L’illusione dell’auto-correzione
La risposta è scomoda. I meccanismi di auto-riflessione che equipaggiano gli ultimi modelli di reasoning — quelli che rivedono il proprio output e provano a migliorarlo — qui non funzionano. Come emerge dall’analisi estesa, i DRE «non vengono efficacemente eliminati né dai meccanismi di auto-riflessione dei modelli di ragionamento né dagli approcci basati su prompt». In altre parole, possiamo chiedere al modello di “ricontrollare” o “pensare passo passo” quanto vuole: l’errore di riferimento al dato rimane.
C’è una ragione precisa. L’auto-riflessione agisce sulla catena di ragionamento, verifica coerenza logica, ma non ha accesso diretto alla corrispondenza tra il numero citato nella risposta e la cella della tabella da cui dovrebbe provenire. Il modello può produrre un ragionamento impeccabile e allo stesso tempo agganciarlo a un dato sbagliato. È un po’ come un commercialista che argomenta in modo perfetto, ma prende i numeri dalla riga sbagliata del bilancio. La forma è impeccabile, la sostanza no. E questo scarto rende i DRE particolarmente insidiosi per chi usa i modelli linguistici in contesti dove i dati contano davvero.
4 miliardi di parametri che vedono ciò che i giganti ignorano
È qui che entra in campo un’idea tanto semplice quanto efficace: un modello critico specializzato. Invece di affidarsi a un unico modello che fa tutto — capisce la domanda, legge la tabella, ragiona e risponde — il nuovo approccio separa il compito della verifica dei riferimenti e lo affida a un modello più piccolo, addestrato apposta per scovare i DRE. Il modello critico ha solo 4 miliardi di parametri, lontanissimo dalle decine o centinaia di alcuni modelli generalisti, ma raggiunge un punteggio F1 medio del 78,2% nel rilevare sia gli errori visti durante l’addestramento sia quelli fuori dal perimetro noto. Non è un’accuratezza perfetta, ma è un passo concreto.
Il dato decisivo, però, è un altro: quando si integra questo critico leggero nel flusso di lavoro, l’accuratezza delle risposte finali migliora fino al 12%. Dodici punti percentuali in più non sono un’inezia. In finanza possono fare la differenza tra una previsione affidabile e una che manda fuori strada le decisioni. In sanità, tra un referto che cita il valore corretto e uno che genera confusione. Nella rendicontazione scientifica, tra un paper che riporta i dati giusti e uno che diffonde errori. Non stiamo parlando di una rivoluzione, ma di un incremento misurabile e riproducibile, che per chi costruisce applicazioni dati-intensive cambia il calcolo costi-benefici dell’adozione dell’IA.
Tenere un modello critico accanto al modello principale non è gratis: richiede risorse di calcolo e un’orchestrazione più complessa. Ma se l’alternativa è accettare che un sistema sbagli a leggere una tabella in settori dove un errore ha impatto diretto su soldi, salute o conoscenza, quel costo aggiuntivo diventa quasi inevitabile. Non si tratta di sostituire i modelli generalisti, ma di affiancarli con uno strumento che fa una cosa sola — controllare i riferimenti ai dati — e la fa abbastanza bene da alzare l’affidabilità complessiva. Per chi sviluppa soluzioni su dati tabulari, questo non è un dettaglio: è la condizione minima perché un sistema sia adottabile quando la posta in gioco è alta.
