Modelli citano codici fiscali francesi reali, ma non validi per il periodo storico richiesto.
Zero per cento. È la percentuale di volte in cui un sistema di generazione aumentata da recupero su un corpus statico recupera la versione corretta del codice fiscale francese applicabile alla data, citando con sicurezza una versione reale ma inapplicabile. Il dato arriva da FiscalQA Pro, il benchmark presentato la scorsa settimana su arXiv, costruito su 32.436 versioni di articoli del codice fiscale francese che coprono 93 anni, dal 1938 al 2031.
Il crollo del RAG statico
I numeri di FiscalQA Pro mostrano che quel 0% non è un’anomalia. Il benchmark contiene 209 domande valutate da esperti su 33 articoli del Code général des impôts, il codice fiscale francese. In totale ne sono state rilasciate 221, e dodici sono state escluse perché fuori dall’ambito rispondibile.
La conoscenza parametrica dei modelli, cioè quello che un modello sa senza recuperare documenti, produce un’accuratezza media stretta del 3,0%. Il RAG su un corpus statico della versione corrente si ferma al 2,7%. Ma il dato più severo è un altro: il RAG statico recupera la versione applicabile alla data lo 0% delle volte. Non risponde a caso: cita con sicurezza una versione reale, pubblicata, ma non applicabile al contesto temporale della domanda.
Se invece il retriever lavora su un indice multi-versione, senza alcun oracolo, l’accuratezza media stretta arriva al 98,3%. Con un’ablazione che fornisce l’articolo corretto si tocca il 99,1%. Il divario tra il 2,7% e il 98,3% non dipende dal modello linguistico: dipende da che cosa il sistema può cercare, e in quale archivio.
Il paradosso della versione reale ma inapplicabile
La spiegazione sta nella struttura dell’indice usato dal retriever. Il paper introduce il termine temporal misgrounding per descrivere la sostituzione sistematica della versione attualmente in vigore di un articolo di legge con quella che andrebbe applicata in base al contesto temporale della domanda.
Un corpus statico della versione corrente contiene un solo fotogramma temporale per ogni articolo: quello oggi in vigore. Se la domanda riguarda un periodo diverso da quello della versione corrente, il retriever non ha la versione di quel periodo da offrire. Offre quella di adesso, e la cita con la stessa sicurezza con cui citerebbe quella giusta. Nei 93 anni coperti dal benchmark, il problema non è un caso di scuola.
Chi ha capito il tempo
Il problema non è teorico, e all’ICML 2026 è già arrivata una risposta. Secondo un benchmark presentato all’ICML 2026, l’accuratezza di Talia su domande legali time-dependent è dell’86%, contro il 2% dei modelli AI generalisti. Già nell’agosto 2023, LegalBench, un benchmark di ragionamento legale con 162 task che coprono sei diversi tipi di ragionamento, aveva mostrato quanto il diritto sia un banco di prova diverso dagli altri domini.
La differenza tra il 2% dei generalisti e l’86% di Talia va letta con cautela: il benchmark non è lo stesso di FiscalQA Pro, e i numeri non sono confrontabili in modo diretto. Però indica che la gestione del tempo nel diritto è ormai un terreno competitivo, non una riflessione accademica.
Per chi pubblica normative, guide fiscali o contenuti legali, il segnale è netto. Non basta avere il testo aggiornato: servono archivi versionati e datati che i retriever possano indicizzare. Altrimenti si viene citati per la versione sbagliata, con la stessa sicurezza.
