I test mostrano zero richiamo libero su tre diverse scale del modello Qwen3
Negli ultimi due anni, la promessa di un’intelligenza artificiale capace di imparare dall’esperienza mentre conversa con un utente — ricordare una preferenza, un nome, un fatto emerso in chat — è diventata il nuovo confine dell’industria. Aziende, laboratori e startup hanno investito su tecniche che aggiornano i modelli al volo, senza doverli riaddestrare da zero. I numeri, a leggerli in fretta, sembravano dare ragione: la perplexity (una misura di quanto il modello sia “sorpreso” dai dati successivi) scende, le loss si abbassano. Eppure, stando a un framework di valutazione pubblicato il primo luglio 2026, quei numeri raccontano una storia che non trova riscontro nel comportamento reale. I modelli non ricordano. Zero richiamo libero. Il miglioramento resta intrappolato nelle metriche di laboratorio e non si traduce in memoria utilizzabile.
Il paradosso dei numeri che ingannano
Il problema è emerso con chiarezza negli esperimenti condotti su tre scale del modello Qwen3 (1,7, 4 e 8 miliardi di parametri). Applicando aggiornamenti con la tecnica LoRA — un metodo leggero che modifica solo una piccola parte dei pesi del modello durante l’uso — i ricercatori hanno osservato che la perplexity e la loss sui token successivi miglioravano in modo coerente. Era esattamente ciò che ci si aspetterebbe da un sistema che sta “imparando” fatti nuovi inseriti nel flusso della conversazione. Ma quando poi si chiedeva al modello di rievocare quei fatti in forma libera, senza il contesto originale, il risultato era zero. Nessuna traccia di ciò che aveva appena “imparato”.
Non si tratta di un dettaglio tecnico. Il richiamo libero è il test più vicino a come un assistente digitale dovrebbe usare la memoria in un servizio reale: un utente dice “ricordati che preferisco riunioni dopo le 10”, e più tardi, in un’altra conversazione, il modello dovrebbe tenerne conto senza che glielo si ricordi. Le metriche proxy, come la perplexità, misurano quanto il modello anticipa il testo successivo quando il contesto è ancora disponibile. Ma quel tipo di “apprendimento” svanisce non appena il contesto sparisce. È come studiare a memoria una pagina e poi non saper rispondere a una domanda aperta sull’argomento: la sensazione di aver imparato c’è, ma la competenza no. Il divario misurato dal framework pubblicato su arXiv è netto: gli esperimenti con LoRA e Qwen3 mostrano metriche in miglioramento e, allo stesso tempo, un’incapacità totale di richiamare ciò che si suppone sia stato appreso.
La trappola della perplexity
Il cuore del problema non sta nella tecnica, ma in ciò che usiamo per misurare il successo. Storicamente, gli LLM vengono valutati con indicatori come la loss sui token successivi o la perplexity, che conta quanto il modello trovi “improbabili” le parole che seguono. Sono metriche utili durante l’addestramento, ma diventano ingannevoli quando vengono usate per sostenere che un modello sta acquisendo una memoria utilizzabile dopo il rilascio. Già a luglio il concetto di Test-Time Training — strati che aggiornano il modello mentre processa la sequenza — veniva presentato come una strada per adattare i modelli al volo. Quei risultati incoraggiavano a immaginare assistenti capaci di personalizzarsi sull’utente senza mai fermarsi. Ma l’evidenza comportamentale richiesta per dimostrare quella capacità è un’altra cosa: serve che il modello rievochi il fatto più tardi, lo riformuli senza copiare, lo mantenga nel tempo, gestisca conflitti con ciò che già sapeva e lo usi per azioni concrete dopo che il contesto originale è andato via.
Il framework proposto quest’anno mette ordine proprio su questo punto. È costruito su due componenti: una scala di evidenze, che separa l’adattamento al flusso di testo dall’interiorizzazione stabile di un’informazione, e un protocollo di valutazione che confronta il modello con una baseline di memoria esplicita — una sorta di “memoria meccanica” che non impara davvero ma archivia e basta — e classifica ogni fallimento in categorie mutuamente esclusive. In questo modo, si riesce a capire se il modello sta davvero immagazzinando un fatto o sta solo diventando più bravo a prevedere le parole successive mentre il fatto è ancora lì in bella vista. I risultati non lasciano spazio a interpretazioni morbide: le metriche proxy migliorano, il comportamento no. La ragione è che ridurre la perplexità su una finestra di contesto non equivale a codificare un’informazione nella memoria a lungo termine del modello, né a renderla disponibile per un uso successivo in assenza del testo originale.
Questo non significa che tecniche come LoRA o Test-Time Training siano inutili. Significa che usarle per sostenere scenari di personalizzazione e memoria post-deployment richiede prove diverse. Senza un test di richiamo libero, parafrasato e stabile nel tempo, qualsiasi affermazione di apprendimento è costruita sulla sabbia. E il dato di zero richiamo libero su tre modelli di scala crescente suggerisce che il salto non è questione di parametri, ma di architettura e di obiettivi di addestramento ancora non risolti.
Cosa cambia per chi pubblica (e per chi sviluppa)
Per chi produce contenuti, gestisce e-commerce o progetta strumenti di assistenza basati su LLM, l’implicazione è immediata. La memoria post-deployment è stata a lungo il Santo Graal per costruire esperienze su misura senza invadere la privacy con profili utente esterni: basterebbe che il modello apprendesse in conversazione. Ma se i fatti appresi vengono dimenticati una volta usciti dal contesto immediato, quel castello di carte crolla. Non si può promettere un assistente che ricorda le preferenze dell’utente se il meccanismo sottostante è un miglioramento di perplexity che non produce alcuna rievocazione. Chi sviluppa servizi deve chiedersi non solo “il modello migliora in addestramento?”, ma “il modello supera un test comportamentale di memoria dopo il deployment?”. Le due domande danno risposte opposte.
Prima di investire nella personalizzazione in tempo reale basata su LLM, verificate che il vostro modello superi un vero test di memoria. Altrimenti state costruendo sulla sabbia.
