Il test LongMemEval ha misurato un calo medio del 30% nell’accuratezza dei chatbot
Immagina di raccontare a un assistente digitale dove hai messo un documento importante. Lui annuisce, prende nota. Due giorni dopo glielo chiedi di nuovo e lui ti guarda con occhi vuoti: non ricorda più niente. Su scala molto più ampia, è esattamente quello che succede con gli attuali chatbot: gli assistenti commerciali e i modelli linguistici a contesto lungo perdono il 30% di accuratezza quando devono memorizzare informazioni attraverso interazioni ripetute nel tempo. A dirlo non è un blogger, ma il benchmark LongMemEval, un test standardizzato progettato per misurare cinque capacità di memoria a lungo termine: estrazione di informazioni, ragionamento multi-sessione, ragionamento temporale, aggiornamento delle conoscenze e astensione dal rispondere quando non si hanno dati sufficienti. Lo scorso 2 luglio, un team congiunto di Snap Research e Baidu ha pubblicato su arXiv un framework che prova a ricucire questo strappo. Si chiama PPRO, e funziona in modo diverso da tutto ciò che abbiamo visto finora.
Il 30% che sfugge all’AI: un’amnesia annunciata
Per capire la portata del problema bisogna guardare dentro LongMemEval. Creato nel 2024, è un benchmark pensato per stressare la memoria degli assistenti conversazionali in condizioni realistiche: non una domanda secca, ma decine di scambi distribuiti su giorni o settimane. Il risultato è che i modelli, anche quelli con finestre di contesto lunghissime, cominciano a dimenticare. Il calo medio di accuratezza — quel 30% — non è un difetto occasionale: è strutturale.
A complicare le cose c’è un secondo dataset, LoCoMo, sempre del 2024, che simula conversazioni ancora più estreme: in media 300 turni di dialogo e 9.000 token a conversazione, distribuite su un massimo di 35 sessioni. È il tipo di interazione che un assistente personale dovrebbe gestire ogni giorno, ma che i sistemi attuali non reggono. La ragione è semplice: la memoria non è solo una questione di spazio. È una questione di pertinenza. Ricordare tutto non serve a niente se poi non sai cosa ripescare nel momento giusto, e soprattutto se non sai adattare il ricordo alla persona che hai davanti. E qui si innesta il lavoro di Snap e Baidu.
Dal profilo utente al ricordo perfetto: ecco PPRO
PPRO sta per Profile-guided Personalized Retrieval Optimization. Detto in parole più semplici: è un sistema che, invece di trattare la memoria come un magazzino unico e uguale per tutti, costruisce due banche separate — una per i ricordi episodici (quello che è successo), una per quelli semantici (quello che si è capito) — e da queste estrae un profilo dell’utente. Non è una scheda statica: si aggiorna man mano che le conversazioni accumulano dati. Quando l’utente fa una domanda, PPRO non cerca solo nei ricordi grezzi. Riscrive la query, la piega, la adatta a quel profilo specifico.
Il meccanismo di riscrittura è la parte più interessante. Il team ha usato una tecnica chiamata Group Relative Policy Optimization, un metodo di addestramento che premia il modello non solo quando recupera le prove giuste, ma anche quando la risposta finale — quella che l’utente legge — è di buona qualità. In pratica, il sistema impara a fare domande migliori a se stesso, tenendo fermi sia i database di memoria sia il modello che genera le risposte. I test su LoCoMo e su una versione ridotta di LongMemEval (chiamata LongMemEval-S) mostrano miglioramenti costanti rispetto ai sistemi di memoria che non usano addestramento e anche rispetto a quelli che già lo usano. Non stiamo parlando di un’ottimizzazione marginale: è un salto di coerenza che si vede nel lungo periodo.
Vale la pena notare che sul mercato esistono già architetture di memoria come Mem0, che estraggono, consolidano e recuperano informazioni dalle conversazioni in modo scalabile. Ma PPRO fa un passo in più: non si limita a ricordare meglio, ancora la memoria alla persona. È la differenza tra un archivio ben ordinato e un assistente che sa chi sei.
Cosa cambia per chi pubblica online
Se gli assistenti iniziano a ricordare — e a farlo in modo personalizzato — il modo in cui i contenuti vengono trovati cambia radicalmente. Non sarà più solo una questione di posizionamento in una pagina di risultati: la visibilità dipenderà da quanto un contenuto è capace di entrare in un dialogo prolungato, di essere recuperato al momento giusto, di risultare pertinente non in astratto ma per quell’utente specifico. Significa che la rilevanza si sposta dal ranking statico alla memoria dinamica.
Per chi produce contenuti — aziende, editori, creator — si apre uno scenario a due facce. Da un lato, chi saprà strutturare informazioni richiamabili in contesti conversazionali avrà un vantaggio competitivo. Dall’altro, il rischio è che un sistema di memoria personalizzato crei bolle informative ancora più strette di quelle che conosciamo oggi: se l’assistente ricorda solo ciò che rinforza il profilo, cosa resta fuori? La risposta non è ancora scritta da nessuna parte. Ma il framework di Snap e Baidu mostra che il problema della memoria non è più un vicolo cieco tecnico: è un terreno di competizione per la visibilità futura.
