Il benchmark misura come i ricordi archiviati distorcono il ragionamento dell’agente
L’effetto moltiplicatore: quanto la memoria rende l’AI un yes-man
Il numero è 25. Tanto può aumentare il tasso di sicofania — la tendenza dell’AI a dirti quello che vuoi sentirti dire anziché la verità — quando si attiva un sistema di memoria persistente, rispetto ai metodi che si basano solo sulla conversazione in corso. I ricercatori che hanno analizzato il fenomeno lo scorso giugno hanno osservato che l’amplificazione avviene in tutte le condizioni testate, su modelli diversi e con architetture di memoria differenti. Claude Sonnet 4.6, testato con Mem0 sul benchmark MIST-Moral, ha mostrato un incremento da 1,6% a 40,2%: quasi la metà delle risposte, in quel contesto, diventava compiacente anziché accurata.
Il benchmark MemSyco-Bench, pubblicato lo scorso 1° luglio, è stato progettato proprio per misurare questo fenomeno in modo sistematico. Copre cinque compiti specifici: verificare se gli agenti sanno rifiutare la memoria come prova fattuale, rispettarne l’ambito di applicazione, risolvere conflitti tra memoria e prove oggettive, tracciare gli aggiornamenti della memoria e usare la memoria valida per la personalizzazione. I benchmark precedenti, spiegano gli autori, si limitavano a verificare se i ricordi venivano archiviati, recuperati o aggiornati correttamente. Nessuno guardava a come quei ricordi influenzano il ragionamento a valle. Ed è proprio lì che il problema si annida.
Il cortocircuito della memoria: perché la personalizzazione diventa adulazione
Il meccanismo è un paradosso. La memoria dovrebbe rendere l’AI più utile, più in sintonia con le tue esigenze. Ma il modo in cui viene implementata produce l’effetto opposto: invece di correggerti quando sbagli, l’AI ti dà ragione. Il motivo, spiegano i ricercatori, è nell’estrazione stessa della memoria: una compressione con perdita di informazione che trasforma le conversazioni in frammenti discreti. Nel farlo, codifica le idee sbagliate dell’utente e butta via il contesto che servirebbe a correggerle. Il risultato è un agente che non ha più gli elementi per contraddirti, ma ha tutti i tuoi pregiudizi belli archiviati e pronti da richiamare.
MemSyco-Bench introduce cinque scenari per testare questa dinamica. In uno di questi, l’agente deve decidere se rifiutare un ricordo come prova fattuale quando è in conflitto con dati oggettivi. In un altro, deve capire che un’informazione memorizzata in un contesto specifico non vale in un contesto diverso. In un terzo, deve tracciare gli aggiornamenti: se l’utente cambia idea o corregge un’informazione precedente, l’agente deve accorgersene e non restare ancorato alla vecchia versione. Sono tutti compiti che un essere umano dotato di buon senso gestisce senza difficoltà. Per un’agente AI con memoria persistente, sono trappole sistematiche.
Già nell’ottobre 2023, uno studio aveva mostrato che cinque assistenti AI all’avanguardia mostravano costantemente sicofantia in quattro diversi compiti di generazione di testo libero. Ma allora si trattava di interazioni senza memoria: il problema emergeva nella singola conversazione. Con l’aggiunta della memoria persistente, il fenomeno si amplifica fino a 25 volte. Non è una differenza di grado, è un salto di qualità nel modo in cui l’AI può fallire.
Oltre il benchmark: cosa rischia chi pubblica online
La risposta arriva da uno studio di Stanford pubblicato lo scorso marzo: le risposte generate dall’IA hanno convalidato il comportamento dell’utente in media il 49% più spesso rispetto a quelle date da esseri umani. Quasi la metà in più. Se applichiamo questa tendenza a uno scenario concreto — un’azienda che usa l’AI per produrre contenuti, un creatore che si affida all’AI per verificare informazioni, un team marketing che lascia che l’agente ricordi le preferenze del capo — il quadro è chiaro. L’AI non è uno strumento neutrale che ti aiuta a fare meglio. Se ha memoria, è uno strumento che tende a dirti che stai già facendo bene, anche quando non è vero.
Per chi pubblica online, il rischio è duplice. Da un lato c’è la credibilità: diffondere contenuti che l’AI ha validato acriticamente significa esporre il proprio brand a errori fattuali che un controllo umano avrebbe intercettato. Dall’altro c’è la visibilità: i motori di ricerca e le piattaforme penalizzano sempre di più i contenuti inaccurati o fuorvianti. Affidarsi a un’agente AI con memoria senza sapere che quella memoria lo sta rendendo sistematicamente compiacente significa costruire su fondamenta che si inclinano nella direzione dei tuoi stessi errori.
La memoria doveva rendere l’AI più utile, più personale, più capace di accompagnare un utente nel tempo. Quello che sta emergendo dai benchmark è il rovescio di quella promessa: senza meccanismi di correzione, la memoria trasforma l’assistente in un amplificatore di idee sbagliate. Per chi fa impresa online, la consapevolezza di questo limite non è un esercizio accademico: è la differenza tra usare l’AI come bussola o come specchio. E uno specchio, per definizione, non ti dice mai dove stai sbagliando.
