Il divario emerge nel confronto con BM25, fermo a zero in 54 lingue su 70 testate
Il dato sembra parlare da solo: su 70 celle linguistiche, il sistema di memoria a lungo termine tablet-2 raggiunge il 95,2% di recall media@5, contro il 19,0% di BM25. Ma il numero che conta davvero è un altro: BM25 è esattamente a zero in 54 di quelle 70 lingue, e in swahili neppure tablet-2 supera il 53%. È quanto emerge dal report su tablet-2 firmato da Sunwoo Kim, pubblicato su arXiv nei giorni scorsi. La recall@5 misura, in parole povere, quante volte il sistema recupera l’informazione giusta entro i primi cinque risultati.
Il 95,2% che nasconde lo zero in 54 lingue
Il report mette in fila risultati solidi: il 95,7% su LongMemEval-S (500 domande) e il 67,5% su BEAM-1M, 700 domande con 2,21 milioni di ricordi memorizzati. Poi arriva il confronto che conta: su 70 celle linguistiche in cui si memorizzano informazioni e le si interroga, tablet-2 raggiunge il 95,2% di recall media@5. La media, però, nasconde la distribuzione.
Contro BM25, un sistema di recupero lessicale classico che gli autori dicono di aver configurato «il più forte possibile», il divario è ampio: 95,2% contro 19,0%. Ma BM25 non è semplicemente più debole: è esattamente a zero in 54 lingue su 70. E quando si guarda alle lingue a basse risorse, anche tablet-2 arretra: 53,0% in swahili, 64,0% in telugu. Un sistema che in media sfiora il 95%, in swahili trova l’informazione giusta poco più di una volta su due.
Resta una domanda: perché i benchmark tradizionali non segnalano questo crollo? Se un sistema vale 53 in swahili e 95 in media, qualcosa nella metrica non funziona. La risposta sta nel modo in cui questi test misurano la «memoria».
Il benchmark non sa più cos’è memoria
La spiegazione parte da lontano. Il nuovo punto di riferimento per i sistemi di memoria artificiale è BEAM, un benchmark con 100 conversazioni e 2.000 domande validate. Prima ancora c’era LongMemEval, presentato all’ICLR 2025: 500 domande inserite in cronologie di chat, con un calo medio di accuratezza del 30% per chatbot commerciali e modelli a lungo contesto. Sul fronte multilingue, già nel 2022 Google Research aveva costruito XM3600, con 261.375 didascalie di riferimento generate da umani in 36 lingue per 3.600 immagini. I benchmark non mancano. Il problema è che non misurano più ciò che dicono di misurare.
Il sospetto non è nuovo. Sui benchmark più datati come LoCoMo e LongMemEval, il semplice context stuffing — infilare tutto il materiale nella finestra di contesto anziché memorizzarlo davvero — ottiene punteggi competitivi. In altre parole: un sistema che «ricorda» solo perché ha spazio per rileggere tutto il testo passa per un sistema di memoria. Lo scorso aprile Hindsight, il sistema di Vectorize, aveva ottenuto il 64,1% su BEAM a 10 milioni di token, contro il 40,6% del miglior risultato pubblicato precedente: un margine del 58% che dice più sui limiti dei concorrenti che sulle capacità del sistema.
Due voci lo spiegano con chiarezza. Secondo Mem0, i punteggi dei benchmark di memoria sono aumentati con la crescita delle finestre di contesto, ma i guadagni sono spesso attribuibili al modello di lettura, non al sistema di memoria. E secondo il team di MemGPT/Letta, i benchmark degli strumenti di memoria sono intrecciati con l’agente circostante e con il lettore: si misura il pacchetto, non il pezzo.
Ma c’è un terreno dove la realtà non può essere nascosta dalle medie aggregate: le lingue a basse risorse.
Per chi pubblica in swahili
E così si arriva al punto che tocca chi fa impresa online. Non tutti i pubblici sono uguali davanti a questi sistemi: un contenuto in swahili o in telugu parte da una base di recupero molto più bassa, e il dato sulle didascalie peggiora il quadro. Secondo il report, aggiungere didascalie riduce il recupero cross-lingue di 11,4 punti. Tradotto: per un editore o un’azienda che pubblica in lingue a basse risorse, la visibilità nei sistemi basati su memoria artificiale è compromessa — e la pratica comune di arricchire le immagini con didascalie può rendere le cose peggiori, non migliori.
Il 95,7% è una media che nasconde un sistema a due velocità: eccellente in inglese, fragile altrove. Per chi pubblica online, la domanda non è quanto ricorda il sistema, ma chi dimentica.
