La perplessità non rileva le differenze nel recupero di informazioni, che variano dal 14% al 98% a parità di addestramento
Lo scorso 23 luglio un gruppo di ricercatori ha sottomesso su arXiv un paper che porta alla luce un difetto strutturale dei modelli linguistici che usiamo ogni giorno. Il titolo è tecnico — Möbius RoPE — ma la scoperta è di quelle che fanno riflettere chiunque lavori con l’intelligenza artificiale. Sei modelli da 162 milioni di parametri, preaddestrati in modo identico con RoPE standard e differenti solo per il seed casuale — quel numero invisibile che inizializza l’addestramento — mostrano accuratezze nel recupero di informazioni che variano dal 14% al 98% a un contesto di 512 token. Significa che un modello ricorda quasi tutto, l’altro quasi niente. Stesso codice, stessi dati, stesso tempo di calcolo. L’unica differenza è il caso.
La lotteria nascosta del retrieval
Per capire cosa è andato storto bisogna fare un passo indietro. RoPE, introdotto a metà 2021 con il modello RoFormer, codifica la posizione di ogni parola in una sequenza usando una matrice di rotazione. È il metodo che permette ai modelli di capire che “il gatto insegue il topo” è diverso da “il topo insegue il gatto”, perché incorpora la distanza relativa tra le parole direttamente nella formulazione dell’auto-attenzione. Funziona, e infatti quasi tutti i modelli moderni lo usano.
Il problema è che RoPE standard ha una variabilità nascosta che la metrica più usata per valutare i modelli — la perplessità — non riesce a vedere. La perplessità misura quanto un modello è “sorpreso” dal testo che legge: più è bassa, meglio il modello predice la parola successiva. È la metrica regina dell’addestramento, quella che i team di ricerca guardano per decidere se un modello sta imparando oppure no. Nel caso dei sei modelli con seed diversi, la perplessità non dava alcun avvertimento. Eppure le prestazioni nel recupero di informazioni erano un tiro di dadi.
Il test che ha smascherato questa fragilità si chiama Needle-in-a-haystack (NIAH), letteralmente “ago nel pagliaio”. Consiste nel nascondere un’informazione specifica in un testo molto lungo e chiedere al modello di ritrovarla. È un compito che valuta la capacità dei modelli linguistici di ricordare informazioni precise da un contesto esteso, ed è stato formalizzato come benchmark generale alla fine del 2024.
I numeri sono impietosi. Sei modelli addestrati in modo identico, cambia solo il seed casuale: a una lunghezza di contesto di 512 token, le accuratezze NIAH vanno dal 14% al 98%, con una deviazione standard del 31,4%. Vale a dire che prendendo due modelli a caso, uno può essere quasi perfetto e l’altro totalmente inaffidabile. E la perplessità, il termometro che tutti consultano, resta silenziosa. Per chi costruisce applicazioni che devono recuperare informazioni da documenti lunghi — ricerca legale, analisi finanziaria, assistenti virtuali — questa non è una curiosità accademica. È un problema concreto.
L’effetto è stato osservato su modelli di piccola scala (162 milioni di parametri), e i ricercatori specificano che è limitato al retrieval di un singolo ago all’interno della finestra di addestramento. Ma il principio è chiaro: lo stesso identico training può produrre un modello che funziona o uno che fallisce, e nessuno te lo dice finché non lo metti alla prova con il test giusto.
Il nastro che annoda il contesto
La risposta arriva da un’idea presa in prestito dalla topologia: un nastro di Möbius applicato alle frequenze di rotazione. Möbius RoPE è un posizionamento rotativo costruito su una scala di frequenze anti-periodiche — una formula matematica, θ_i = π(2i+1)/N — dove ogni piano di rotazione avanza di un multiplo dispari di π attraverso il contesto di addestramento. Tradotto: le due estremità della sequenza vengono forzate a incontrarsi in modo deterministico, come se il testo fosse scritto su un nastro che, dopo un giro completo, torna al punto di partenza ma rovesciato. I ricercatori lo chiamano “dipolo” di Dirichlet, ed è la prima volta che una condizione al contorno anti-periodica viene usata in un positional encoding.
Il bello è che non serve riaddestrare tutto da capo. L’ibrido Möbius applica queste frequenze speciali solo al 25% delle teste di attenzione, lasciando il resto con RoPE standard. Il risultato è che la perplessità resta praticamente identica alla baseline (29,66 contro 29,72), ma l’accuratezza del retrieval Needle-in-a-haystack diventa stabile: 90,3% con deviazione standard di appena il 5,7% contro il 63,3% con deviazione del 31,4% di RoPE standard, su sei seed diversi. Il seed peggiore dell’ibrido raggiunge l’86%, mentre con RoPE standard si precipita al 14%.
Per confermare che il miglioramento viene davvero dalla scala di frequenze, i ricercatori hanno fatto un controllo incrociato: hanno preso modelli già addestrati con Möbius RoPE, hanno congelato i pesi e hanno sostituito la tabella delle frequenze con quella di RoPE standard. Il retrieval è crollato, con i danni concentrati sugli aghi più lontani nella sequenza — cioè proprio dove il meccanismo anti-periodico dovrebbe fare la differenza. La controprova è netta: senza l’accoppiamento deterministico tra inizio e fine sequenza, il modello perde la bussola.
Vale la pena notare che non siamo nell’era pionieristica del positional encoding. Già nel 2022, i ricercatori Haviv e colleghi avevano mostrato che i modelli linguistici senza codifica posizionale esplicita rimangono competitivi con i modelli standard, e questo fenomeno è robusto su diversi dataset, dimensioni e lunghezze di sequenza. Un anno dopo, nel 2023, un altro studio aveva evidenziato che i metodi più comuni — ALiBi, Rotary, APE — non sono adatti alla generalizzazione di lunghezza nei compiti applicativi. E sempre nel 2023, il metodo YaRN era riuscito a estendere la finestra di contesto dei modelli LLaMA ben oltre il pre-addestramento originale. In questo panorama, Möbius RoPE non è l’ennesimo trucco per allungare il contesto, ma una correzione mirata a un problema diverso: l’affidabilità del retrieval dentro la finestra di addestramento.
Perché la perplessità non basta più
Se un cambiamento così mirato — modificare le frequenze di rotazione su un quarto delle teste — può stabilizzare il retrieval senza toccare la perplessità, allora la metrica regina dell’addestramento va messa in discussione. Non perché sia sbagliata in assoluto, ma perché è incompleta. La perplessità dice quanto un modello è bravo a prevedere la parola successiva, non quanto è bravo a ricordare un’informazione vista 400 token prima. Sono due capacità diverse, e la seconda è quella che conta quando chiedi a un assistente AI di riassumere un contratto o di trovare una clausola specifica in un documento di cento pagine.
Il panorama dei positional encoding è già affollato di alternative. NoPE, per esempio, elimina completamente la codifica posizionale esplicita e supera altri metodi senza richiedere calcoli aggiuntivi. Ma nessuna di queste alternative aveva isolato il problema della variabilità da seed nel retrieval. Möbius RoPE lo fa, e lo risolve con un intervento chirurgico che non richiede di buttare via anni di ricerca su RoPE.
Ora sappiamo che due modelli con la stessa perplessità possono avere un’affidabilità opposta quando si tratta di trovare un’informazione in un testo lungo. Per chi pubblica contenuti e si affida all’AI per farli trovare, per chi costruisce motori di ricerca basati su modelli linguistici, per chi valuta fornitori di intelligenza artificiale, non è più accettabile giudicare un modello solo dalla sua curva di loss. La prossima volta che un modello sembra perfetto sulla carta, forse è meglio chiedersi: ma trova l’ago nel pagliaio?
