Il confronto sul benchmark BEIR mostra che i modelli più compatti superano sistemi commerciali con il doppio dei parametri
Il contesto conta. I modelli di retrieval sono il motore invisibile di ogni ricerca: determinano se un documento viene trovato o ignorato, sia su un motore di ricerca pubblico sia all’interno di un archivio aziendale. Se un’impresa sceglie sistemi commerciali costosi e chiusi, potrebbe ottenere risultati peggiori di quelli garantiti da modelli open più piccoli ma addestrati con dati pubblici di qualità.
Piccolo è meglio: i numeri che ribaltano i giganti
I dati pubblicati la scorsa settimana non lasciano molto spazio ai dubbi. Sul benchmark BEIR, lo standard di riferimento per misurare la qualità della ricerca testuale, DenseOn raggiunge un nDCG@10 medio di 56,20 e LateOn arriva a 57,22—due nuovi record per questa classe di dimensioni. La metrica nDCG@10 misura quanto sono pertinenti i primi dieci risultati restituiti: più è alto il numero, più il modello centra ciò che l’utente sta cercando. Già i modelli inglesi della generazione precedente, come documentato nel blog ufficiale di LightOn, avevano superato concorrenti commerciali e open source molto più grandi—Jina ColBERT v2 da 559 milioni di parametri e Arctic Embed L v2 da 568 milioni.
Il dato che sposta l’asticella riguarda mLateOn, la variante multilingue da 307 milioni di parametri. Sul benchmark BEIR ottiene un punteggio di 57,56, battendo ogni modello di base testato nello studio. Non solo i modelli densi—quelli che comprimono il testo in una rappresentazione matematica fissa per poi confrontare i vettori—ma anche i modelli a interazione tardiva come ColBERT-XM, che conservano i singoli elementi lessicali fino al momento del confronto, preservando più informazioni. E lo fa con meno parametri della metà dei concorrenti superati.
Il segreto è nei dati, non nei parametri
La spiegazione di questi risultati non sta in qualche architettura segreta, ma in una ricetta interamente open. Negli ultimi anni, i modelli di retrieval più performanti hanno cominciato ad affidarsi sempre più a dati di addestramento chiusi, creando quello che i ricercatori chiamano un «divario di riproducibilità»: sappiamo che funzionano, ma non sappiamo esattamente perché né come replicarli. Come spiega lo stesso studio, «i modelli di retrieval allo stato dell’arte si affidano sempre più a dati di addestramento chiusi, creando un divario di riproducibilità».
LightOn ha fatto il contrario. I ricercatori hanno ricostruito e curato 665 milioni di coppie contrastive in inglese partendo da 1,4 miliardi di coppie raccolte da 34 fonti pubbliche. Una coppia contrastiva è un esempio di addestramento in cui il modello impara a distinguere un documento pertinente da uno non pertinente per una data richiesta. A queste hanno aggiunto 1,88 milioni di coppie di fine-tuning supervisionato con «hard negatives»—esempi difficili, dove il documento sbagliato somiglia molto a quello giusto, costringendo il modello ad affinare la sua capacità di discriminazione.
Poi il passaggio decisivo: tutti i dati inglesi validati sono stati tradotti in otto lingue, producendo 2,8 miliardi di coppie con esempi cross-linguali. Su questa base sono stati addestrati mDenseOn e mLateOn, due modelli da 307 milioni di parametri costruiti sull’architettura mmBERT-base. Non è un dettaglio tecnico: è la differenza tra un modello che impara da dati pubblici verificabili e uno che dipende da dataset proprietari che nessuno può ispezionare.
Che la differenza la facciano i dati, e non l’architettura di partenza, lo conferma un confronto interno allo stesso studio. Due modelli basati sullo stesso identico backbone ModernBERT—gte-modernbert-base e modernbert-embed-base—mostrano un divario di quasi 2,5 punti in nDCG@10 medio sul benchmark BEIR. Stessa struttura, prestazioni molto diverse. E il divario è attribuito alla ricetta dei dati di addestramento. In altre parole: non basta avere un buon motore, serve il carburante giusto. E se quel carburante è pubblico, chiunque può verificarlo, migliorarlo e adattarlo ai propri contenuti.
Russo, hindi, thai: la sfida vinta dal retrieval open
La vera sorpresa arriva quando si guardano lingue che i modelli non hanno mai visto durante l’addestramento al retrieval. Secondo i risultati pubblicati sul blog di LightOn, mLateOn supera ampiamente mDenseOn su lingue e sistemi di scrittura mai elaborati in fase di training: russo, cinese, hindi, thai. Su MIRACL, un benchmark multilingue, mLateOn ottiene una media di 67,59 sulle lingue di retrieval non viste, contro 57,42 di mDenseOn. Su MLDR, un benchmark per la ricerca su documenti lunghi in più lingue, il divario è ancora più ampio: 66,52 contro 35,97.
Questo significa che i modelli a interazione tardiva come mLateOn non si limitano a funzionare bene nelle lingue in cui sono stati addestrati: generalizzano la capacità di ricerca anche su alfabeti e strutture linguistiche completamente nuovi. Per chi pubblica contenuti in più lingue—un e-commerce con cataloghi in russo, un’azienda SaaS con documentazione in cinese, un editore con archivi in hindi—non è un dettaglio tecnico. È la differenza tra essere trovati o restare invisibili in mercati linguistici che i modelli commerciali potrebbero non coprire adeguatamente.
Resta una domanda aperta: se modelli open come mLateOn funzionano così bene, chi costruisce sistemi di ricerca aziendale o piattaforme di e-commerce può permettersi di ignorarli? La risposta, guardando i numeri, è no. Il retrieval open non è più un’alternativa sperimentale: sta diventando lo standard più affidabile per essere trovati, in qualsiasi lingua si pubblichi.
