Il team di LG AI Research ha sviluppato un metodo che valuta interi insiemi di documenti
Quando il miglior algoritmo di reranking copre solo il 45% dei bisogni informativi di un’intelligenza artificiale, è chiaro che qualcosa non funziona nel modo in cui valutiamo i motori di ricerca. È il dato più sorprendente emerso dalla ricerca “Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking”, pubblicata su arXiv lo scorso 22 luglio e presentata ad ACL 2025, la più importante conferenza internazionale sulla linguistica computazionale. Il team di LG AI Research, guidato da Lee e colleghi, ha misurato quanto i metodi attuali di selezione e riordino dei documenti riescano effettivamente a soddisfare ciò che serve a un modello linguistico di grandi dimensioni per generare una risposta completa. Il risultato è impietoso.
Il 45% che manda in crisi il reranking
Il numero è chiaro: il miglior metodo di reranking raggiunge al massimo il 45% di copertura. In altre parole, anche l’algoritmo più sofisticato oggi disponibile non riesce a selezionare più della metà delle informazioni di cui un’intelligenza artificiale ha bisogno per rispondere in modo adeguato a una domanda. Non è un dettaglio tecnico per addetti ai lavori: significa che, nel momento in cui un sistema di Retrieval Augmented Generation (RAG) – la tecnologia che permette a ChatGPT, Gemini e compagnia di attingere a documenti esterni invece di improvvisare – va a pescare informazioni, lascia fuori più della metà di ciò che servirebbe.
La ricerca non si limita a diagnosticare il problema. Il team di LG AI Research ha sviluppato un metodo alternativo, chiamato Rubric4Setwise, che rovescia la logica tradizionale. Invece di selezionare i documenti in base alla loro rilevanza individuale, li valuta secondo rubriche di qualità predefinite, scegliendo insiemi di documenti che coprano al meglio i criteri richiesti. Il risultato è che Rubric4Setwise ottiene le migliori prestazioni di generazione downstream con meno documenti e meno round di ricerca. Non solo: è l’unico approccio che mantiene prestazioni competitive in entrambi gli scenari testati – la generazione di risposte brevi e quella di testi lunghi. Nessun singolo metodo di reranking tradizionale mantiene prestazioni top in entrambi i contesti.
Per misurare tutto questo, i ricercatori hanno costruito SetwiseEvalKit, un benchmark che comprende circa 28.000 rubriche di valutazione di alta qualità. È il primo strumento pensato specificamente per valutare la selezione di documenti dal punto di vista di un’intelligenza artificiale, non di un lettore umano.
Ma perché i metodi attuali falliscono così miseramente?
La lettura “insiemistica” dei LLM e l’inganno delle metriche umane
La risposta sta nel modo radicalmente diverso in cui l’AI processa i documenti rispetto a un lettore umano. Le metriche tradizionali di Information Retrieval come nDCG, MAP e MRR sono state progettate decenni fa assumendo che una persona scorra i risultati uno dopo l’altro, con un’attenzione che cala man mano che scende nella classifica. È il comportamento di chi digita una ricerca su Google e guarda i primi tre o quattro link, raramente oltre la prima pagina.
I modelli linguistici non funzionano così. Secondo uno studio pubblicato da Trappolini e colleghi su arXiv, le metriche IR tradizionali come nDCG, MAP e MRR assumono che gli utenti umani esaminino sequenzialmente i documenti, ma questa assunzione non vale per i sistemi RAG dove i LLM processano tutti i documenti recuperati come un insieme. Un’intelligenza artificiale non legge il primo documento, poi il secondo, poi il terzo con attenzione decrescente. Li prende tutti insieme, li analizza simultaneamente, ne estrae ciò che serve. L’ordine conta poco, quello che conta è la completezza dell’insieme.
Questo disallineamento ha conseguenze pratiche enormi. Le metriche su cui abbiamo costruito vent’anni di search engine optimization premiano il posizionamento: essere il primo, il secondo, il terzo. Ma se un LLM valuta i documenti come un insieme, la posizione smette di essere il fattore determinante. Diventa cruciale, invece, la capacità di un documento di coprire aspetti specifici che altri documenti non coprono. Un testo piazzato in decima posizione ma che contiene un’informazione unica e necessaria può essere importante quanto il primo risultato.
Il problema è che questo è esattamente il contrario di ciò che le metriche tradizionali misurano. nDCG premia la rilevanza e la posizione: un documento molto rilevante in prima posizione vale più dello stesso documento in quinta posizione. Ma per un LLM, se quel documento contiene l’unica informazione su un certo aspetto richiesto dalla rubrica, la sua posizione è irrilevante. Il sistema RAG lo processerà comunque. Il risultato è che le metriche nDCG-based sono fondamentalmente disallineate con il modo in cui i LLM consumano i risultati di ricerca, come scrivono Trappolini e colleghi.
Se i LLM valutano i documenti come un insieme, allora anche i criteri di selezione devono cambiare. Cosa significa per chi produce contenuti?
Dalla SERP alla rubrica: la nuova visibilità per i publisher
La ricerca di Lee e colleghi non si limita a diagnosticare il problema: offre un benchmark e un metodo per affrontarlo. Rubric4Setwise funziona con un approccio radicalmente diverso: invece di selezionare documenti in base alla loro rilevanza individuale rispetto alla query, li valuta in base a rubriche che definiscono cosa rende “buona” una risposta. La domanda non è più “questo documento è rilevante?”, ma “quanto questo insieme di documenti copre i criteri richiesti?”.
Per chi pubblica online, questo cambiamento è profondo. Fino a oggi, la partita della visibilità si giocava sul posizionamento nei motori di ricerca: scalare la SERP, ottenere il primo posto per le query importanti. Ma i modelli linguistici di grandi dimensioni e gli agenti AI sono diventati i principali consumatori dei risultati di ricerca. Quando un utente chiede a un assistente AI di sintetizzare un argomento, non vede dieci link blu: riceve una risposta costruita attingendo a un insieme di documenti. La nuova domanda per i publisher non è “come arrivo primo su Google?”, ma “come faccio a essere incluso nell’insieme che l’AI usa per rispondere?”.
Le implicazioni sono concrete. Un articolo ben posizionato ma ridondante – che ripete informazioni già presenti in altri documenti dell’insieme – rischia di essere scartato, perché non aggiunge copertura alle rubriche. Al contrario, un contenuto posizionato peggio ma che offre un angolo unico, un dato esclusivo, una prospettiva che nessun altro documento contiene, diventa prezioso. Non è più una questione di quantità di traffico, ma di qualità dell’informazione rispetto all’insieme.
E questo cambia anche il modo in cui si misura il successo. Le metriche tradizionali come nDCG, MAP e MRR – gli stessi indicatori su cui si basano decine di tool SEO – sono tarati su un lettore umano che clicca e legge in sequenza. Non catturano ciò che interessa a un LLM. Il benchmark SetwiseEvalKit, con le sue 28.000 rubriche, è il primo tentativo di costruire uno strumento di valutazione che rifletta questo nuovo paradigma. Non è ancora uno standard di settore, ma segnala una direzione.
La domanda retorica che molti publisher dovrebbero porsi è: sto ottimizzando i miei contenuti per metriche che stanno diventando obsolete? Il rischio non è perdere qualche posizione in classifica, ma diventare invisibili agli agenti AI che selezionano i documenti con criteri completamente diversi. Chi continuerà a rincorrere il ranking su nDCG senza capire le rubriche che guidano la selezione degli insiemi, potrebbe scoprire di avere contenuti tecnicamente ben posizionati ma sistematicamente esclusi dalle risposte generate dall’intelligenza artificiale.
Per chi pubblica online, la sfida non sarà più scalare le classifiche dei motori di ricerca, ma soddisfare le rubriche che guidano la selezione dei documenti da parte degli agenti AI. Chi ignorerà questo cambiamento rischia di diventare invisibile.
