Il crollo al 5% nei test legali mette in discussione l’affidabilità dei benchmark standard
Un retriever che sembrava funzionare alla perfezione, con un richiamo corretto del 66,4% sui test standard, è crollato al 5% quando lo hanno messo alla prova su dati legali reali. Non è un errore di programmazione né un modello debole: è il risultato principale di RARE, il framework appena accettato ad ACL 2026 che sta facendo discutere chi lavora con la ricerca aumentata. Il problema non è il modello. È il test.
Il crollo delle certezze
Il numero fa impressione: 5%. Significa che su cento domande complesse in ambito legale, il sistema di recupero informazioni ne azzeccava completamente solo cinque. Lo stesso identico sistema, sulle stesse tipologie di domande ma su Wikipedia, ne indovinava sessantasei. Il crollo non è graduale: il retriever passa dal 66,4% di PerfRecall@10 su domande a quattro hop basate su Wikipedia generale a un intervallo compreso tra il 5 e il 27,9% quando la stessa profondità di ragionamento viene applicata ai domini Finance, Legal e Patent. Il dato peggiore, come detto, è proprio quello legale: 5% secco.
Per capire cosa significa “quattro hop”: sono domande che per essere risposte richiedono di collegare quattro informazioni sparse in documenti diversi. Il sistema deve recuperare tutti e quattro i passaggi giusti, nell’ordine giusto, per costruire la risposta. Non è un esercizio accademico: è esattamente quello che ci si aspetta da un motore di ricerca aziendale quando un avvocato cerca un precedente che coinvolge una normativa specifica, interpretata in un certo modo da una corte particolare, in un contesto geografico definito.
La trappola della ridondanza
La risposta al crollo sta nella natura stessa dei dati che le aziende accumulano. I corpora aziendali — le raccolte di documenti interni, contratti, report tecnici, email — sono molto più ridondanti dei benchmark accademici su cui vengono testati i modelli. Lo dimostrano le misurazioni fatte dal team di RARE: la similarità media tra passaggi e la frazione di fatti che compaiono in più documenti sono molto più alte nei dati Finance, Legal e Patent rispetto a benchmark come Natural Questions, HotpotQA e FiQA.
In pratica: se cerchi un’informazione in un’azienda, la stessa informazione compare in decine di documenti leggermente diversi. Il sistema di recupero si trova di fronte a decine di passaggi tutti plausibilmente rilevanti, tutti con piccole variazioni, e deve scegliere quelli giusti nell’ordine giusto. È come cercare un ago in un pagliaio, con la differenza che il pagliaio è pieno di aghi quasi identici. I benchmark tradizionali misurano la capacità di trovare l’ago quando ce n’è uno solo. RARE misura la capacità di trovare l’ago giusto quando ce ne sono cento.
Il framework lo fa con un approccio in due passaggi. Prima scompone i documenti in fatti atomici — unità minime di informazione — per tracciare con precisione quali informazioni compaiono in quali documenti e quante volte. Poi utilizza CRRF, un metodo che valuta i criteri di rilevanza separatamente e fonde le decisioni in base al rango, per generare dati di test più affidabili. Il risultato è un benchmark, RedQA, che non premia chi trova un’informazione qualsiasi, ma chi trova l’informazione giusta nella giusta sequenza, ignorando i falsi positivi creati dalla ridondanza.
E adesso? Riscrivere le regole della ricerca
Se un retriever che sui test standard sembrava eccellente si schianta al 5% in ambito legale, cosa significa per chi pubblica contenuti online con l’obiettivo di essere trovato dai motori di ricerca aziendali? Significa che i vecchi parametri non bastano più. Lo studio RARE mostra che i modelli con punteggi elevati nei benchmark accademici non raggiungono l’affidabilità attesa quando vengono messi in produzione. Non è una questione di potenza di calcolo o di modelli più grandi: è una questione di cosa stiamo misurando.
Per chi produce contenuti professionali — studi legali che pubblicano commenti alle sentenze, società di consulenza che diffondono analisi di mercato, uffici brevetti che documentano innovazioni — il messaggio è duplice. Da un lato, la visibilità nei sistemi di ricerca aumentata non si conquista più con l’ottimizzazione per benchmark progettati su Wikipedia. Dall’altro, la ridondanza stessa diventa un problema: pubblicare contenuti molto simili a quelli già esistenti, anche se di qualità, rischia di creare esattamente il tipo di rumore che i nuovi sistemi di valutazione stanno imparando a penalizzare.
Il dato legale è il più eloquente: 5% di richiamo perfetto significa che il 95% delle volte il sistema non recupera tutti i documenti necessari per rispondere correttamente. Per un avvocato che cerca un precedente, questo non è un margine di errore accettabile. Per chi pubblica contenuti legali online, significa che essere trovati nel momento giusto con il documento giusto è molto più difficile di quanto i vecchi parametri lasciassero intendere. La partita della visibilità si gioca su un campo nuovo, dove la precisione conta più della presenza, e dove la ridondanza può trasformarsi da vantaggio apparente a ostacolo reale.
