I test su dataset di sanità ed e-commerce mostrano un taglio dei costi del 48%
Un aumento della precisione fino all’8,8%, una latenza che scende del 47%, i costi dei token ridotti del 48%: lo studio pubblicato all’inizio di luglio su SchemaRAG non ha l’aria di un paper come tanti. Somiglia piuttosto al referto di un’azienda che ha appena tagliato metà della bolletta legata all’intelligenza artificiale senza sacrificare un grammo di qualità. I numeri sono stati misurati su dataset reali di sanità ed e-commerce, due settori dove un errore o un ritardo non sono dettagli trascurabili.
Per chi usa sistemi RAG — i motori che prima recuperano documenti e poi chiedono a un modello linguistico di estrarre la risposta — quei tre numeri raccontano una storia precisa: fino a ieri migliorare un parametro significava peggiorarne un altro. Più precisione voleva dire più passaggi, più passaggi volevano dire più tempo e più token, più token volevano dire costi più alti. SchemaRAG inverte questa logica: migliora tutto insieme. E lo fa affrontando un difetto noto dei modelli linguistici che chi sviluppa applicazioni concrete conosce fin troppo bene.
Perdersi nel mezzo
Per capire perché servisse un miglioramento così drastico bisogna guardare a ciò che succede quando un modello linguistico deve leggere testi lunghi. Già nel 2024, un gruppo di ricercatori guidati da Liu et al. aveva documentato su TACL un fenomeno tanto semplice quanto fastidioso: le prestazioni sono spesso più alte quando l’informazione rilevante si trova all’inizio o alla fine del contesto, e peggiorano in modo significativo quando il modello deve andare a pescarla nel mezzo di documenti estesi. È il cosiddetto «lost in the middle», il perdersi nel mezzo.
Immaginate di chiedere a un sistema RAG «quali sono le controindicazioni di questo farmaco per un paziente con insufficienza renale?». Il sistema recupera dieci documenti, li mette in fila e li passa al modello. Se la risposta è nel settimo documento, in piena terra di mezzo, il modello rischia di mancarla o di confonderla con informazioni meno rilevanti che stanno all’inizio o alla fine. Il risultato è una risposta meno precisa, oppure la necessità di frammentare i documenti e fare più passaggi, con costi e tempi che lievitano.
SchemaRAG affronta il problema a monte, ripensando il modo in cui i documenti vengono strutturati prima di essere passati al modello. Lo studio non si limita a dichiarare i miglioramenti: li quantifica su casi d’uso reali. Su dataset sanitari e di e-commerce, l’aumento del micro-F1 — una metrica che misura la capacità del sistema di classificare correttamente le risposte — arriva fino all’8,8%. La latenza, cioè il tempo che intercorre tra la domanda e la risposta, scende del 47%. I costi dei token, che nelle implementazioni aziendali di RAG rappresentano una voce di spesa ricorrente e sostanziosa, si riducono del 48%.
Per un’impresa che gestisce decine di migliaia di interrogazioni al giorno, un taglio di questa portata non è un’ottimizzazione marginale: è la differenza tra scalare il servizio o doverlo razionare. E il fatto che i test siano stati condotti su domini come la sanità — dove un’informazione sbagliata può avere conseguenze cliniche — e l’e-commerce — dove una ricerca imprecisa si traduce in carrelli abbandonati — rende i numeri più solidi di quanto sarebbero su benchmark sintetici.
Il costo è il campo di battaglia
Mentre SchemaRAG lavora sull’efficienza in fase di inferenza — quando il sistema è già in produzione e risponde agli utenti — altri fronti di ricerca stanno affrontando il problema dal lato dell’addestramento. Il framework SCIR ha mostrato di poter ridurre i costi di addestramento dell’87%, un numero che sposta l’attenzione su un’altra voce di spesa critica: preparare un modello a funzionare bene costa tempo, potenza di calcolo e denaro.
I due approcci non sono in competizione diretta — attaccano fasi diverse del ciclo di vita di un sistema AI — ma disegnano insieme un campo di battaglia chiaro. Il costo non è più un sottoprodotto da accettare con rassegnazione: è la variabile su cui si gioca la partita competitiva. Da una parte c’è chi vuole spendere meno per addestrare, dall’altra chi vuole spendere meno per ogni singola risposta generata. SchemaRAG si colloca in questo secondo campo, con l’ambizione di rendere i sistemi RAG non solo più precisi, ma più sostenibili per chi li usa ogni giorno.
La conseguenza pratica per chi pubblica online — un e-commerce, un portale sanitario, una banca dati professionale — è che la scelta non è più se adottare un sistema RAG per gestire le ricerche degli utenti, ma con quale architettura farlo. La differenza tra una soluzione e l’altra oggi si misura in costi che possono essere dimezzati e in clienti che trovano subito ciò che cercano, senza dover sfogliare risultati irrilevanti. SchemaRAG, con i suoi numeri misurati sul campo, mostra che non serve scegliere tra precisione e risparmio: si possono avere entrambi, a patto di smettere di perdersi nel mezzo.
