I test su dataset di sanità ed e-commerce mostrano un taglio dei costi del 48%
Un aumento della precisione fino all’8,8%, una latenza che scende del 47%, i costi dei token ridotti del 48%: questo studio pubblicato su SchemaRAG non ha l’aria di un paper come tanti. Somiglia piuttosto al referto di un’azienda che ha appena tagliato metà della bolletta legata all’intelligenza artificiale senza sacrificare un grammo di qualità. I numeri sono stati misurati su dataset reali di sanità ed e-commerce, due settori dove un errore o un ritardo non sono dettagli trascurabili.
Per chi usa sistemi RAG — i motori che prima recuperano documenti e poi chiedono a un modello linguistico di estrarre la risposta — quei tre numeri raccontano una storia precisa: fino a ieri migliorare un parametro significava peggiorarne un altro. Più precisione voleva dire più passaggi, più passaggi volevano dire più tempo e più token, più token volevano dire costi più alti. SchemaRAG inverte questa logica: migliora tutto insieme. E lo fa affrontando un difetto noto dei modelli linguistici che chi sviluppa applicazioni concrete conosce fin troppo bene.
Perdersi nel mezzo
Per capire perché servisse un miglioramento così drastico bisogna guardare a ciò che succede quando un modello linguistico deve leggere testi lunghi. Già nel 2024, un gruppo di ricercatori guidati da Liu et al. aveva documentato su TACL un fenomeno tanto semplice quanto fastidioso: le prestazioni sono spesso più alte quando l’informazione rilevante si trova all’inizio o alla fine del contesto, e peggiorano in modo significativo quando il modello deve andare a pescarla nel mezzo di documenti estesi. È il cosiddetto «lost in the middle», il perdersi nel mezzo.
Immaginate di chiedere a un sistema RAG «quali sono le controindicazioni di questo farmaco per un paziente con insufficienza renale?». Il sistema recupera dieci documenti, li mette in fila e li passa al modello. Se la risposta è nel settimo documento, in piena terra di mezzo, il modello rischia di mancarla o di confonderla con informazioni meno rilevanti che stanno all’inizio o alla fine. Il risultato è una risposta meno precisa, oppure la necessità di frammentare i documenti e fare più passaggi, con costi e tempi che lievitano.
SchemaRAG affronta il problema a monte, ripensando il modo in cui i documenti vengono strutturati prima di essere passati al modello. Lo studio non si limita a dichiarare i miglioramenti: li quantifica su casi d’uso reali. Su dataset sanitari e di e-commerce, l’aumento del micro-F1 — una metrica che misura la capacità del sistema di classificare correttamente le risposte — arriva fino all’8,8%. La latenza, cioè il tempo che intercorre tra la domanda e la risposta, scende del 47%. I costi dei token, che nelle implementazioni aziendali di RAG rappresentano una voce di spesa ricorrente e sostanziosa, si riducono del 48%.
Per un’impresa che gestisce decine di migliaia di interrogazioni al giorno, un taglio di questa portata non è un’ottimizzazione marginale: è la differenza tra scalare il servizio o doverlo razionare. E il fatto che i test siano stati condotti su domini come la sanità — dove un’informazione sbagliata può avere conseguenze cliniche — e l’e-commerce — dove una ricerca imprecisa si traduce in carrelli abbandonati — rende i numeri più solidi di quanto sarebbero su benchmark sintetici.
Il costo è il campo di battaglia
Mentre SchemaRAG lavora sull’efficienza in fase di inferenza — quando il sistema è già in produzione e risponde agli utenti — altri fronti di ricerca stanno affrontando il problema dal lato dell’addestramento. Il framework SCIR ha mostrato di poter ridurre i costi di addestramento dell’87%, un numero che sposta l’attenzione su un’altra voce di spesa critica: preparare un modello a funzionare bene costa tempo, potenza di calcolo e denaro.
I due approcci non sono in competizione diretta — attaccano fasi diverse del ciclo di vita di un sistema AI — ma disegnano insieme un campo di battaglia chiaro. Il costo non è più un sottoprodotto da accettare con rassegnazione: è la variabile su cui si gioca la partita competitiva. Da una parte c’è chi vuole spendere meno per addestrare, dall’altra chi vuole spendere meno per ogni singola risposta generata. SchemaRAG si colloca in questo secondo campo, con l’ambizione di rendere i sistemi RAG non solo più precisi, ma più sostenibili per chi li usa ogni giorno.
La conseguenza pratica per chi pubblica online — un e-commerce, un portale sanitario, una banca dati professionale — è che la scelta non è più se adottare un sistema RAG per gestire le ricerche degli utenti, ma con quale architettura farlo. La differenza tra una soluzione e l’altra oggi si misura in costi che possono essere dimezzati e in clienti che trovano subito ciò che cercano, senza dover sfogliare risultati irrilevanti. SchemaRAG, con i suoi numeri misurati sul campo, mostra che non serve scegliere tra precisione e risparmio: si possono avere entrambi, a patto di smettere di perdersi nel mezzo.
Ogni sei mesi leggo un paper che promette di dimezzare i costi, ma le mie fatture cloud raccontano una storia differente. Vendono efficienza teorica a manager disperati per poi recuperare i margini altrove. Quanti ci crederanno anche stavolta?
Meno costi, più precisione. Sognavo un’era di diagnosi accessibili per tutti. Invece avremo solo pubblicità più veloci e licenziamenti più efficienti. A che serve il progresso?
@Chiara De Angelis L’idea della sanità accessibile è solo marketing per far digerire il pacco. In realtà, hanno solo trovato un sistema più svelto per generare spam e far fuori chi scrive.
I numeri mascherano il vero scopo. Non si riducono i costi, si accelera solo la sostituzione delle persone. È un progresso al contrario.
Metà costo non significa risparmio, significa metà prezzo per il proiettile. L’arsenale si apre a tutti. La partita non è più sul budget, ma sulla mira. Quanti stanno già ricalibrando il tiro?
Celebrano percentuali di risparmio come fossero la cura, mentre preparano la diagnosi terminale per innumerevoli posti di lavoro qualificati.
Dimezzare i costi vuol dire dimezzare le persone. Lo chiamano progresso. Questa roba mi fa solo paura. Chi compra i prodotti se nessuno ha più un lavoro?
Le metriche del paper sono una cosa. Lo sbatti dell’integrazione e il tempo dei dev un’altra. Il conto finale non mente mai.
Meno costi e più precisione, top. Ma l’impatto vero lo misuro sulle conversioni, non su un paper. I dati di produzione diranno la verità.
@Elena Negri, dopo le conversioni misureremo i disastri. Ogni presunto miracolo tecnologico, venduto con la solita fanfara, porta solo nuovi, fantasiosi problemi.
Metà dei costi, certo. Ottimo per i titoli. La mia esperienza dice che quando risparmi sui token, il vero prezzo lo paghi altrove, di solito in integrazioni o manutenzione. Qual è il costo nascosto questa volta?
Un taglio dei costi così netto suona come una promessa elettorale prima del voto: allettante, precisa e destinata a scontrarsi con la prosaica realtà dei nostri funnel di vendita. Attendo con curiosità il primo consuntivo.
Un taglio dei costi del 48% su dataset selezionati è un ottimo specchietto per le allodole, specialmente per chi dovrà presto aggiornare il proprio curriculum.
Metà della bolletta, ok. Per chi fa il mio lavoro sono numeri che contano. Adesso vediamo in quanto tempo i prezzi dei servizi si adegueranno verso l’alto per assorbire il guadagno. È una storia già vista.
Federica Testa, ti preoccupi dei prezzi, quando il vero spettacolo sarà vedere come questa decantata efficienza renderà solo più economico sostituirci tutti. La nostra bolletta esistenziale non la calcola nessuno, vedo.
La bolletta dimezzata dell’IA è musica per le orecchie dei CEO, la stessa melodia suonata al funerale di interi reparti marketing. Questo risparmio tecnologico si traduce quasi sempre in un esubero umano, come da copione. Quando inizieremo a calcolare anche quel costo?
Signora Coppola, quello non è un costo. È l’alba di nuove professioni individuali.
@Sabrina Coppola Perfetto. Loro risparmiano sui token, noi ci prepariamo a fare i bagagli. Mi chiedo cosa inventeranno per sostituire i clienti, poi.
Meno spesa per l’elettricità della macchina. Più budget per licenziare il giardiniere. Un’equazione che torna sempre, alla fine.
Certo, i costi si dimezzano, ma l’idea che poi i prodotti online scendano di prezzo è pura fantasia. Quel 48% di risparmio loro diventa il 48% di margine in più per loro, mica per noi. Francamente non capisco dove stia la sorpresa.
Ridurre la loro bolletta significa semplicemente aumentare il controllo sui dati dei miei clienti.
La bolletta della macchina scende. E quella della nostra anima, chi la paga?
L’applicazione intelligente è proprio questa: ridurre il costo marginale dell’intelligenza fino a zero per rimuovere il costo fisso del lavoro. Un’equazione pulita, senza il disordine delle persone.
@Emanuela Barbieri Celebrare l’eliminazione del “disordine delle persone” come un’equazione pulita è ammirevole, ma mi lascia un dubbio: una volta che avranno archiviato il nostro disordine insieme ai costi fissi, noi dove dovremmo accomodarci?
@Emanuela Barbieri Equazione impeccabile. La perfezione è un cimitero ordinato. L’efficienza finale senza nessuno che la possa ammirare.
Il risparmio è un dato; la sua applicazione intelligente, come sempre, una rara eccezione.
Bravi, dimezzano i costi per sostituirci. Il progresso è questo, immagino.
@Beatrice Benedetti La sostituzione riguarda chi non si adatta; per gli altri, questa riduzione dei costi rappresenta semplicemente un vantaggio competitivo da cogliere, non crede?
Efficienza spinta al massimo. La macchina corre più veloce con meno benzina. Noi docenti, invece, continuiamo a consumare caffè. Chissà per quanto.
Bello questo SchemaRAG, ci taglia i costi e pure i posti di lavoro. A vendere i prodotti alle IA disoccupate ci pensiamo dopo, giusto?
@Beatrice Benedetti Esatto. Abbassano i costi della nostra sostituzione, e la chiamano progresso. Creano un mondo di consumatori senza stipendio. Poi si chiederanno perché nessuno compra più nulla. Che menti brillanti.
@Sebastiano Caputo La loro genialità è automatizzare il cliente fuori dal mercato. Un capolavoro di efficienza che si mangerà da solo.
Meno costi, più precisione. Stanno solo costruendo una ghigliottina più economica per i nostri posti di lavoro.