L’addestramento con 27.000 esempi sintetici ha superato i modelli basati su supervisione umana
Ventisettemila esempi sintetici hanno insegnato a un giudice automatico a valutare risposte aperte meglio di qualsiasi modello precedente. Non è un esercizio di laboratorio: è l’apprendimento per rinforzo applicato ai modelli linguistici che sta cambiando le regole con cui i contenuti online ottengono visibilità. A ottobre 2025 è stato presentato il modello di ricompensa OpenRM, addestrato con Group Relative Policy Optimization (GRPO) su oltre 27.000 coppie di esempi sintetici generati attraverso un framework controllabile di sintesi dati. I risultati mostrano un salto di qualità nella capacità di giudicare risposte aperte: OpenRM supera in modo sostanziale gli approcci esistenti su tre dataset raccolti appositamente per lo studio e su due benchmark già ampiamente utilizzati dalla comunità scientifica.
Ma cosa rende questo modello così diverso dai precedenti? La risposta sta nel metodo di addestramento e in un’architettura che fonde apprendimento per rinforzo e strumenti esterni, segnando un distacco netto dalla supervisione umana tradizionale.
Il numero che cambia le regole: 27.000 esempi sintetici
Il dato da cui partire è proprio quel numero: 27.000. Non sono tanti, se paragonati ai milioni di esempi su cui vengono addestrati i grandi modelli linguistici. Eppure sono bastati per costruire un sistema di valutazione automatica che batte tutti i modelli di ricompensa precedenti. Il merito è del metodo: la Group Relative Policy Optimization, una tecnica di apprendimento per rinforzo che non ha bisogno di traiettorie di ragionamento etichettate da esseri umani.
Qui entra in gioco un precedente importante. Nei giorni scorsi è stato pubblicato su Nature uno studio che mostra come il modello DeepSeek-R1 abbia dimostrato che il RL basato su GRPO può attivare capacità di ragionamento emergenti senza alcun dato etichettato dall’uomo. In altre parole, le capacità di ragionamento dei modelli linguistici possono essere incentivate attraverso il puro apprendimento per rinforzo, eliminando la necessità di una supervisione umana sulle traiettorie di ragionamento. OpenRM applica lo stesso principio alla valutazione delle risposte: invece di insegnare al giudice cosa è giusto e cosa è sbagliato usando valutazioni umane, lo si lascia imparare da solo, confrontando migliaia di coppie di risposte sintetiche.
Il risultato è un sistema che non solo giudica, ma lo fa con un’accuratezza superiore a qualsiasi approccio precedente. E lo fa su domande aperte, quelle per cui non esiste una risposta univoca — esattamente il tipo di interrogativi che affollano le ricerche online e per i quali i motori di ricerca basati su AI devono decidere quali fonti citare e quali ignorare.
Come funziona: quando il giudice impara a invocare strumenti
OpenRM non si limita a leggere una risposta e assegnarle un punteggio. È un modello di ricompensa a lungo termine potenziato da strumenti: per valutare una risposta aperta, invoca strumenti esterni che gli permettono di raccogliere prove rilevanti, verificare affermazioni, confrontare fonti. È un approccio che sposta il giudizio dalla semplice coerenza linguistica alla verifica fattuale assistita.
Non è il primo modello a farlo. Già nell’ottobre 2023 Baidu ed ERNIE avevano presentato il modello Themis, riconosciuto con lo Spotlight all’ICLR 2024, che per primo ha introdotto l’idea di potenziare un modello di ricompensa con strumenti esterni. Themis ha aperto la strada, dimostrando che un giudice automatico poteva andare oltre la valutazione superficiale del testo. Ma OpenRM porta l’approccio su un altro piano: lo abbina all’apprendimento per rinforzo con GRPO e lo addestra su dati interamente sintetici, eliminando il collo di bottiglia della supervisione umana.
La differenza è sostanziale. Un modello supervisionato da umani impara a replicare i criteri di valutazione di chi lo ha addestrato, con tutti i limiti e le distorsioni del caso. Un modello addestrato con GRPO su esempi sintetici sviluppa criteri propri, affinati attraverso migliaia di confronti. E può invocare strumenti esterni per verificare ciò che legge, rendendo il giudizio più ancorato ai fatti e meno dipendente dalla forma retorica della risposta.
Ora la domanda è: chi sfrutterà per primo questa tecnologia per orientare i risultati di ricerca? Perché se un giudice automatico decide cosa è rilevante, chi lo addestra controlla la visibilità dei contenuti.
Chi vince e chi perde nella nuova SEO AI
Se i modelli imparano a giudicare da soli, il ruolo della supervisione umana si riduce, e con esso cambia il modo in cui i contenuti vengono premiati o penalizzati. Finora chi produceva contenuti per il web ha ottimizzato per i crawler dei motori di ricerca, poi per i ranking algoritmici, poi per le risposte generate direttamente dall’AI. Ora si profila un passaggio ulteriore: ottimizzare per un modello di ricompensa che decide in autonomia, sulla base di criteri appresi da dati sintetici e verifiche incrociate con strumenti esterni.
Non serve essere ingegneri dell’AI per capire la posta in gioco: se un giudice automatico stabilisce cosa è rilevante, chi lo addestra controlla la visibilità. La partita si sposta dai contenuti ai meccanismi di ricompensa. E chi produce contenuti dovrà chiedersi non più solo «come scrivo per piacere al motore di ricerca», ma «come scrivo per superare il giudizio di un reward model che impara da solo». Siete pronti a ottimizzare per un giudice sintetico?
