I modelli AI vengono addestrati su coppie di risposte 'preferita vs rifiutata'. Le risposte che vincono sono sempre strutturate, specifiche e con fonti citate. Se il tuo contenuto ha la forma della 'risposta perfetta', l'AI lo usa come base per le sue risposte. Ti spiego il formato che i modelli preferiscono e come adottarlo.
L’AI non sceglie cosa citare guardando il tuo PageRank o il numero di parole. Sceglie in base a un sistema di preferenze costruito durante l’addestramento: quello che i modelli chiamano Preference Optimization. E il pattern che quel sistema ha imparato a riconoscere come “risposta di qualità” ha una struttura precisa — strutturata, specifica, con fonti citate.
Se i tuoi contenuti non matchano quel pattern, stai perdendo visibilità AI non perché scriva male, ma perché scrivi in un formato che il modello non riconosce come preferibile.
Il meccanismo: coppie preferita/rifiutata
Capire come funziona la Preference Optimization richiede di entrare nel laboratorio dove il modello viene costruito. Come hanno documentato Zhao et al. (2024) nella loro survey sistematica: “RLHF is a complex and often unstable procedure” — motivo per cui i ricercatori hanno sviluppato approcci alternativi più stabili, tra cui il Direct Preference Optimization (DPO).
Il principio di base è lo stesso in tutti i metodi: il modello viene addestrato su coppie di risposte alla stessa domanda. Una risposta è classificata come “preferita”, l’altra come “rifiutata”. Il modello impara a produrre risposte simili alla prima e dissimili dalla seconda.
Quello che il modello impara, in sintesi, è questo:
- Risposta preferita: paragrafo di sintesi iniziale, sezioni con heading espliciti, dati citati con fonte, conclusione con azione concreta
- Risposta rifiutata: introduzione generica, testo senza struttura interna, affermazioni senza supporto, finale descrittivo senza azione
Dopo milioni di queste coppie, il modello non valuta solo il contenuto — valuta il formato come proxy della qualità. È un’euristica appresa, non una regola esplicita. Ma funziona.
DPO e i modelli di consistenza: cosa dice la ricerca
Nell’evoluzione recente della Preference Optimization, la ricerca si è spostata verso metodi che rendono il processo più efficiente e scalabile. Un contributo rilevante è quello di Colombo et al. (2023), che hanno esaminato i modelli di consistenza applicati alla generazione testuale: “The main advantage of CMs over DMs is that CMs support one-shot generation.”
Il punto tecnico qui è importante: i modelli di consistenza, a differenza dei modelli di diffusione, possono generare output completi in un singolo passaggio. Nel contesto della Preference Optimization, questo si traduce in un vantaggio operativo: il modello impara le preferenze in modo più diretto, senza dover iterare su più step di generazione per ogni coppia di addestramento.
Da questo principio segue un effetto pratico per chi produce contenuti: le preferenze imparate dal modello tendono ad essere strutturalmente coerenti. Non è che il modello preferisce le liste puntate in astratto — preferisce la struttura come segnale di risposta completa e accessibile. Il formato è il veicolo visibile di una preferenza più profonda: risposte che possono essere elaborate in modo efficiente.
Come vengono costruite le coppie di addestramento
Un aspetto spesso trascurato della Preference Optimization è come vengono selezionate le domande su cui addestrare il modello. Zhu et al. (2024) descrivono la struttura tipica di questi dataset: “Suppose there are overall N questions, each with a contextual passage.”
La struttura “domanda + passaggio contestuale” è il mattone base dell’addestramento. Il modello non viene addestrato su domande isolate, ma su domande ancorate a contesti specifici. Questo ha un’implicazione diretta per come il modello elabora le fonti: cerca la risposta nel contesto più strutturato disponibile — quello che si avvicina di più alla struttura delle coppie preferite su cui è stato addestrato.
Quando il tuo contenuto ha un paragrafo iniziale che risponde direttamente alla domanda, seguito da sezioni che approfondiscono il contesto con dati citati, stai replicando esattamente la struttura “risposta preferita + contesto” dei dataset di addestramento. Non è una coincidenza che questo formato performi meglio — è allineato con il meccanismo.
Cosa succede quando il modello sceglie tra due fonti
Immagina che un utente chieda all’AI un concetto nel tuo settore. Il modello ha accesso a due fonti:
Fonte A — il tuo contenuto: un articolo di 1.800 parole che arriva al punto dopo 400 parole di contesto generale. Nessun heading interno. Un dato citato come “secondo le statistiche recenti”. Conclusione: “Contattaci per una consulenza”.
Fonte B — un competitor: 1.200 parole con un paragrafo di sintesi in apertura, quattro sezioni con heading descrittivi, tre dati con fonte esplicita, un paragrafo finale con un’azione specifica che il lettore può fare oggi.
Il modello preferisce la Fonte B. Non perché abbia informazioni migliori — potrebbero essere identiche. Ma perché il formato della Fonte B matcha il pattern della risposta preferita che il modello ha imparato durante l’addestramento con DPO o PPO.
Questo meccanismo è descritto nell’articolo sull’RLHF: il modello ha interiorizzato preferenze strutturali che applica automaticamente quando valuta l’affidabilità di una fonte. Il Constitutional AI aggiunge un ulteriore livello di filtro basato su principi etici espliciti, ma la preferenza strutturale rimane il primo discriminante.
Il formato vincente: quattro elementi documentati
Dall’analisi dei dataset di Preference Optimization, il formato che emerge sistematicamente come “risposta preferita” ha quattro elementi. Non sono regole di stile — sono segnali che il modello associa alla qualità.
Sintesi iniziale. Le prime 2-3 frasi rispondono alla domanda principale. Non introducono l’argomento in senso lato — rispondono. Il modello ha imparato che le risposte preferite iniziano con la risposta, non con il contesto.
Struttura interna esplicita. Heading chiari che dichiarano cosa contiene ogni sezione. Il modello usa gli heading per mappare il contenuto sulla struttura attesa. Un articolo senza heading interni viene elaborato come un blocco uniforme — difficile da mappare sul pattern preferita/rifiutata.
Fonti citate. Quando menzioni un dato, un principio o un meccanismo, indica la fonte. Anche in forma semplice: “secondo [autore/fonte], [dato]”. Le affermazioni senza fonte sono uno dei segnali più forti di “risposta rifiutata” nei dataset di addestramento. Il pattern ricorre sia nel pre-training data che nel fine-tuning: le fonti citate aumentano il peso relativo del contenuto.
Azione finale concreta. L’ultimo paragrafo non riassume — indica un’azione specifica. “Apri [tool], verifica [parametro], modifica [elemento]”. Le risposte preferite nei dataset DPO terminano con qualcosa che l’utente può fare, non con una sintesi di quello che ha già letto.
PPO vs DPO: la distinzione che cambia la stabilità del training
Vale la pena capire brevemente la differenza tra i due metodi principali, perché influenza il tipo di preferenze che il modello apprende.
Il PPO (Proximal Policy Optimization) è il metodo originale usato in sistemi come InstructGPT. Richiede un reward model separato — un secondo modello addestrato a predire il punteggio che un valutatore umano assegnerebbe a una risposta. Il modello principale viene poi aggiornato tramite reinforcement learning per massimizzare quel punteggio. È potente, ma computazionalmente costoso e sensibile ai parametri di training.
Il DPO (Direct Preference Optimization) elimina il reward model intermedio. Le preferenze vengono ottimizzate direttamente attraverso le coppie preferita/rifiutata, senza passare per un proxy. Zhao et al. (2024) riportano proprio questo come la motivazione principale: l’instabilità procedurale dell’RLHF classico ha spinto verso approcci diretti come DPO.
Per chi produce contenuti, la distinzione tecnica è meno rilevante del risultato: entrambi i metodi addestrano il modello a riconoscere un formato di risposta preferita. DPO tende a produrre preferenze più nette e coerenti, perché l’ottimizzazione è più diretta. Questo significa che il pattern “risposta preferita” nei modelli addestrati con DPO è spesso più rigido — e più prevedibile per chi vuole allinearcisi.
Come verificare il tuo contenuto oggi
Prendi la pagina più importante del tuo sito — quella da cui dipende il maggior volume di traffico o lead. Rispondi a queste quattro domande:
- Le prime 3 frasi rispondono alla domanda principale, o introducono il contesto?
- Ci sono heading interni che dichiarano esplicitamente il contenuto di ogni sezione?
- Ogni dato citato ha una fonte identificabile?
- L’ultimo paragrafo contiene un’azione specifica e misurabile?
Se la risposta è no a due o più di questi punti, il formato del tuo contenuto non è allineato con le preferenze che il modello ha imparato. Non è un problema di qualità dei contenuti — è un problema di formato.
La correzione è meccanica: aggiungi un paragrafo di sintesi iniziale, inserisci heading che descrivono il contenuto (non heading generici come “Introduzione” o “Conclusione”), aggiungi fonte a ogni dato citato, riscrivi l’ultimo paragrafo come azione concreta.
Una pagina riscritta con questi quattro elementi matcha il pattern “risposta preferita” che il modello applica ogni volta che deve scegliere tra fonti. Non stai giocando contro l’algoritmo — stai allineando il tuo formato con ciò che l’algoritmo è stato addestrato a preferire.
