Lo studio analizza conversazioni reali con motori di ricerca AI e conferma che la perdita di informazioni è sistematica
Il 35,6%. È la percentuale mediana del vocabolario che un utente usa in una conversazione con un motore di ricerca AI e che sopravvive nel prompt finale, quello che il modello usa davvero per formulare la risposta. In altre parole, quasi due terzi delle parole che il tuo potenziale cliente digita scompaiono prima che l’intelligenza artificiale decida cosa mostrargli. Il dato arriva da uno studio pubblicato la scorsa settimana su arXiv, firmato da Benjamin Tannenbaum di Salesforce Research e dal suo team, e mette nero su bianco un problema di cui finora si era solo sospettata l’esistenza: le conversazioni multi-turno con l’AI sono un colabrodo di informazioni (il prompt finale contiene una mediana del 35,6% del vocabolario unico del contenuto lato utente della sessione nel corpus commerciale).
Lo studio ha analizzato due grandi insiemi di conversazioni reali. Il primo è un corpus di sessioni commerciali, quelle in cui un utente cerca un prodotto, confronta prezzi, chiede dettagli su un servizio. Il secondo è PRISM, un dataset che mappa dati sociodemografici e preferenze dichiarate di 1.500 partecipanti provenienti da 75 paesi, con 8.011 conversazioni dal vivo condotte con 21 modelli linguistici diversi. In entrambi i casi, il risultato è quasi identico: nel corpus PRISM, la mediana è del 36,4%. Una forbice strettissima che non lascia spazio a dubbi: indipendentemente dal tipo di conversazione, la perdita di informazioni è sistematica.
Quello che dici e quello che l’AI decide di sentire
Il problema non è solo lessicale. Il team di Tannenbaum non si è limitato a contare le parole: ha cercato di capire quante dimensioni dell’intento di ricerca andassero perse nel passaggio dalla cronologia della chat al prompt finale. Per farlo ha usato regole trasparenti, cioè criteri oggettivi e verificabili, non stime probabilistiche. Il risultato è ancora più netto: nel 50,3% delle conversazioni commerciali c’è almeno una dimensione della richiesta presente nella storia della chat ma completamente assente nel prompt finale. In PRISM succede nel 44,8% dei casi.
Significa che se un utente specifica il budget, la città, il colore, la fascia d’età del destinatario di un regalo e la data entro cui gli serve, nella metà dei casi almeno uno di questi elementi non arriva alla fase di generazione della risposta. Il modello risponde a una domanda semplificata, impoverita, diversa da quella reale. E la perdita non viene recuperata: tra le conversazioni che contengono dimensioni dell’intento, il prompt finale le riproduce tutte soltanto nel 26,1% dei casi commerciali e nel 26,2% di quelli PRISM. Tre conversazioni su quattro arrivano alla risposta finale con almeno un pezzo mancante.
Microsoft lo sa (e lo dice in una pagina che nessuno legge)
Non si tratta di una scoperta che coglie l’industria alla sprovvista. La documentazione ufficiale di Microsoft Clarity — piattaforma di analisi che l’azienda ha esteso alla visibilità nei motori AI — ammette il meccanismo con una trasparenza quasi disarmante: i motori di intelligenza artificiale riscrivono quello che gli utenti digitano in «query di grounding» usate per recuperare i contenuti. E Microsoft stessa avverte che queste query «possono differire dalle frasi esatte digitate dagli utenti» (Microsoft avverte che le query di grounding possono differire dalle frasi esatte digitate dagli utenti).
La pagina in questione è tecnica, sepolta nella documentazione di Clarity, e probabilmente sfugge alla maggior parte di chi pubblica contenuti online. Eppure contiene un’ammissione che, letta insieme allo studio di Tannenbaum, disegna un quadro preciso: la perdita di informazioni non è un bug, è il modo in cui questi sistemi sono progettati. La query originale viene riscritta, compressa, normalizzata prima di contattare l’indice dei contenuti. Quello che l’editore vede nei suoi report — la query di grounding — non è quasi mai quello che l’utente ha davvero scritto (Microsoft Clarity documenta che i sistemi AI riscrivono le query degli utenti in grounding queries per il recupero dei contenuti).
Il 39% di visibilità che stai regalando (e come riprendertelo)
Perché tutto questo non è un dettaglio tecnico per ricercatori: i numeri hanno conseguenze molto concrete per chiunque faccia business online. Uno studio precedente, firmato da Laban e colleghi e pubblicato lo scorso anno, aveva già misurato l’impatto delle conversazioni multi-turno sulle prestazioni dei modelli linguistici. Il verdetto era pesante: i migliori modelli open e closed-weight mostrano un calo medio del 39% nelle conversazioni multi-turno rispetto a quelle a turno singolo, su sei diversi compiti di generazione (i modelli LLM mostrano una riduzione media del 39% delle prestazioni nelle conversazioni multi-turno rispetto a quelle single-turno).
Ora, con i dati di Tannenbaum, sappiamo anche perché: quel 39% di prestazioni perse è il riflesso diretto della scomparsa di oltre il 60% del vocabolario e della metà delle dimensioni dell’intento. Se il modello non sa più che l’utente cercava un prodotto per una persona anziana, in promozione, disponibile entro Natale e con spedizione in Sicilia, la risposta che genera sarà inevitabilmente meno pertinente. E se la risposta è meno pertinente, il tuo contenuto — per quanto ottimizzato — rischia di non apparire affatto, o di apparire nel momento sbagliato, per un bisogno che l’utente non ha più.
Il punto non è se l’AI search cambierà le regole del gioco. Le sta già cambiando, in modi che solo ora iniziamo a misurare con precisione. La domanda è se chi pubblica online è pronto a cambiare il proprio approccio: non basta più presidiare una singola query o una landing page isolata. Serve capire come i contenuti attraversano intere conversazioni, come sopravvivono alla riscrittura delle query, quali dimensioni dell’intento sono a rischio di scomparsa. Perché la ricerca AI non dimentica soltanto le parole degli utenti: cancella opportunità di business. E chi non lo capisce sta già regalando visibilità a qualcun altro.
