Google e i LLMs: il consiglio sul noindex che nasconde un paradosso

Le regole del digitale stanno cambiando.

O sei visibile o sei fuori. Noi ti aiutiamo a raggiungere i clienti giusti — quando ti stanno cercando.

Contattaci ora →

Un paradosso che vede Google suggerire come nutrire le IA, ma raccomandando di nascondere questo “banchetto” al suo motore di ricerca principale.

Google, tramite John Mueller, consiglia di usare il `noindex` per i file `llms.txt`, creati per nutrire i modelli linguistici. Il suggerimento solleva un paradosso: nutrire le IA ma nascondere i contenuti alla Ricerca. Questa mossa ripropone vecchie regole sul `noindex`, sottolineando come i giganti tecnologici dettino le direttive sulla visibilità online, trasformando un semplice consiglio in una nuova dipendenza dalle loro piattaforme e logiche.

Google e llms.txt: un consiglio che sa di avvertimento

Succede di nuovo.

Google, attraverso la voce di uno dei suoi portavoce più noti, John Mueller, ci lancia un’indicazione che, a prima vista, sembra un semplice suggerimento tecnico: usare il noindex per i file llms.txt. L’obiettivo dichiarato è evitare che questi file finiscano, per errore, nei risultati di ricerca, creando un’esperienza “strana” per gli utenti.

Ma dietro un consiglio tecnico, si nasconde quasi sempre una logica più profonda. E vale la pena capirla, perché tocca il modo in cui i nostri contenuti vengono consumati, non più solo dagli esseri umani, ma anche dalle intelligenze artificiali.

Il file llms.txt, infatti, non è altro che questo: una specie di menù speciale, un Bignami del tuo sito preparato apposta per i modelli linguistici come ChatGPT. In pratica, è un file dove tu, proprietario del sito, puoi servire su un piatto d’argento una versione pulita e diretta dei tuoi contenuti, senza fronzoli, pubblicità o elementi di navigazione. Una mossa pensata per facilitare il lavoro alle IA.

Eppure, questa mossa apre a una domanda scomoda…

Il paradosso: nutrire l’IA, nascondendosi dalla ricerca

La prima domanda che è sorta nella comunità SEO è stata ovvia: ma questo file, che contiene una versione semplificata dei nostri contenuti, non rischia di essere visto da Google come contenuto duplicato?

Mueller ha subito messo le mani avanti, dicendo di no.

Ma il vero nocciolo del problema è un altro.

Se un sito esterno linka il tuo file llms.txt, Google può trovarlo, scansionarlo e, appunto, indicizzarlo.

Ed ecco il paradosso.

Ti sto dicendo di creare un canale preferenziale per nutrire le intelligenze artificiali (molte delle quali sono di proprietà di Google stessa o di suoi diretti concorrenti), ma allo stesso tempo devi preoccuparti di nascondere quello stesso canale dal motore di ricerca principale di Google.

È un po’ come se ti chiedessero di preparare un banchetto, ma di assicurarti che nessuno degli invitati principali lo veda.

E qui la storia si fa interessante, perché la soluzione proposta da Google ci riporta a vecchie dinamiche e a decisioni passate che sembravano definitive.

Il ritorno del “noindex”, ma non dove te lo aspetteresti

La soluzione, quindi, è il noindex.

Ma attenzione, non un noindex qualsiasi.

Google ci tiene a precisare che il comando va inserito tramite header HTTP o meta tag, e non, come si faceva una volta, dentro il file robots.txt.

Ti dice niente questo?

A me sì.

Mi ricorda quando Google, nel 2019, ha deciso di punto in bianco che il noindex nel robots.txt non era più valido, perché, a detta loro, troppi siti si “facevano male da soli” usandolo in modo improprio.

Oggi, come descritto su Search Engine Journal, quella stessa logica torna, ma con regole diverse.

Ci viene detto di usare uno strumento per nascondere un file che esiste proprio per essere trovato, seppur da un tipo diverso di “visitatore”.

Alla fine, la partita si gioca sempre sulla stessa scacchiera: noi creiamo il valore, i contenuti, l’esperienza.

E loro, i giganti della tecnologia, ci dettano le regole per gestirlo, in un equilibrio delicato dove un consiglio tecnico può facilmente trasformarsi in una nuova dipendenza dalle loro piattaforme.

Anche quando si tratta di un semplice file di testo.