Le regole del digitale stanno cambiando.
O sei visibile o sei fuori. Noi ti aiutiamo a raggiungere i clienti giusti — quando ti stanno cercando.
Contattaci ora
La regola generica scritta in fondo al robots.txt esclude i crawler arrivati dopo, come quello di ChatGPT search
Quattrocentoventitré siti governativi statunitensi bloccano OAI-SearchBot, ma solo 11 lo nominano: gli altri 412 lo escludono con una regola generica in fondo al robots.txt. La svista toglie visibilità a ChatGPT search, dove molti cittadini cercano risposte, ma resta dubbio che si tratti di una scelta consapevole contro l'AI.
Dei 423 siti governativi statunitensi che bloccano OAI-SearchBot, il programma automatico che raccoglie le pagine per ChatGPT search, solo 11 lo nominano esplicitamente. Gli altri 412 lo escludono con una regola generica, scritta in fondo a una lista di crawler approvati: «tutti gli altri, fuori». È il dato più curioso di uno studio della società Josh Blackburn SEO, diffuso nei giorni scorsi. Più che una presa di posizione contro l’intelligenza artificiale, sembra una svista. Ma ha un costo: toglie visibilità proprio nel posto in cui molti cittadini oggi cercano risposte.
412 siti esclusi senza volerlo
Per capire il meccanismo serve un passo indietro. Quasi ogni sito ha un file chiamato robots.txt, una specie di cartello all’ingresso che dice ai crawler (i software che percorrono il web e copiano le pagine per motori di ricerca e servizi di AI) dove possono entrare e dove no. Molti amministratori lo compilano così: un elenco di crawler conosciuti e ammessi, come Googlebot, e in fondo una regola “catch-all” che blocca chiunque altro. Quando quella regola fu scritta, OAI-SearchBot non esisteva. Oggi finisce nella rete insieme ai crawler sconosciuti che si volevano tenere fuori.
La scansione, fatta lo scorso 24 ottobre, ha coperto 15.331 domini di stati, contee, città, distretti speciali, distretti scolastici ed enti interstatali. Secondo Josh Blackburn SEO, 353 siti bloccano OAI-SearchBot ma lasciano passare Googlebot: sono il 2,9% dei 12.298 siti che hanno risposto, e il 5,2% dei 6.765 che pubblicano un robots.txt valido, circa uno su diciannove. Detto altrimenti: questi enti sono perfettamente trovabili su Google, ma non su ChatGPT search. Il caso più marcato è il Minnesota, dove il blocco riguarda 72 siti su 329 dotati di robots.txt, il 21,9%: circa quattro volte il tasso nazionale.
Se quasi nessuno ha scelto davvero di escludere ChatGPT search, resta da capire quanto costi questa dimenticanza a chi cerca informazioni pubbliche.
Il sito ufficiale non basta più
La conseguenza è scritta nella documentazione tecnica di OpenAI sui suoi crawler: i siti che escludono OAI-SearchBot non vengono mostrati nelle risposte di ChatGPT search, anche se possono ancora comparire come link di navigazione. La differenza non è da poco. Una cosa è essere la fonte da cui il chatbot ricava e cita la risposta, un’altra è essere un indirizzo segnalato di passaggio. Nel primo caso il sito parla, nel secondo è al massimo un rimando.
E il pubblico di queste risposte non è marginale. Secondo il Pew Research Center, circa la metà degli adulti statunitensi usa chatbot AI, contro un terzo nel 2024. Non significa che tutti li usino per cercare l’orario dell’ufficio anagrafe o le scadenze delle tasse locali, ma indica che una quota crescente di persone fa domande a un assistente invece di scorrere una pagina di risultati.
Qui nasce lo scollamento. Da una parte c’è l’ente che pubblica informazioni corrette sul proprio sito e considera chiuso il proprio compito. Dall’altra il residente che fa la stessa domanda a ChatGPT, a Microsoft Copilot o a Google Gemini. Come osserva un’analisi pubblicata da GovTech, pubblicare informazioni accurate sul sito ufficiale non garantisce più che i residenti le vedano, quando la ricerca avviene su queste piattaforme di AI generativa. Se la fonte ufficiale è esclusa, il chatbot risponderà comunque, attingendo ad altro: pagine di terzi, siti aggregatori, contenuti non aggiornati. Il problema, va detto, non riguarda solo i comuni americani. Qualunque azienda con una regola catch-all nel proprio robots.txt potrebbe trovarsi nella stessa situazione senza saperlo.
Ricerca o addestramento: la distinzione che manca
Allargando lo sguardo al web nel suo insieme, i numeri raccontano una volontà abbastanza chiara. Secondo un comunicato di Cloudflare, società che gestisce una parte rilevante del traffico internet, meno dell’1% dei proprietari di siti blocca i crawler dei motori di ricerca, mentre il 17% limita l’uso dei propri contenuti per l’addestramento dell’AI. In pratica: quasi tutti vogliono essere trovati, una minoranza consistente non vuole che i propri testi servano ad allenare i modelli. Sono due cose diverse, e infatti esistono crawler diversi per l’una e per l’altra. Ma un robots.txt che dice “solo questi, tutti gli altri no” non fa questa distinzione: tratta allo stesso modo chi raccoglie pagine per mostrarle in una risposta e chi le raccoglie per addestrare un modello.
Anche le grandi piattaforme si stanno muovendo verso controlli più fini. Google, sotto esame dell’autorità britannica della concorrenza (la CMA), sta lavorando a strumenti che permettano ai siti di uscire dalle funzionalità di AI restando nella Ricerca. Sul blog ufficiale di Google l’azienda scrive di stare «valutando aggiornamenti ai nostri controlli per consentire ai siti di escludersi specificamente dalle funzionalità di AI generativa della Ricerca». È un annuncio di intenzioni, non ancora un prodotto, ma la direzione è chiara: più leve, più scelte, più occasioni per sbagliare per distrazione.
Chi ci guadagna da tutto questo dipende da cosa si decide, e soprattutto da chi lo decide. Per chi pubblica online, il robots.txt è diventato una scelta di distribuzione, non più soltanto un dettaglio tecnico. Una regola scritta anni fa per tenere fuori crawler sconosciuti oggi può escludere un sito dalle risposte che milioni di persone leggono al posto dei risultati di ricerca. La visibilità nell’AI search si può perdere anche così: senza volerlo, e senza accorgersene.
