Vuoi bloccare i bot AI? Bravo, così sparisci anche da Google

Dal 15 settembre 2026 Cloudflare cambierà le regole di default: chi blocca i crawler per l’addestramento rischia di bloccare senza saperlo anche Googlebot

Cloudflare introduce una nuova gestione dei crawler AI che offre più controllo, ma nasconde anche un rischio.
Dal 15 settembre 2026 un'impostazione errata potrebbe bloccare Googlebot insieme ai bot di addestramento, con possibili conseguenze su indicizzazione, SEO e traffico organico.

Qualche giorno fa un cliente mi ha scritto tutto trafelato, deciso a schiacciare il pulsante magico che su Cloudflare si chiama “Block AI Bots” e a bloccare in toto, senza distinzioni, gli scraper AI.

Voleva difendere i suoi contenuti, quelli scritti con cura, quelli che regala ai suoi lettori e quelli riservati agli abbonati, e lo capisco benissimo, perché sono il frutto del suo lavoro e nessuno dovrebbe portarseli via gratis.

Gli ho spiegato però che quel pulsante era, tecnicamente, come mettere un lucchetto al negozio per tenere fuori i ladri e accorgersi di aver impedito l’ingresso anche ai clienti.

Perché se un sito blocca tutto senza criterio, come fa poi l’intelligenza artificiale a consigliarlo, a raccomandarlo, a citarlo quando qualcuno le chiede un parere?

Il punto, gli ho detto, non è sparire dal radar, ma farsi conoscere senza farsi depredare: proteggere ciò che è unico e prezioso, restando però visibili a chi può portarti nuovi lettori e potenziali clienti.

Quindi parliamone, perché il 1° luglio 2026 Cloudflare ha deciso di cambiare le regole del gioco per tutti, non solo per i clienti enterprise che pagano cifre a sei zeri per avere il controllo totale sul proprio traffico.

Jin-Hee Lee e Bryan Becker, che firmano l’annuncio ufficiale sul blog dell’azienda, lo chiamano il secondo “Content Independence Day”, e no, non è un nome scelto a caso: un anno fa, il 1° luglio 2025, Cloudflare aveva lanciato la prima versione di questa battaglia, dando ai siti la possibilità di bloccare tutti i crawler AI, nessuno escluso.

Bello, ma rozzo. Oggi, un anno dopo, la stessa azienda ammette che quella soluzione era troppo drastica, da bianco o nero, per un mondo che invece ha sempre più sfumature.

Il patto col diavolo tra te e l’AI

Se possiedi un sito web, un blog, un e-commerce, una newsletter, probabilmente conosci già il ricatto morale a cui sei sottoposto ogni giorno.

Ci avrai fatto l’abitudine, ormai.

O ti fai scansionare da tutti i bot possibili, comprese le intelligenze artificiali che si nutrono dei tuoi contenuti per allenarsi senza restituirti nulla, oppure rischi di sparire dai motori di ricerca e perdere quella visibilità che ti porta lettori, clienti, entrate pubblicitarie.

Cloudflare lo chiama, con una certa onestà intellettuale, un “Faustian bargain”, un patto con il diavolo. Tu content creator vendi l’anima (i tuoi contenuti) in cambio della salvezza (essere trovato su Google).

Il punto è che fino a ieri i bot venivano etichettati genericamente come “AI” oppure “non AI”, una distinzione che stava diventando sempre più ridicola man mano che l’intelligenza artificiale si infilava letteralmente ovunque (“esce dalle fottute pareti”, ormai, per citare Alien!).

Ma allora, se anche il motore di ricerca più famoso del mondo è diventato un motore di risposte dopato di AI, che senso ha continuare a chiedersi “questo bot è AI o no?”

Ecco perché Cloudflare ha deciso di cambiare completamente la domanda.

Tre categorie per fare ordine (finalmente)

La nuova domanda che Cloudflare pone, e che ora puoi porti anche tu quando guardi i log del tuo sito, non è più “chi sei” ma “cosa fai qui dentro”.

E la risposta si divide in tre comportamenti distinti, che ora puoi gestire separatamente uno dall’altro, anche se hai un sito sul piano gratuito, senza dover pagare un centesimo in più.

La prima categoria è Search: sono i crawler che scansionano il tuo sito per costruire un indice e rispondere in futuro a chi cerca informazioni che tu hai pubblicato. È il comportamento più “tradizionale”, quello per cui in teoria ti aspetti un ritorno sotto forma di traffico referral, di persone vere che arrivano sul tuo sito cliccando un link.

La seconda è Agent: bot che agiscono in tempo reale per conto di una persona specifica, per portare a termine un compito preciso, proprio adesso. Pensa a ChatGPT-User quando qualcuno chiede all’assistente di controllare una pagina, oppure a Gemini o Claude quando guidano letteralmente un browser al posto tuo. Qui c’è quasi sempre un essere umano in carne e ossa che aspetta una risposta dall’altra parte dello schermo.

La terza, quella più temuta dagli editori, è Training: il crawler che prende i tuoi contenuti e li usa per addestrare o affinare un modello. Qui non c’è ritorno immediato, i tuoi testi vengono letteralmente assorbiti dentro l’architettura del modello, diventano parte del suo “cervello” statistico, e tu non lo rivedrai mai più sotto forma di citazione o link.

In virtù di questa distinzione, Cloudflare invita apertamente le aziende che gestiscono più bot con scopi diversi a separarli, invece di infilare tutto dentro un solo crawler generico, proprio perché la trasparenza aiuta te, proprietario del sito, a capire chi bussa alla tua porta e perché.

La data che devi segnare in rosso sul calendario

Ora arriva la parte che ti riguarda davvero da vicino. Dal 15 settembre 2026 cambieranno i valori predefiniti per queste tre categorie, e se possiedi un sito su Cloudflare, questa data non è un dettaglio tecnico che puoi ignorare distrattamente mentre bevi il caffè.

Per tutti i nuovi domini che si registrano su Cloudflare, e per i clienti free che non avranno modificato le proprie impostazioni, Training e Agent verranno bloccati di default sulle pagine che mostrano pubblicità, mentre Search resterà consentito.

La logica dietro questa scelta è quasi filosofica: una pubblicità è il segnale che tu, proprietario del sito, volevi che fosse un umano vero a vedere quella pagina, un umano la cui attenzione vale denaro. Quindi su quelle pagine specifiche, i bot che potrebbero “rubare” quella attenzione senza restituire nulla vengono tenuti fuori per impostazione predefinita.

Ma è il secondo cambiamento quello che dovrebbe metterti sull’attenti.

I crawler multiuso, cioè quelli che fanno più cose insieme, come Search e Training combinati, verranno bloccati o consentiti in base a tutti i loro comportamenti insieme, seguendo la regola più restrittiva applicabile.

E Cloudflare fa nomi e cognomi: Googlebot, Applebot e Bingbot sono tutti esempi di crawler che scansionano sia per la ricerca sia per l’addestramento dei modelli.

Since the defaults will be enforced by the most restrictive applicable rules, multi-purpose crawlers such as Googlebot, Applebot, and Bingbot will be blocked by customers who have selected to block Training (either through the new options to manage AI traffic, or through the legacy Block AI bots service).

Fonte Cloudflare: “Your site, your rules: new AI traffic options for all customers“

Quindi se tu decidi di bloccare il Training, magari perché non vuoi che i tuoi articoli finiscano dentro un modello linguistico senza compenso, il sistema bloccherà automaticamente anche Googlebot.

Sì, hai letto bene: il bot che indicizza il tuo sito per farti comparire su Google, quello da cui dipende probabilmente la fetta più grossa del tuo traffico organico.

Perché questo dovrebbe farti venire un piccolo brivido?

Matt G. Southern, giornalista di Search Engine Journal, ha spiegato la faccenda con una chiarezza quasi chirurgica: chi ha già attivato in passato la vecchia impostazione “Block AI bots” verrà automaticamente coinvolto in questa nuova regola, senza dover fare nulla di attivo.

È il classico caso in cui il pilota automatico ti porta in un posto diverso da quello che immaginavi, e te ne accorgi solo quando è già successo.

Il rischio concreto, quello che dovrebbe farti drizzare le antenne se vivi di traffico organico, è che un blocco imposto a livello di rete da Cloudflare è tutta un’altra faccenda rispetto a una semplice riga scritta nel file robots.txt.

Il robots.txt è, per sua natura, un’indicazione, una richiesta educata che i crawler possono anche scegliere di ignorare, come del resto Google ha fatto più volte in passato secondo diverse analisi del settore.

Un blocco a livello di rete invece è un muro vero, invalicabile, e se quel muro finisce per fermare anche Googlebot, la conseguenza pratica è che il tuo sito smette di essere scansionato correttamente, con tutto ciò che ne consegue in termini di posizionamento nei risultati di ricerca e, di riflesso, di visitatori e ricavi pubblicitari persi.

Il report che accompagna l’annuncio di Cloudflare fornisce numeri che vale la pena leggere con attenzione.

Il traffico legato all’addestramento dei modelli AI è passato da circa il 20% delle richieste dei crawler in primavera 2025 alla maggioranza assoluta delle richieste oggi, mentre le richieste giornaliere provenienti da agenti AI sono aumentate di oltre il 1700% nell’arco di un anno.

Numeri che raccontano un ecosistema del web cambiato radicalmente in tempi rapidissimi, anche se, va detto per correttezza, si tratta di statistiche relative alla sola rete di Cloudflare e non rappresentano l’intero internet.

Nuove etichette, nuove regole del gioco

Un altro elemento su cui Cloudflare ha lavorato riguarda il concetto di “content use”, cioè cosa un bot può fare con il tuo contenuto dopo averlo raccolto.

Qui le opzioni disponibili sono tre, dalla più restrittiva alla più permissiva: immediate, dove il bot interagisce ma non conserva né riutilizza nulla; reference, l’impostazione predefinita, dove il bot indicizza, cita brevi estratti e rimanda al link originale; e full, dove il bot può riassumere e persino riprodurre integralmente i tuoi contenuti.

Cloudflare ha anche iniziato a sperimentare un nuovo segnale chiamato use, che si aggiunge al progetto Content Signals già esistente nel file robots.txt, e ha introdotto BotBase, un database consultabile pensato per i clienti Enterprise che vogliono vedere, bot per bot, come viene classificato ogni crawler conosciuto.

Il concetto di bot “Verificato” viene ridefinito: non significa più automaticamente “consentito ovunque”, ma diventa consentito solo nella categoria per cui è stato verificato, e i bot che riproducono integralmente i contenuti non possono più ottenere questo status.

E Google, nel frattempo, fa spallucce

Qui arriva la parte più ironica di tutta la storia.

Mentre Cloudflare costruisce questa architettura elaborata di segnali, categorie e sfumature, John Mueller di Google ha risposto su Reddit a chi gli chiedeva conto di questi Content Signals, dicendo che questi segnali non hanno alcun effetto pratico su nessun crawler o modello linguistico, che Google non li usa, e che aggiungerli al proprio robots.txt serve solo ad appesantire il file e a complicarne la manutenzione futura.

Google non usa llms.txt o llms-author.txt. Non so di nessun altro crawler/llm che confermi di usarli (a parte gli strumenti SEO).

Per quanto ne so, nessuno dei crawler/llms usa le direttive “content-signal” nel robots.txt. È stato inventato da un CDN, a quanto ne so non ha alcun effetto per nessun crawler o llm. Usarlo aggiunge solo ingombro e futura manutenzione al tuo file robots.txt. Puoi anche aggiungere altre cose arbitrarie al tuo file robots.txt, i crawler usano solo le direttive che supportano e ignorano il resto.

John Mueller su Reddit, 6 luglio 2026

Una doccia fredda non da poco, considerando che proprio Google, tramite Googlebot, è uno dei crawler multiuso che rischia di essere bloccato dalle nuove regole di settembre.

Quindi eccoti il quadro completo, con tutta la sua comica contraddizione: Cloudflare costruisce un sistema sofisticato per darti più controllo sul tuo contenuto, ma il colosso che più di tutti determina la tua visibilità online dichiara pubblicamente di ignorare parte di quel sistema.

Nel frattempo, se scegli le impostazioni sbagliate, rischi comunque di perdere l’accesso di Googlebot al tuo sito, non perché Google rispetti le tue preferenze scritte nel robots.txt, ma perché Cloudflare applica un blocco vero e proprio a livello di rete, molto più concreto di qualunque riga di testo.

Bloccare tutto non paga (letteralmente)

E qui arriva il punto su cui vale la pena fermarsi un attimo di più, perché non è solo una questione tecnica da smanettoni, è una questione di sopravvivenza per chi vuol essere visibile nell’era dei motori di risposta basati su IA.

Natzir Turrado, specialista SEO e AI Search, ci ha detto su SEO Confidential che, a suo parere, la vera partita non si gioca tra “licenza” e “blocco”, perché ormai le due cose si sono mescolate.

Per lui il blocco è diventato semplicemente la leva che spinge le aziende di intelligenza artificiale a sedersi al tavolo delle trattative.

Cloudflare, che copre circa un quinto del web, ha già trasformato il blocco predefinito in un vero e proprio pedaggio con il suo servizio di pay-per-crawl, arrivando a restituire oltre un miliardo di risposte al giorno che dicono, in sostanza, “paga o resta fuori”.

Il motivo è presto detto: il vecchio scambio, tu mi scansioni e io ricevo traffico in cambio, si è rotto da tempo, tanto che secondo i dati citati da Turrado per ogni visita restituita Google scansiona 14 volte, OpenAI 1.700 volte e Anthropic addirittura 73mila volte.

Quello che preoccupa di più, ci ha detto Natzir, è l’effetto collaterale su chi non ha nulla da negoziare: mentre i grandi editori premium riescono a strappare accordi di licenza, la lunga coda di siti più piccoli perde comunque il traffico organico che li teneva in vita, senza ricevere in cambio alcun compenso, con il rischio concreto di prosciugare proprio l’incentivo a produrre contenuti originali di cui l’intelligenza artificiale ha bisogno per funzionare.

Ma allora, se il tuo sito blocca ogni crawler AI per proteggere i suoi contenuti, diventa invisibile ai motori di risposta basati sull’IA, giusto?

E quindi, a quel punto, chi prenderà il tuo posto nelle risposte delle IA?

La ricercatrice esperta di GEO Emilia Gjorgjevska, nel corso della nostra intervista, ha affrontato proprio questo tema.

Secondo Emilia quei sistemi finiranno comunque per rispondere, semplicemente attingendo a fonti concorrenti, siti aggregatori, pagine ormai datate o riassunti di terze parti meno affidabili.

Il consiglio pratico che ne deriva è costruire quella che lei chiama una vera mappa della visibilità, distinguendo con chiarezza cosa deve restare pubblico e leggibile dalle macchine, come le informazioni sui prodotti, le fasce di prezzo, i casi studio e i contenuti che dimostrano competenza, da ciò che invece rappresenta un patrimonio da proteggere con licenze, accessi API o sistemi di autorizzazione dedicati, come ricerche proprietarie, report premium o dataset esclusivi.

Non un blocco indiscriminato, quindi, ma quella che Gjorgjevska definisce trasparenza selettiva: rendere leggibile alle intelligenze artificiali tutto ciò che aiuta a farti scoprire e citare correttamente, proteggendo invece con più rigore ciò che costituisce il tuo reale vantaggio competitivo.

A mio avviso, per i siti più piccoli non esiste una risposta che sia sempre valida.

Bloccare indiscriminatamente ogni crawler AI rischia di compromettere la visibilità nei sistemi di ricerca del futuro, mentre lasciare libero accesso a tutti significa cedere contenuti senza alcun ritorno concreto, come ti ho scritto qui.

L’approccio più sensato secondo me è valutare caso per caso, distinguendo i crawler utilizzati per l’addestramento dei modelli da quelli che alimentano i motori di risposta e possono ancora generare citazioni o traffico. L’obiettivo dovrebbe essere trovare un equilibrio tra la tutela del proprio lavoro e la necessità di restare visibili nell’ecosistema dell’intelligenza artificiale.

Cosa fare, concretamente, prima del 15 settembre 2026?

Cloudflare protegge oggi oltre il 20% del web grazie alla sua infrastruttura distribuita in più di 330 città nel mondo, per cui la probabilità che questo cambiamento ti riguardi non è affatto trascurabile.

Il consiglio pratico, quello che vale la pena seguire prima di tornare alle tue occupazioni quotidiane, è semplice: apri il pannello di controllo di Cloudflare, vai nelle impostazioni di sicurezza della tua zona e controlla come hai configurato il blocco dei bot AI, in particolare se hai attivato in passato la vecchia opzione generica “Block AI bots”.

Se l’hai fatto e non vuoi rischiare di perdere Googlebot insieme ai crawler di addestramento, hai tempo fino al 15 settembre 2026 per modificare esplicitamente le tue preferenze e scegliere di non applicare la regola più restrittiva ai crawler multiuso.

Non è un’operazione complicata, richiede pochi minuti, ma quei minuti possono fare la differenza tra continuare a comparire su Google e sparire silenziosamente dai risultati di ricerca senza nemmeno capire perché.

E in un mondo dove il confine tra intelligenza artificiale e ricerca tradizionale si assottiglia ogni giorno di più, forse vale la pena, per una volta, leggere con attenzione le impostazioni prima di lasciare che sia il pilota automatico a decidere per te.

Se vuoi rendere il tuo sito visibile sia su Google sia nei motori di risposta basati sull’intelligenza artificiale, senza compromettere la protezione dei tuoi contenuti, il nostro team può aiutarti.

Rivolgiti alla nostra agenzia SEO specializzata in GEO e AI Search: analizziamo la tua presenza online, definiamo la strategia più adatta al tuo business e ti supportiamo nell’ottimizzazione della visibilità sui motori di ricerca e sui sistemi di risposta AI come ChatGPT, Gemini, Perplexity e Google AI Overviews.

Perché oggi non basta essere online: bisogna essere trovati, citati e scelti.

---

Novità Cloudflare 2026 – bloccare i crawler conviene o no: domande frequenti

Cosa cambia con le nuove regole di Cloudflare sui bot AI?

Dal 15 settembre 2026 Cloudflare cambierà le impostazioni predefinite per la gestione dei crawler AI. I bot verranno classificati in tre categorie: Search, Agent e Training. La novità più delicata riguarda i crawler multiuso, come Googlebot, Bingbot e Applebot: se un sito blocca i bot usati per l’addestramento, potrebbe bloccare anche quelli necessari alla ricerca.

Bloccare i crawler AI può danneggiare la visibilità su Google?

Sì, se il blocco viene applicato senza distinzione. Cloudflare può bloccare i crawler a livello di rete, non solo tramite robots.txt. Questo significa che, se Googlebot viene bloccato insieme ai crawler di addestramento, Google potrebbe non riuscire a scansionare correttamente il sito, con possibili effetti su indicizzazione, posizionamento e traffico organico.

Cosa dovrebbe fare chi usa Cloudflare?

Chi usa Cloudflare dovrebbe controllare le impostazioni dedicate ai bot AI, soprattutto se in passato ha attivato l’opzione Block AI Bots. La scelta più prudente non è bloccare tutto, ma distinguere tra contenuti che devono restare visibili ai motori di ricerca e alle AI e contenuti proprietari da proteggere con sistemi più selettivi.