Cloudflare impone alle aziende AI di dichiarare i propri crawler entro il 15 settembre 2026
Il dato che rompe l’equilibrio
La cifra è controintuitiva perché siamo abituati a pensare al web come a uno spazio abitato da persone che cliccano, leggono, comprano. Ma il rapporto Cloudflare racconta una realtà diversa: le macchine stanno divorando i contenuti a una velocità che non ha precedenti. I crawler per l’addestramento dell’intelligenza artificiale sono passati dal rappresentare meno di un quarto delle richieste automatizzate a più della metà in poco più di dodici mesi. Non è crescita, è sostituzione.
Il significato è chiaro: la materia prima dell’AI generativa sono i testi, le immagini, i dati che milioni di siti pubblicano ogni giorno. E finora, nella maggior parte dei casi, queste risorse sono state prelevate senza chiedere il permesso e senza pagare nulla. Non sorprende che, dal 2023 a oggi, siano stati firmati oltre 50 accordi tra editori e aziende di intelligenza artificiale. Accordi che raccontano di un’industria che cerca disperatamente di mettere ordine in una prateria dove le regole non esistevano.
Il mercato degli scambi non umani
La risposta più strutturata è arrivata da chi il traffico lo vede passare tutto: Cloudflare. Esattamente un anno fa, a luglio 2025, l’azienda ha lanciato un marketplace pensato per ribaltare la dinamica: invece di subire lo scraping, i proprietari di siti potevano cominciare a farlo pagare alle aziende di AI. L’idea era semplice – far incontrare domanda e offerta di contenuti – ma era solo l’inizio.
Nei giorni scorsi, in occasione di quello che Cloudflare ha ribattezzato il secondo «Content Independence Day», il marketplace ha cambiato pelle. Non più «Pay Per Crawl», pagamento a scansione, ma «Pay Per Use»: si paga in base al valore effettivamente generato dall’uso dei contenuti. Una differenza sostanziale, perché sposta il costo dal semplice accesso alla creazione di prodotti che sfruttano quella materia prima. Nuove classificazioni separano in modo più netto i bot benigni da quelli predatori, le analisi sono state potenziate e, stando al comunicato stampa ufficiale, sono già attive partnership definite «industry-defining» con aziende del settore AI.
Il modello è chiaro: l’Internet degli agenti – l’«Agentic Internet», come lo chiama Cloudflare – esiste già, e chi pubblica contenuti ha diritto a decidere che fine fanno. «Your content, your rules», i tuoi contenuti, le tue regole. Sembra uno slogan, ma ha implicazioni commerciali molto concrete.
Scadenza 15 settembre: chi paga e chi decide
Il passaggio più aggressivo, però, non è una funzionalità tecnica. È un ultimatum: Cloudflare ha fissato al 15 settembre 2026 la data entro cui le aziende dovranno separare in modo netto i crawler per la ricerca da quelli per l’addestramento dell’intelligenza artificiale. Chi usa i secondi senza dichiararlo o senza passare dal marketplace rischia di trovarsi la porta sbarrata.
La mossa è tutt’altro che neutrale. Google, che da sola genera l’88% del traffico di referral, è al tempo stesso il più grande motore di ricerca del mondo e uno dei principali attori nell’AI generativa. Separare le due funzioni significa obbligare Big Tech a dichiarare esplicitamente perché sta setacciando i siti: se per indicizzare pagine da mostrare nei risultati di ricerca, o se per addestrare modelli. Nel primo caso l’accesso resta aperto. Nel secondo, scatta il pagamento.
Per gli editori il bivio è netto. Da un lato possono usare questa leva per monetizzare finalmente un traffico che finora era solo un costo – banda consumata, server stressati, contenuti risucchiati senza contropartita. Dall’altro possono decidere di sbarrare del tutto l’accesso ai crawler di addestramento, blindando i propri archivi. Qualunque scelta faranno, il punto è che ora esiste una scelta: fino a ieri, semplicemente, non c’era.
L’Internet che conoscevamo, fatto di pagine visitate da persone, non esiste più. Per chi pubblica, la domanda non è se le macchine continueranno a setacciare il web – lo faranno comunque – ma se riuscirà a estrarre valore da questo nuovo traffico, oppure se si lascerà consumare senza reagire.
