Le regole del digitale stanno cambiando.
O sei visibile o sei fuori. Noi ti aiutiamo a raggiungere i clienti giusti — quando ti stanno cercando.
Contattaci ora
Cloudflare: a maggio il sorpasso, ora blocca i crawler AI di default
A maggio i bot hanno superato il traffico umano online, secondo Cloudflare, nata il 27 settembre 2010. Il dato conta perché sposta il controllo del web verso un'azienda privata, che blocca di default i crawler di addestramento AI. Resta il dubbio che l'adesione volontaria dei giganti non inverta la tendenza.
Lo scorso maggio, per la prima volta nella storia di Internet, i bot hanno superato gli umani online. Non è un titolo distopico: sono i numeri di Cloudflare, l’azienda che da sedici anni osserva il traffico della rete da una posizione privilegiata. Come si legge nella lettera annuale dei fondatori di Cloudflare, pubblicata ieri, il sorpasso è avvenuto a maggio di quest’anno. Matthew Prince, co-fondatore e CEO, lo ha ribadito in un post su X: i bot hanno superato il traffico umano online per la prima volta nella storia di Internet.
Cloudflare è nata il 27 settembre 2010, lanciata sul palco di TechCrunch Disrupt con otto ingegneri in sala che correggevano bug mentre l’azienda saliva sul palco. Ieri ha compiuto sedici anni. E ieri, nella lettera annuale, ha raccontato quello che vede dalla sua posizione.
Il sorpasso silenzioso
Bisogna fermarsi sul dato. Non parliamo solo di traffico ostile: parliamo di tutto il traffico automatizzato, compresi i cosiddetti “buoni bot”, quelli che indicizzano, controllano prezzi, aggiornano cache. E qui arriva il secondo numero, forse più scomodo. I dati di Cloudflare suggeriscono che più della metà di ciò che i buoni bot recuperano non è cambiato dall’ultima visita. Tradotto: una parte enorme di quel traffico chiede sempre le stesse pagine, senza che nel frattempo sia cambiato nulla. È lavoro inutile, fatto su scala planetaria.
Ma chi decide quali bot sono “buoni” e quali no? E cosa succede quando i cattivi diventano maggioranza? Per ora la decisione non arriva da un regolatore: se la sta prendendo un’azienda privata.
Il freno di Cloudflare e l’impegno dei giganti
Quell’azienda è Cloudflare. Ed è una risposta tecnica, non una legge. Come si legge nel report di Cloudflare sull’internet agentico, l’azienda ha modificato le impostazioni predefinite per tutti i nuovi domini: i crawler di addestramento AI vengono bloccati di default, a meno che il proprietario del dominio non scelga diversamente. In pratica, se apri un nuovo dominio su Cloudflare e non tocchi nulla, i robot che vogliono usare i tuoi contenuti per addestrare modelli non entrano.
Ieri Cloudflare ha fatto un passo in più. Ha annunciato una nuova impostazione chiamata “Disallow AI Training”, che separa due cose finora legate: puoi restare indicizzato nei motori di ricerca e, allo stesso tempo, rifiutare che lo stesso contenuto venga usato per l’addestramento. Come si legge nell’annuncio dedicato ai crawler a uso misto, Apple, Google e Microsoft onorano già questa impostazione o si sono impegnate a onorarla entro un arco di tempo indicato.
Conviene essere chiari su un punto: la dichiarazione è di Cloudflare, non di un organo di controllo indipendente. Che tre giganti dichiarino di rispettarla è un segnale, ma va letto come un impegno commerciale e tecnico, non come una garanzia verificata. La domanda vera non è se i grandi motori si adegueranno. È se basterà a invertire la tendenza: a maggio i bot hanno superato gli umani, e più della metà del lavoro dei bot “buoni” è già superfluo. Un blocco selettivo può ridurre il rumore, ma non cambia da solo il fatto che il web è diventato, in misura crescente, un dialogo tra macchine.
Cosa cambia per chi fa impresa online
Se i giganti si adeguano, la decisione si sposta a monte: su chi possiede un dominio e deve scegliere. È qui che la novità diventa concreta. Più di 7 milioni di sviluppatori costruiscono sulla piattaforma per sviluppatori di Cloudflare: per chi costruisce lì, il controllo sui crawler non è più una questione da specialisti. Per i nuovi domini il blocco è attivo per impostazione predefinita; con la nuova impostazione, la scelta diventa esplicita anche per chi vuole restare indicizzato senza cedere i contenuti all’addestramento.
Chi controlla davvero il traffico che arriva al tuo sito? Da ieri la risposta non è più scontata. Per chi fa impresa online, il web non è più un luogo popolato solo da umani: trattare i bot non è una scelta tecnica, ma una decisione strategica che può determinare visibilità, controllo dei contenuti e valore del proprio dominio.
