Le regole del digitale stanno cambiando.
O sei visibile o sei fuori. Noi ti aiutiamo a raggiungere i clienti giusti — quando ti stanno cercando.
Contattaci ora
L’obiettivo dichiarato è il 2027, ma non c’è una data di attivazione né un elenco di aziende già aderenti
Google ha annunciato che leggerà come un rifiuto all'addestramento AI la nuova direttiva condivisa inserita nel robots.txt, anche senza menzione esplicita di Google-Extended. Conta perché unifica sotto un solo standard aperto, nato in seno all'IETF, i mille token diversi imposti finora dai fornitori. La riserva: l'adesione è volontaria e l'operatività slitta al 2027.
Una riga nel robots.txt per dire “non usare i miei contenuti per addestrare l’intelligenza artificiale”, valida per tutti e non solo per un’azienda. È quello che Google ha messo sul tavolo ieri: come riportato nel blog ufficiale di Google Search Central, l’azienda ha annunciato l’intenzione di supportare un controllo condiviso per l’addestramento AI dentro il robots.txt, il file di testo che ogni sito usa da decenni per dire ai programmi automatici di scansione, i cosiddetti crawler, dove possono passare e dove no. È un dettaglio tecnico, certo. Ma cambia chi scrive le regole del file più vecchio del web.
Una riga nel robots.txt che Google leggerà come un no
Il meccanismo è semplice. Se un sito inserisce nel proprio robots.txt il nuovo token standard per escludersi dall’addestramento, e non menziona esplicitamente Google-Extended, Google tratterà quella riga come se l’editore avesse bloccato Google-Extended. Per capire il peso della cosa serve un passo indietro: Google-Extended è il controllo che Google offre già dal 2023, cioè l’etichetta specifica con cui fino a oggi un sito poteva dire a Google, e solo a Google, di non usare i propri contenuti per l’addestramento dei suoi modelli.
La novità, quindi, non è la possibilità di dire no. Quella esisteva. La novità è che Google accetta di leggere quel no anche quando è scritto in una lingua che non ha inventato lei, ma che nasce dal lavoro del gruppo AIPREF dell’Internet Engineering Task Force (IETF), l’organismo che definisce molti degli standard tecnici di internet. E qui viene spontanea una domanda: perché una multinazionale dovrebbe rinunciare a un controllo tutto suo per adottarne uno scritto da altri?
Il problema dei mille cartelli diversi
La risposta sta nella confusione che si è accumulata negli ultimi anni. Ogni azienda di intelligenza artificiale si è presentata con il proprio “nome” da usare nel robots.txt. Google ha Google-Extended. OpenAI, come spiega la sua documentazione per gli sviluppatori sui bot, usa i tag OAI-SearchBot e GPTBot per permettere ai gestori dei siti di decidere come i loro contenuti interagiscono con l’AI. E così via, un fornitore dopo l’altro.
Pensala come un condominio in cui ogni corriere pretende un cartello diverso sulla porta: uno per chi consegna il lunedì, uno per chi passa di sera, uno per chi arriva in furgone. Chi abita lì deve conoscerli tutti, aggiornarli ogni volta che arriva un nuovo corriere e sperare che nessuno faccia finta di non vederli. Per un editore o per chi gestisce un e-commerce, inseguire ogni nuovo user agent, cioè il nome con cui un crawler si presenta, è esattamente questo lavoro.
E la fiducia, nel frattempo, si è consumata. Come osserva l’IETF nel post dedicato al gruppo di lavoro AIPREF, autori ed editori, perdendo la fiducia che le loro preferenze vengano rispettate, arrivano a misure drastiche come il blocco degli indirizzi IP. Tradotto: invece di chiedere gentilmente al crawler di non entrare, gli chiudono la porta in faccia a livello di rete. È una soluzione rozza, che rischia di tagliare fuori anche servizi utili e che dice molto sul clima tra chi produce contenuti e chi li usa per addestrare modelli.
La proposta dell’IETF prova a rimettere ordine con un linguaggio comune. Il documento tecnico draft-ietf-aipref-attach-04 descrive una direttiva Content-Usage per il Robots Exclusion Protocol, il nome formale di quello che tutti chiamano robots.txt. L’idea è che la preferenza “non addestrare” si esprima una volta sola, nello stesso modo, per chiunque legga il file. Il punto di vista di Google è comprensibile: allinearsi a uno standard aperto costa poco e restituisce un’immagine collaborativa. Va però distinto l’annuncio dal fatto: oggi esiste una bozza di standard e la promessa di un’azienda di rispettarla. Uno standard, poi, vale solo se lo rispettano in tanti. Chi altro firmerà?
2027 e la spinta che arriva da Bruxelles
Sul calendario Google è prudente. L’obiettivo dichiarato è supportare il nuovo controllo insieme ad altri fornitori di AI nel 2027, con aggiornamenti promessi strada facendo. Non c’è quindi una data di attivazione precisa, né un elenco di aziende che hanno già aderito. Per ora c’è un’intenzione.
L’adesione degli altri, però, potrebbe non restare del tutto una questione di buona volontà. In Europa un impegno scritto esiste già: come ricostruito dal progetto CADE sulla consultazione della Commissione, il Codice di condotta per l’AI di uso generale (GPAI) impegna i firmatari a rispettare i protocolli di opt-out pertinenti, oltre alle convenzioni esistenti come il robots.txt e i suoi futuri aggiornamenti in seno all’IETF. In altre parole, chi ha firmato il Codice si è già impegnato a rispettare anche ciò che uscirà dal lavoro di AIPREF. Non è poco, anche se resta da vedere quanto quell’impegno verrà fatto valere.
Le cose da osservare nei prossimi mesi sono due: quali fornitori seguiranno Google, e quando il token diventerà davvero operativo. Per chi gestisce un sito o un e-commerce, intanto, il robots.txt sta tornando a essere il posto dove si decide in un colpo solo se i propri contenuti finiscono negli addestramenti AI. Riscriverlo adesso non serve, perché lo standard non è ancora attivo. Sapere che dal 2027 una singola riga potrebbe valere per più fornitori, non soltanto per Google, invece sì.
