Il tuo robots.txt è pieno di direttive fantasma?

Le regole del digitale stanno cambiando.

O sei visibile o sei fuori. Noi ti aiutiamo a raggiungere i clienti giusti — quando ti stanno cercando.

Contattaci ora →

Google ha smesso di supportare direttive non standard come noindex nel robots.txt già dal 1° settembre 2019, il che significa che molte pagine potrebbero finire indicizzate anche con queste istruzioni obsolete.

Molti file robots.txt contengono ancora direttive obsolete come `noindex`, ignorate da Google dal 2019. Questa pratica crea una falsa sicurezza, rischiando problemi di indicizzazione. È cruciale aggiornare il file, eliminando questi comandi fantasma e usando metodi ufficiali come i meta tag per un controllo efficace, evitando errori comuni che possono compromettere la visibilità di un sito web.

Il tuo robots.txt è pieno di ordini fantasma?

Mi è capitato di nuovo, qualche giorno fa. Controllo il file robots.txt di un nuovo cliente e lo trovo lì, bello tranquillo, come un fantasma che infesta la casa: la direttiva noindex. E ogni volta la reazione è la stessa: un sospiro e la consapevolezza che c’è un bel po’ di pulizia da fare.

Diciamocelo chiaramente: se anche tu hai ancora quella riga di codice nel tuo file, stai parlando a un muro.

Stai dando un ordine che Google ha smesso di ascoltare da un pezzo.

La cosa non è successa ieri. Come descritto sul blog ufficiale di Google Search Central, già dal 1° settembre 2019, Big G ha formalizzato la sua posizione smettendo di supportare una serie di regole non ufficiali che per anni hanno popolato i file robots.txt di mezzo mondo.

Parliamo di direttive come noindex, nofollow e crawl-delay.

Per anni sono state una sorta di “gentlemen’s agreement” tra i SEO e i motori di ricerca, ma non essendo mai state parte dello standard ufficiale, creavano solo confusione. Google, a suo dire per fare chiarezza, ha deciso di tagliare la testa al toro: tutto ciò che non è standard, semplicemente, viene ignorato.

Questo per te cosa significa, in parole povere?

Significa che se stai affidando l’indicizzazione delle tue pagine a un comando noindex nel robots.txt, quella pagina potrebbe tranquillamente finire nei risultati di ricerca. È un ordine inutile, spazzatura digitale che non fa altro che darti una falsa sensazione di controllo.

E se pensi che questo sia l’unico rischio che stai correndo, beh, ti sbagli di grosso. Perché nel mondo digitale, un comando ignorato è spesso solo la punta di un iceberg fatto di opportunità mancate e problemi ben più seri.

Dai comandi ignorati al controllo (vero) sul tuo sito

Quindi, se il robots.txt non è più il posto giusto per dire a Google di non indicizzare una pagina, come si fa?

La risposta è semplice e sta esattamente dove dovrebbe essere: all’interno della pagina stessa. Per bloccare l’indicizzazione si usa il meta tag <meta name="robots" content="noindex"> nell’ della pagina, oppure l’header HTTP X-Robots-Tag.

Punto.

È un metodo diretto, pulito e, soprattutto, ufficiale. È il modo corretto per parlare con Google e farsi capire senza fraintendimenti.

Ma la questione è più profonda.

La decisione di Google di fare pulizia non è stata un caso. Ha segnato un passaggio verso una gestione più granulare e consapevole del crawling e dell’indicizzazione. Mentre eliminava vecchie regole non ufficiali, negli anni successivi ne ha introdotte di nuove, molto più specifiche.

Pensa al controllo sui contenuti usati per l’addestramento dei suoi modelli di intelligenza artificiale, con direttive come Google-Extended. Ci stanno dando strumenti più precisi, certo, ma la domanda sorge spontanea: lo fanno per darci più controllo o per garantirsi un accesso più pulito e ordinato ai dati che gli servono?

Questo ci porta dritti al cuore del problema: il robots.txt non è un pezzo di codice da scrivere una volta e poi dimenticare. È diventato un pannello di controllo strategico, dove ogni errore di sintassi o direttiva obsoleta può avere conseguenze dirette sul tuo traffico e sulla tua visibilità.

E credimi, di errori ne vedo ancora tantissimi, alcuni dei quali così banali da essere disarmanti, ma con un potenziale distruttivo enorme per qualunque progetto online.

Controllare oggi per non piangere domani

L’errore più classico che continuo a vedere, al di là delle direttive fantasma, è il blocco accidentale di risorse fondamentali come i file CSS o JavaScript.

Molti pensano che bloccare queste risorse possa velocizzare il lavoro del crawler, ma ottengono l’esatto contrario: impediscono a Google di vedere la pagina come la vedono i tuoi utenti.

Il risultato?

Un sito che ai suoi occhi appare “rotto”, con possibili penalizzazioni nel ranking.

È come chiedere a un fotografo di giudicare la bellezza di un quadro mostrandogli solo la cornice.

Un altro scivolone comune è la sintassi.

Basta un errore di battitura, un disallow al posto di Disallow (anche se oggi i crawler sono più flessibili, meglio non rischiare) o un asterisco messo nel posto sbagliato per bloccare intere sezioni del sito che invece dovrebbero essere visibili, o viceversa.

Sono dettagli, certo, ma dettagli che possono azzerare il traffico verso le tue pagine più importanti.

Quindi, il mio consiglio è molto diretto: apri subito il tuo file robots.txt.

Cerchi le direttive noindex, nofollow o crawl-delay?

Se le trovi, cancellale e implementa le soluzioni corrette. Controlla che le risorse essenziali per il rendering della pagina non siano bloccate.

Verifica che ogni singola riga abbia un senso strategico e non sia lì solo per abitudine.

Non è un’operazione da rimandare.

È una manutenzione essenziale per la salute del tuo business online.

Fallo adesso.