Robots.txt: cos’è e qual è la definizione di questo termine.
Definizione di robots.txt
Robots.txt è un file testuale che indica ai crawler dei motori di ricerca quali pagine possono scansionare e quali invece possono tralasciare durante la periodica analisi dei siti.
In ottica SEO risulta molto importante in quanto ti permette di comunicare meglio con Google e gli altri motori e di analizzare e posizionare in maniera ottimale il tuo sito.
Puoi immaginare robots.txt come un piccolo vigile che dice al crawler “Alt!” mostrandogli la paletta dal lato rosso e che lo fa passare quando gli mostra il lato verde.
Attenzione però: non puoi utilizzarlo per evitare l’indicizzazione delle tue pagine (per quello ci sono le password e il noindex) ma per limitare le richieste di scansione al sito, e dunque non sovraccaricarlo.
Inoltre non è detto che Googlebot e gli altri crawler prendano le tue indicazioni come oro colato: potrebbero comunque fare gli anarchici ed analizzare le pagine col semaforo rosso!
Ti stai forse chiedendo perché utilizzare questo file? Passa al prossimo paragrafo!
Robots.txt: contesti di utilizzo
Nonostante qualcuno affermi che il file robots.txt sia futile, fidati della mia parola da consulente SEO: in realtà può aiutarti in ambito SEO e posizionamento sui motori di ricerca.
Il file robots.txt è infatti molto utile qualora il tuo sito contenga delle pagine ininfluenti per il posizionamento (per esempio la pagina pubblica di log in del sito).
Comunicando agli spider che non devono interessarsi a quelle risorse, questi dedicheranno il loro tempo ad analizzare ed indicizzare pagine più importanti.
Vuoi sapere come realizzare un file robots.txt? Ho un articolo bello pronto per soddisfare le tue curiosità. Eccolo: “Robots.txt, questo sconosciuto: ecco come ottimizzarlo“!
Robots.txt: ecco come testarlo
Vuoi sapere se il file robots.txt impedisca al crawler di accedere a determinate pagine o file?
Ormai avrai capito che Google ha l’asso nella manica per qualsiasi esigenza: in questo caso è lo strumento Tester dei file robots.txt, che trovi su Google Search Console.
Inserendo l’URL della pagina e facendo scorrere robots.txt visualizzerai eventuali errori di sintassi.
Ma non solo: selezionando uno user agent e cliccando su “TESTA” puoi verificare se la pagina risulti bloccata per i crawler oppure no.
Stai molto attento/a: con lo strumento Tester dei file robots.txt puoi apportare delle modifiche al codice (per risolvere eventuali errori) e verificare la loro efficacia.
Ma le modifiche non vengono memorizzate sul tuo sito: dovrai dunque copiare ed incollare i contenuti sul file della tua pagina.
Tutto quello che hai letto ti sembra arabo e non sapresti da dove iniziare per realizzare al meglio un file robots.txt?
Non ti preoccupare: puoi contattarmi anche ora (a meno che non stia leggendo alle 3 del mattino) e richiedere una !