Crawl Budget: Cos'è e come ottimizzarlo per la SEO (Spiegato facile)

Crawl Budget: Cos’è e come ottimizzarlo per la SEO (Spiegato facile)

SEO: Crawl budget dei motori di ricerca spiegato facile

Domanda di cui conosco la risposta: Ci tieni davvero all’ottimizzazione SEO del tuo sito?  Magari hai studiato il SEO copywriting e ora vuoi scovare i segreti del esperto SEO? Allora non puoi davvero ignorare il concetto di Crawl Budget!

Qui ti mostrerò perché si tratta di un fattore decisivo per posizionare al meglio le pagine più importanti del sito e raggiungere i tuoi obiettivi strategici sul web.

Imparando a governare il Crawl Budget, potrai aumentare le visite al sito e concederti la reale possibilità di dialogare alla pari con il motore di ricerca e i suoi bot massimizzando i risultati in termini di posizionamento sui motori di ricerca .

La cosa interessante è che molto probabilmente non avrai bisogno di una complessa consulenza web, al contrario invece grazie ad alcuni accorgimenti tecnici potrai infatti possibile indicare agli algoritmi i contenuti che contano davvero e che meritano priorità in fase di scansione.

Alcune tecniche possono indurre i bot a passare più di frequente sul sito e tenerlo sempre in alta considerazione.

Sebbene sia piuttosto complessa dal punto di vista tecnico, questa è una di quelle best practices SEO dalle quali non si può prescindere, specialmente su siti di grosse dimensioni e più in generale ogni qual volta si vuole lavorare per comprendere a fondo come apparire su Google al meglio.

Ti è già andato in pappa il cervello? Spero di no, ma se così fosse, non ti resta che seguirmi e scoprire tutti i consigli che ho in serbo per te… Non ti preoccupare, ci pensa zio Roberto :D.

web crawler seo concept

Andiamo a fondo nel concetto di “Budget di Crawling”

Prima di approfondire il concetto di Crawl Budget per chi è alle prime armi è molto importante familiarizzare con il concetto di Googlebot (che prendiamo come esempio prioritario per ovvie motivazioni di egemonia assoluta del web da parte di Google!).

Googlebot è il nome conferito al bot che va a ficcare il naso in qualsiasi sito web presente in rete alla ricerca di nuove pagine da aggiungere all’indice perché vengano trovate dagli utenti.

Dal momento che su internet esistono miliardi di pagine e nuove pagine vengono create in ogni momento, sarebbe impossibile per il bot di Google visitarle tutte in ogni istante di ogni singolo giorno.

Ecco, quindi, da dove nasce il concetto di “Crawl Budget”:

Se il crawling è l’attività di scansione del bot su un sito, il Crawl Budget è la stima che determina quanto spesso il bot di Google tornerà nel tuo sito al fine di verificare l’esistenza di pagine o nuove informazioni da indicizzare.

Il concetto di Crawl Budget può essere a sua volta spaccato in due, ovvero in:

  • Crawl Rate Limit
  • Crawl Demand

Crawl Rate Limit (Limite di Scansione)

Il bot di Google è stato concepito per essere un buon cittadino del web. In pratica entra nel sito a farsi i fatti tuoi, ma cerca di farlo in punta di piedi senza sovraccaricare il server con il rischio di influenzare l’esperienza utente.

Questo è il “rate limit”, ovvero il limite di connessioni simultanee che Googlebot può usare per fare la scansione del sito, ma rappresenta anche il tempo che aspetterà tra una scansione e l’altra.

Questo limite può aumentare o diminuire in base a due fattori:

  • Capacità di Crawling: se un sito risponde davvero velocemente alle visite da parte del bot, allora automaticamente il “Crawl Limit” sarà spostato verso l’alto. Se invece il sito rallenta o si verificano errori lato server, il limite si abbassa e il bot farà meno scansioni.
  • Impostazioni da Search Console: i webmaster possono anche decidere di settare manualmente il suddetto limite, abbassandolo o alzandolo, ma è da notare che settando limiti più elevati non si otterrà automaticamente più attenzione da parte del bot.

impostare-la-frequenza-di-scansione

Istruzioni di Google su come limitare la frequenza di scansione

Ho capito, a questo punto sono certo che ti serva una traduzione di quello che ho detto fino ad ora. In pratica, Google vuole evitare di sovraccaricare il tuo sito mandando il bot a scansionarlo troppo pesantemente. Il Crawl Limit non serve altro che a prevenire che il bot faccia troppe richieste al sito con il risultato di rallentarlo.

Crawl Demand (Esigenza di Scansione)

Anche nei casi in cui il limite di crawling non viene raggiunto, se non ci sono richieste di indicizzazione, l’attività del bot sarà minima.

Ci sono due fattori che determinano il grado di attenzione del bot:

  • Popolarità: gli URL che riscuotono maggiore popolarità su internet tendono a ricevere più scansioni per mantenerli sempre aggiornati.
  • “Crawl Demand”: letteralmente indica l’”esigenza di scansione”, ovvero quanto il bot percepisca come obsoleto il contenuto di certe URL.

In occasione di eventi speciali che riguardano l’intero sito come le migrazioni, il cambio di template, il Crawl Demand cresce in quanto c’è necessità di indicizzare un sito sotto nuove URL.

Mettendo insieme il concetto di Crawl Demand e Crawl Limit si definisce al meglio anche quello di “Crawl Budget” che in sostanza può essere visto come il numero di URL che Googlebot può e vuole scansionare.

crawl-budget-da-search-console

Crawl Budget: come aiuta la SEO?

Ora che ti ho riempito la testa con tutte queste informazioni starai pensando: “Scusa Robbè, ma io che me ne faccio di tutte ste menate!? Come mi cambia la SEO del sito?”.

Come hai compreso il Crawl Budget non è un fattore di ranking diretto, ma in verità può comunque incidere molto sulla visibilità del tuo sito in SERP.

Ci sono almeno 3 ragioni per cui dovresti preoccuparti del tuo Crawl Budget:

  1. Se Google manda molto spesso il suo bot nel tuo sito significa che lo tiene in buona considerazione. Inoltre, significa che il bot è sempre ben accolto e che non ci sono problemi di scansione. L’algoritmo, quindi, percepisce che si tratta di un sito costantemente aggiornato e vale la pena ripassare spesso.
  2. Specialmente per siti di più grandi dimensioni, che pubblicano spesso contenuto o che aggiornano continuamente quello vecchio, sarebbe importante che il bot passi il più in fretta possibile così da mostrare agli utenti il nuovo contenuto fresco in tempi brevi.
  3. Non va poi dimenticato che le pagine scansionate di recente hanno migliori possibilità di posizionarsi bene nei risultati di ricerca, mentre le pagine che non ricevono scansione da tempo tendono a perdere posizionamento.

Un importante “ragione bonus” consiste poi in un importante concetto: se la struttura del tuo sito consuma crawl budget su varianti di pagine e contenuti non fondamentali è molto probabile che quest’ultimo limiti la capacità di Google di scansionare le pagine che invece a te interesserebbe e vorresti posizionare sui motori di ricerca.

Ottimizzare il Crawl Budget per la SEO: aspetti pratici

Grazie per la fiducia! Se sei arrivato fin qua sotto a leggere ti faccio i miei complimenti, anche perché il bello viene ora.

Eccomi allora a parlarti di come si ottimizza il Crawl Budget per la SEO del tuo sito attraverso alcuni accorgimenti pratici.

Partiamo però da un presupposto: il Crawl Budget va visto come un indicatore della qualità del lavoro che fai sul tuo sito web.

Quindi, in realtà, quello che devi fare non è intervenire direttamente su di esso, piuttosto devi ottimizzare alcuni aspetti del sito per poi vedere come risponde il Crawl Budget.

Come monitorare il Crawl Budget

Una volta che avrai implementato le migliorie che stai per conoscere, puoi monitorare l’attività del bot sul sito grazie alla search console, qui sono presenti le statistiche di scansione che ti diranno:

  • Kb scaricati ogni giorno
  • Pagine analizzate
  • Tempo impiegato per l’operazione

Crawl budget seo analsi su google search console

Se hai un numero di scansioni superiore a quello delle pagine significa che Google dialoga benissimo con il sito e ti tiene in grande considerazione.

Contatta Roberto
la prima consulenza web è sempre gratuita!

Migliorare il Crawling in 5 passi

Quali aspetti del tuo sito, se ottimizzati, ti porteranno ad avere un eccellente budget di crawling? In questi 5 passi ti spiegherò come intervenire on-site e off-site per far innamorare Googlebot.

  • Nota Bene: ricordati solo di non esagerare e non spingerti oltre il flirt. Probabilmente hai un partner (moglie/marito o fidanzata/o) e non vorrei venisse a bussarmi alla porta armato di cattive intenzioni visto che sono io che ti ho fatto conoscere queste tecniche :D.

#1 Questione di Qualità e Frequenza

Un sito fresco è un sito che piace a Google. Aggiornalo! La frequenza di pubblicazione è un fattore da non trascurare, ma non buttarti sulla quantità. Pubblica il giusto, ma che siano sempre contenuti di qualità.

Pubblicare aiuta a richiamare l’attenzione del bot, ma allo stesso modo aggiornare contenuti vecchi ti aiuta a rimanere sempre attraente.

#2 Snellisci e Ottimizza il Sito

Al bot non piace perdere tempo in percorsi inutili e fuorvianti, anzi molto spesso nei casi peggiori è costretto a passare attraverso percorsi addirittura dannosi.

Per questo sono assolutamente da evitare i casi di pagine del tipo:

  • Contenuti duplicati
  • Errori 404
  • Pagine Hackerate
  • Spam
  • Informazioni di servizio

Devi essere tu a indicare la strada migliore al bot, puoi farlo anche attraverso il file robots.txt dove puoi stabilire quelle pagine che Googlebot dovrà ignorare mettendole in noindex.

#3 Parametri URL

Pochi lo sanno, ma sulla search console esiste anche uno strumento utile a indicare al bot come gestire i parametri URL.

Se pensiamo a un e-commerce, per esempio, molto spesso il problema è quello di gestire le varianti di pagina tramite parametri. Su uno shop online l’utente può scegliere vari criteri per ordinare i prodotti:

  • Prezzo (crescente, decrescente)
  • Data (recente, meno recente)
  • Alfabetico (a – z / z – a)

In questo caso se non si vanno a gestire i parametri URL a dovere, si possono causare problemi di contenuto duplicato e inoltre si spende male il Crawl Budget perché Google scansiona più pagine del necessario ripassando più e più volte tra le stesse.

#4 Il ruolo dell’hosting

Crawl Budget e hosting sono molto correlati. Se fai in tempo a prenderti un caffè prima che le pagine del tuo sito vegano caricate a causa del server, allora potresti avere seri problemi con il Crawl Budget.

Se il bot ha la possibilità di leggere le pagine in maniera pratica e veloce lavorerà meglio e il webmaster avrà delle ottime risorse di crawl budget. Un buon hosting deve comprendere SSD, http/2 e ovviamente un buon up-time. A questo proposito, se cerchi un hosting performante ti consiglio di provare questo

#5 Fattore Off-Site: i link in entrata

Per chiudere voglio ricordare anche l’importanza dei link in entrata per fare in modo che Google e il suo algoritmo ti tengano nella giusta considerazione.

Grazie ai link in ingresso il tuo sito potrà acquisire trust e questo porta anche a un aumento indiretto del Crawl Budget.

Il consiglio per acquisire link in entrata resta sempre lo stesso: lavorare sulla qualità dei contenuti del sito affinché gli utenti e altri webmaster abbiano tante buone ragioni per linkare i tuoi contenuti.

Conclusioni sul Crawl Budget

E tu che Crawl Budget hai? In questa guida hai avuto modo di scoprire l’importanza di questo fattore piuttosto tecnico, ma fondamentale, per instaurare un rapporto prolifico con Google.

Il mio consiglio è di iniziare subito a lavorare sul tuo crawl budget: solo così puoi assicurarti che il motore di ricerca non trascuri il tuo sito!

Aspetta però, se non sei sicuro di dove mettere le mani per cominciare, affidati a un professionista che sappia implementare una strategia a 360° e ottimizzare al massimo il Crawl Budget per mettere le ali al tuo sito 🙂

Fai marketing ascoltando, non strillando.
Un abbraccio.

Scelti per te algoritmicamente

E se domani la SEO fosse rimpiazzata da Robot? Ieri parlavo con un Francesca, una ragazza che mi a ha contattato perché io l'aiutassi a far apparire il suo sito su Google. Voleva lanciare il suo pr...
Contenuti Duplicati & SEO: Conoscerli per sconfiggerli Cosa sono i Contenuti Duplicati?Eccoti subito una definizione di "contenuti duplicati", si tratta essenzialmente di contenuto che appare sul web in pi...
+16 cose da sapere se vuoi indicizzare un sito come farebbe un SEO Perché indicizzare un sito? Se vuoi guadagnare traffico dai motori di ricerca, ricevere contatti o magari vendere i tuoi prodotti o servizi devi assic...
Il potere degli Anchor Text: come ottimizzarli per influenzare Google Definizione di anchor text Per anchor text o testo d'ancoraggio s'intende l'elemento testuale che una volta cliccato consente all'utente di essere re...
Svelato: ecco che diamine fanno i SEO quando lavorano. Quante volte, su queste stesse pagine, ti ho parlato della Search Engine Optimization, ovvero della SEO? Insieme abbiamo visto le tecniche più efficac...
Google Tag Manager Questo articolo è stato scritto da Matteo Zambon, responsabile del progetto Tag Manager Italia. Come, non sai cos’è Google Tag Manager? Se non sai c...

Che mi racconti di bello?