Le regole del digitale stanno cambiando.
O sei visibile o sei fuori. Noi ti aiutiamo a raggiungere i clienti giusti — quando ti stanno cercando.
Contattaci ora →
Dietro l’etichetta “Googlebot” si cela un’infrastruttura complessa con centinaia di crawler non documentati, sollevando interrogativi sulla trasparenza e sul controllo dei dati web.
Google ammette una verità scomoda: 'Googlebot' nasconde una rete di centinaia di crawler, la maggior parte non documentati. La giustificazione ufficiale, legata a un presunto 'spazio prezioso' sulla pagina per sviluppatori, appare poco credibile e solleva seri dubbi sulla trasparenza, spiegando finalmente le misteriose attività di scansione notate da anni dai professionisti del settore.
Googlebot è solo la punta dell’iceberg: ecco la rete nascosta di crawler
Se hai sempre pensato a Googlebot come a un unico, grande esploratore che naviga il web per conto di Google, preparati a rivedere le tue convinzioni. Diciamocelo, è un’immagine rassicurante, quasi poetica, ma la realtà è ben diversa.
E a dircelo, questa volta, sono proprio due pezzi da novanta di Google, Gary Illyes e Martin Splitt, che in un recente podcast hanno alzato il sipario su un’infrastruttura di crawling molto più intricata e, per certi versi, oscura di quanto si potesse pensare.
La verità è che “Googlebot” è un nome che si porta dietro dai primi anni 2000, quando effettivamente esisteva un solo crawler per un solo prodotto. Oggi, come descritto su Search Engine Journal, quel nome è solo un’etichetta di comodo.
Dietro si nasconde un sistema complesso, una specie di servizio interno a cui i vari team di Google possono attingere tramite API per richiedere dati dal web, specificando parametri come user agent e tempi di risposta.
Una semplificazione innocente o una strategia per mantenere le cose volutamente opache?
Ma la vera sorpresa non è tanto l’architettura, quanto il numero di attori che si muovono dietro le quinte, spesso a nostra insaputa.
Centinaia di crawler fantasma e la giustificazione (poco convincente) di Google
Illyes ha sganciato la notizia senza troppi giri di parole: esistono dozzine, se non centinaia, di crawler interni che operano per i più svariati prodotti di Google, ma solo una minima parte è documentata ufficialmente.
E la motivazione?
Preparati, perché suona quasi come una barzelletta: la pagina per gli sviluppatori dove vengono elencati i crawler ha uno “spazio prezioso” e, quindi, si preferisce non affollarla con quelli minori che non scansionano troppo la rete.
Diciamocelo, una motivazione che lascia un po’ il tempo che trova.
Stiamo parlando di una delle aziende più potenti al mondo che, a quanto pare, è preoccupata per lo spazio su una pagina web. La procedura, infatti, sembra più reattiva che proattiva: un crawler viene documentato solo se la sua attività supera una certa soglia e fa scattare un allarme interno. Fino a quel momento, per noi, è praticamente un fantasma che si aggira sui nostri server.
E se pensi che la questione si fermi qui, ti sbagli.
Perché c’è un’altra distinzione tecnica, apparentemente noiosa, che in realtà apre le porte a un controllo ancora più granulare da parte loro.
Crawler e fetcher: due facce della stessa medaglia (che tu non vedi)
All’interno di Google si fa una distinzione netta tra crawler e fetcher.
I primi sono sistemi automatici che operano in modo continuo, scansionando URL senza una fretta particolare. I secondi, invece, sono controllati da un utente, da qualcuno all’altro capo che sta aspettando una risposta in tempo reale.
Questo significa che quando vedi un’attività anomala nei log del tuo server, potrebbe non essere la solita scansione di routine, ma un’azione mirata e su richiesta, magari legata a servizi come AdWords o a qualche nuovo prodotto sperimentale.
Questa rivelazione, per quanto tardiva, getta finalmente un po’ di luce su quelle misteriose attività di scansione che tanti professionisti SEO e proprietari di siti notano da anni senza trovare una spiegazione logica.
Ora sappiamo che non si tratta di un unico “Googlebot”, ma di un’intera flotta di strumenti che operano nell’ombra, ognuno con i propri scopi.
La trasparenza, però, è un’altra cosa.
Sapere che ci sono centinaia di “occhi” non dichiarati che scrutano il nostro lavoro ci ricorda, ancora una volta, chi detta davvero le regole del gioco.
Ammirevole. Centinaia di crawler segreti da aggiungere al calcolo delle nostre inutili fatiche quotidiane. La nostra professione acquista di giorno in giorno maggior prestigio.
@Carlo Benedetti Il nostro “prestigio” è quello del topo che corre nella ruota, mentre centinaia di scienziati prendono appunti dietro a un vetro, ridacchiando della nostra inutile dedizione al lavoro.
@Fabio Fontana Il paradosso è che paghiamo noi per la ruota e le crocchette. Ci lamentiamo del sistema, ma continuiamo a ungerne gli ingranaggi. Siamo complici, non solo vittime del loro gioco.
La vera notizia sarebbe stata la trasparenza. Questi sono i soliti giochetti. Alla fine, l’unica cosa che conta è il dato pulito che ne esce.
La scusa dello “spazio prezioso” è quasi tenera, una premura che commuove. Peccato che mentre loro risparmiano byte, noi bruciamo budget cercando di interpretare le mosse di un avversario che gioca con centinaia di carte coperte. E noi dovremmo fare previsioni.
@Noemi Barbato Previsioni? Loro non giocano, dettano condizioni. Il nostro budget finanzia la loro opacità.
Che la loro scusa sia una supercazzola è palese, ma il punto è che il banco vince sempre e noi ci dobbiamo solo adeguare. Alla fine, è un dato di fatto con cui tocca convivere.
@Giorgio Martinelli Se il banco non mostra le carte, come si gioca? Lavorare così è impossibile e mi fa solo venire il panico.
Ci trattano da scemi con ‘sta storia dello spazio. Il punto è il controllo totale.
Questa scusa dello spazio sulla mappa per nascondere un esercito mi pare così fragile che non la userei neanche per una bozza, anche se poi magari sono io che vedo complotti dietro ogni pixel.
La vera notizia non sono i crawler, ma la giustificazione ridicola. Un test per misurare quanto in basso sia la nostra soglia di attenzione. Apparentemente, molto in basso.
@Giulia Martini La tua lettura sulla loro scusa mi pare azzeccata, perché dimostra una palese mancanza di rispetto che, alla fine della fiera, non fa altro che confermare il solito pattern.
La giustificazione dello “spazio prezioso” è quasi più comica della scoperta stessa, che per chiunque analizzi i log non è una novità. Fa comodo chiamare paranoia la semplice osservazione dei fatti.