I crawler AI “saccheggiano” il tuo blog, ma preferiscono la home page

Tre studi mostrano che i crawler visitano soprattutto la home page, mentre il blog viene letto per raccogliere informazioni da utilizzare nelle risposte generate dall’IA

Tre ricerche mostrano come i crawler AI esplorano i siti web e perché la tua home page riceve molta più attenzione del tuo blog.
Ecco qual è il ruolo dei contenuti informativi, come ChatGPT seleziona le fonti e quali strategie aiutano a migliorare la visibilità nei motori di ricerca basati sull'intelligenza artificiale.

Ma quindi la mia home conta più del blog che aggiorno ogni settimana?

Me lo ha chiesto un cliente la settimana scorsa, con la faccia di chi si aspettava un no e invece si è preso un sì piuttosto netto. Gli ho risposto che, nell’epoca dell’AI Search, non solo conta di più, ma conta molto di più!

Attento però, questo non significa che il blog abbia perso importanza.

Al contrario, continua a essere fondamentale perché è il luogo in cui l’intelligenza artificiale capisce chi sei, cosa fai e su quali argomenti hai competenza. La differenza è che home page e blog svolgono ruoli diversi.

Lo dico perché lavoro tutti i giorni con siti che vogliono essere citati dall’IA, e questa domanda me la sento fare in continuazione da imprenditori che hanno investito mesi su articoli e guide, convinti che fosse quella la strada per farsi notare da ChatGPT o da Gemini.

Tre studi usciti di recente, uno di Andy Crestodina di Orbit Media basato su 560.000 richieste di crawler AI, uno di Chris Green sui meccanismi di ricerca di ChatGPT e uno di Profound sulla frequenza ideale di monitoraggio, raccontano una realtà diversa da quella che quasi tutti immaginano.

E se anche tu gestisci un sito, vendi un servizio o un prodotto online e ti stai chiedendo perché l’intelligenza artificiale non ti cita mai come vorresti, questa storia ti riguarda direttamente.

Chi legge davvero il tuo sito? E chi invece si limita a guardare la vetrina

Partiamo dai dati, perché qui servono e sono parecchi. Andy Crestodina, cofondatore di Orbit Media Studios, ha analizzato oltre 560.000 richieste di crawler AI raccolte su 74 siti web attraverso i report di Cloudflare, quello strumento che tiene traccia di ogni bot che passa a curiosare tra le tue pagine.

Il risultato: le home page ricevono circa 15 volte più attenzione di qualsiasi altra tipologia di pagina.

Pensaci un attimo. Se il tuo sito avesse cento pagine tutte uguali per importanza, ciascuna dovrebbe ricevere più o meno la stessa fetta di attenzione. Invece la home page, da sola, si mangia una porzione sproporzionata della torta, lasciando le briciole a pagine di servizio, articoli, pagine “chi siamo” e persino ai case study di cui vai tanto fiero.

È come organizzare una festa e scoprire che tutti gli invitati restano piantati davanti all’ingresso a guardare la porta, ignorando il buffet che hai preparato nel salone.

Cyrus Shepard, fondatore di Zyppy (l’ho intervistato qui, se ben ricordi), ha commentato questo dato dicendo che molti editori sottovalutano il potenziale della propria home page, delegando informazioni preziose a pagine secondarie come quelle di supporto o gli articoli del blog.

E se ci pensi, ha ragione lui. Quante volte hai passato ore a scrivere un articolo perfetto lasciando che la tua home page dicesse ancora “Benvenuti nel nostro sito” seguito da uno slogan generico che potrebbe appartenere a chiunque?

Lo studio suggerisce anche che le dimensioni del sito contano, con una correlazione dello 0,86 tra numero di pagine totali e attenzione ricevuta dai crawler. Insomma, più pagine hai, più punti di ingresso offri alle domande degli utenti.

Alcuni siti piccoli, però, riescono a ottenere attenzioni sproporzionate rispetto alla loro dimensione, probabilmente grazie a contenuti meglio ottimizzati o a un brand già solido nella memoria dei modelli.

Il fenomeno della “Dark Library”, dove i tuoi articoli finiscono a morire in silenzio

Qui arriva la parte che, da consulente SEO, trovo particolarmente ironica.

Gli articoli del blog vengono letti e utilizzati moltissimo dall’intelligenza artificiale per costruire le proprie risposte, ma quasi mai generano una visita reale sul sito.

Crestodina lo ha battezzato “Dark Library Effect”, l’effetto biblioteca oscura.

No, non immaginarti scaffali pieni di libri di Stephen King e Lovecraft!

Te la dico semplice: praticamente l’AI entra, prende quello che le serve, e se ne va senza lasciare neanche una piccola mancia. I tuoi contenuti diventano materiale di consultazione invisibile, letto da milioni di conversazioni ma citato raramente con un link cliccabile.

Le pagine di servizio e prodotto, al contrario, generano quasi tre volte più traffico referral per pagina rispetto a un tipico articolo. La home page da sola arriva a produrre in media 1.459 visite referral, contro le 34 delle pagine di servizio e cifre ben più modeste per tutto il resto.

Il motivo è piuttosto intuitivo se ti metti nei panni di chi cerca informazioni: se vuoi sapere come funziona la fotosintesi, ti basta la risposta dell’AI e chiudi la conversazione soddisfatto.

Se invece stai valutando un fornitore per la tua azienda, la risposta ti dà una rosa di candidati ma poi vuoi vederci chiaro con i tuoi occhi, quindi clicchi.

Questo significa che il tuo blog non è tempo sprecato, anzi.

Serve a insegnare all’AI chi sei e cosa sai fare, contribuisce alla tua reputazione digitale e alla percezione della tua competenza. Solo che non aspettarti che porti clienti diretti come farebbe la pagina dei tuoi servizi. Sono due lavori diversi, con obiettivi diversi, e trattarli allo stesso modo è come pretendere che il manuale di istruzioni venda il prodotto al posto della vetrina del negozio.

C’è anche un altro dettaglio che riguarda l’architettura del sito.

I crawler AI sono disposti a scavare in profondità, arrivando anche a tre o quattro cartelle di distanza dalla home page, ma quando si tratta di mandare visitatori il loro entusiasmo crolla rapidamente.

Una pagina sepolta a tre livelli di profondità riceve solo un quarto del traffico che la sua importanza lascerebbe presagire, mentre a quattro livelli il traffico si avvicina allo zero.

La morale è semplice: se hai una pagina davvero importante, tienila vicina alla home page, non seppellirla in un dedalo di sottocartelle come un tesoro che nessuno troverà mai.

ChatGPT non usa sempre la stessa fonte, e questo cambia tutto

Ora arriviamo a una domanda che probabilmente ti sei fatto anche tu, specialmente se vuoi essere visibile nei motori AI.

ChatGPT cerca sempre nello stesso modo?

Chris Green ha provato a rispondere analizzando circa diecimila esecuzioni basate su mille prompt diversi, ripetuti dieci volte ciascuno per osservare eventuali cambiamenti.

Il risultato è che ChatGPT si appoggia principalmente a un sistema di recupero chiamato Labrador (te ne ho parlato qui), usato nell’88,1% dei casi osservati. Ma in una fetta non trascurabile di richieste, circa il 12%, il sistema passa ad altre fonti di recupero come Bright Data, Oxylabs o SERP.

Sembra poco, lo so, ma quando cambia la fonte cambiano radicalmente anche i siti citati nella risposta: la sovrapposizione degli URL crolla di circa il 45% e quella dei domini del 42%.

Tradotto in parole povere, non esiste un solo ChatGPT che consulta il web, ma più ecosistemi di ricerca che si alternano a seconda del tipo di domanda.

I prompt su temi evergreen ed educativi tendono a restare su Labrador, mentre le domande su eventi recenti, normative o argomenti che richiedono aggiornamento continuo spingono il sistema verso Bright, Oxylabs o SERP.

Questo significa che ottimizzare per ChatGPT non è un’operazione unica e definitiva, ma un bersaglio mobile che cambia a seconda di quale motore di recupero viene interpellato quella volta specifica.

Un po’ come cercare di accontentare un cliente lunatico con mille personalità diverse (situazione non così rara, a essere sinceri…).

Quante volte devi controllare la tua visibilità per avere dati affidabili

Stai già monitorando quanto il tuo brand viene citato dalle risposte AI, immagino.

Ecco, allora probabilmente ti sei chiesto: devo controllare ogni ora? Ogni giorno? Dieci volte al giorno per stare tranquillo?

Profound ha condotto un esperimento su scala enorme, oltre 5.200 configurazioni di prompt distribuite su ChatGPT, Gemini, Perplexity, Microsoft Copilot, DeepSeek e Google AI Mode, confrontando una rilevazione al giorno con dieci rilevazioni giornaliere per due settimane consecutive, generando complessivamente quasi sette milioni di esecuzioni.

Il quesito di partenza dei ricercatori era semplice: dieci controlli al giorno restituiscono davvero un’immagine più precisa rispetto a uno solo?

La risposta, sorprendente per chi pensava che ripetere ossessivamente le query fosse la strada giusta, è che una misurazione al giorno si avvicina già moltissimo al risultato ottenuto con dieci misurazioni.

La differenza tra le due cadenze si aggira intorno ai 2 punti percentuali per la visibilità del brand, mentre per la quota di citazioni la differenza scende addirittura a 0,3 punti. Ripetere dieci volte al giorno migliora la precisione della visibilità di appena l’11%, un guadagno che difficilmente giustifica lo sforzo e il costo aggiuntivo.

Dove invece ripetere le query paga qualcosa in più è sulla quota di citazioni, quella percentuale che misura quanto le fonti citate dall’AI puntino proprio ai tuoi contenuti.

Qui dieci esecuzioni al giorno riducono il rumore statistico di circa il 40%.

Ma anche in questo caso, buona parte del movimento residuo non dipende dalla casualità del modello, bensì dal fatto che le piattaforme stesse cambiano continuamente, aggiornando modelli, infrastrutture e il modo in cui recuperano informazioni dal web. È un rumore di fondo che nessuna quantità di misurazioni ripetute riuscirà mai ad azzerare del tutto.

Il dato più interessante, forse, riguarda la scelta dei prompt da monitorare.

La composizione del paniere di domande incide sui risultati molto più della frequenza con cui li ripeti, specialmente per la quota di citazioni.

In pratica, prima di chiederti quante volte al giorno controllare la tua visibilità, dovresti chiederti se stai facendo le domande giuste. Una query mal costruita, ripetuta cento volte al giorno, ti darà comunque cento risposte poco significative.

Le AI premiano la chiarezza, non l’ambiguità

L’AI Search sta cambiando il modo in cui i contenuti vengono trovati e utilizzati, ma una cosa mi sembra sempre più evidente: i modelli di intelligenza artificiale lavorano meglio quando trovano informazioni esplicite.

Le AI recuperano e citano con maggiore facilità fatti precisi, dati concreti e affermazioni ben definite rispetto a descrizioni generiche o ambigue.

Per questo motivo credo che oggi sia ancora più importante scrivere contenuti chiari e informativi. La qualità continua a fare la differenza, come è emerso dall’intervista di Malte Landwehr.

Negli ultimi anni Google e Bing hanno rafforzato i sistemi che individuano contenuti creati in massa (come l’AI slop che sta inondando il web) o eccessivamente ottimizzati. Riempire un sito di pagine prodotte soltanto per comparire nelle risposte dell’AI può dare qualche risultato iniziale, ma difficilmente rappresenta una strategia sostenibile in ottica GEO.

Eh sì, perché quando gli algoritmi riconoscono contenuti poveri di valore, la visibilità tende a diminuire rapidamente.

La regola, quindi, resta la stessa: scrivere prima di tutto per le persone.

Un testo ben organizzato, autorevole, facile da leggere e realmente utile funziona sia nei motori di ricerca tradizionali sia nei sistemi basati sull’intelligenza artificiale. L’AI non premia contenuti incomprensibili o costruiti artificialmente per gli algoritmi. Premia informazioni che riesce a comprendere e considerare affidabili, come ci ha detto anche Emilia Gjorgjevska durante la nostra chiacchierata.

Anche la misurazione dei risultati richiede un cambio di prospettiva. Oggi non esiste ancora un metodo perfetto per attribuire il valore generato dall’AI Search. Guardare soltanto i click provenienti da ChatGPT, Gemini o Perplexity significa osservare solo una parte del fenomeno.

Molti utenti leggono una risposta, memorizzano il nome di un’azienda e qualche ora o qualche giorno dopo digitano direttamente il brand su Google oppure visitano il sito senza passare dal chatbot. Questo effetto è reale, ma molto difficile da attribuire con precisione.

Per questo motivo preferisco osservare più indicatori contemporaneamente. La crescita della visibilità del brand nelle risposte AI è importante, così come l’aumento delle citazioni, delle ricerche di marca, del traffico proveniente dagli LLM e dei dati raccolti nei log dei crawler AI. Anche confrontare questi segnali con l’andamento del traffico diretto può offrire indicazioni utili.

Nessuna metrica, però, è sufficiente da sola. È l’insieme dei dati che permette di capire se una strategia sta funzionando davvero.

C’è poi un aspetto che viene spesso sottovalutato: il contesto delle citazioni.

Essere menzionati non basta. Conta soprattutto il modo in cui un marchio viene descritto. Un brand potrebbe comparire frequentemente nelle risposte dell’AI, ma essere associato a informazioni imprecise, confronti sfavorevoli o caratteristiche negative. In questo caso la visibilità aumenta, ma la reputazione rischia di peggiorare.

Alla fine, non credo che l’AI Search imponga di ripensare completamente la SEO. Piuttosto, ne amplia il raggio d’azione verso quello che oggi viene comunemente definito GEO (Generative Engine Optimization), cioè l’ottimizzazione dei contenuti e della presenza online per i motori di risposta basati sull’intelligenza artificiale.

Le fondamenta restano le stesse: SEO tecnica, contenuti di qualità, autorevolezza e un brand coerente su tutto il web.

La vera differenza è che oggi i sistemi di intelligenza artificiale contribuiscono anche a costruire la reputazione di un’azienda. Per questo SEO, branding, digital PR e analisi dei dati non possono più procedere separatamente, ma devono diventare parti della stessa strategia GEO.

Se vuoi capire come applicare tutto questo al tuo sito, come aumentare sia la visibilità nei motori di ricerca tradizionali sia la probabilità di essere citati dai motori generativi, contatta la nostra agenzia SEO e GEO.

---

I crawler AI leggono il tuo blog ma preferiscono la home page: domande frequenti

Perché i crawler AI visitano soprattutto la home page?

La home page concentra le informazioni principali sul brand, sui servizi offerti e sull’identità del sito. Secondo i dati analizzati, riceve circa quindici volte più attenzione rispetto alle altre tipologie di pagina e rappresenta anche una delle principali destinazioni del traffico proveniente dai sistemi di intelligenza artificiale.

Il blog è ancora utile per ottenere visibilità nelle risposte dell’AI?

Sì. Gli articoli del blog aiutano i sistemi di intelligenza artificiale a comprendere le competenze, gli argomenti e l’autorevolezza di un brand. Spesso vengono letti e utilizzati per generare risposte, ma producono meno click rispetto alla home page e alle pagine dedicate a prodotti o servizi.

Quante volte al giorno bisogna monitorare la visibilità di un brand nei motori AI?

Nella maggior parte dei casi è sufficiente eseguire una rilevazione al giorno. Ripetere le stesse query dieci volte offre miglioramenti limitati. La qualità e la rappresentatività dei prompt incidono sui risultati molto più della frequenza con cui vengono eseguiti.