I crawler AI hanno timeout più aggressivi di Google: la tua pagina è abbastanza veloce?

La tua pagina si carica in 4-5 secondi? Per Googlebot può ancora andar bene, per i crawler AI è già fuori tempo. Sistemi come Perplexity hanno timeout più aggressivi di qualsiasi motore di ricerca tradizionale — se la pagina non risponde entro soglia, viene scartata, non retrocessa. Non è un problema di ranking, è un problema di accesso: o entri nel retrieval o non esisti. LCP sopra i 2 secondi, interstitial che bloccano il rendering, pagine costruite solo client-side: tre criticità che si misurano gratis e si correggono con priorità chiara. Ti spiego come ottimizzare la page experience specificamente per i bot AI.

Hai ottimizzato il sito per i Core Web Vitals, il punteggio PageSpeed è verde, Google ti premia con un buon ranking. Poi chiedi a Perplexity di consigliarti nel tuo settore e non esci. Il problema potrebbe non essere il contenuto. Potrebbe essere che il crawler di Perplexity ha provato a leggere la tua pagina, ha aspettato, e dopo qualche secondo ha rinunciato.

Non retrocesso. Scartato. È una differenza enorme.

I motori AI generativi che fanno retrieval in tempo reale — Perplexity, Bing Chat, i sistemi agentic più recenti — non hanno la pazienza di Googlebot. Googlebot crawla, indicizza, e poi valuta con calma. Un sistema RAG in real-time ha un budget di tempo stretto: deve recuperare la pagina, estrarre il contenuto, passarlo al modello e generare una risposta. Tutto in pochi secondi. Se la tua pagina ci mette troppo a servire il contenuto, il sistema passa alla fonte successiva. Non ti penalizza — ti ignora.

Pagine ottimizzate: il dato che cambia la prospettiva

Volpini et al. nel 2026 hanno pubblicato un paper che mette nero su bianco il rapporto tra qualità tecnica della pagina e accuratezza dell’AI nel estrarre informazioni. Il risultato più significativo riguarda l’impatto delle pagine ottimizzate sul retrieval:

“Enhanced pages achieved +29.6% accuracy improvement for standard RAG and +29.8% for the full agentic pipeline.”Volpini et al., 2026

Quasi il 30% di accuratezza in più. Non stiamo parlando di un miglioramento marginale — è la differenza tra una risposta che ti include con il dato corretto e una risposta che ti cita sbagliando o non ti cita affatto.

E il punto cruciale è cosa significa “enhanced” in questo contesto. Non è contenuto migliore. È contenuto servito meglio: formattazione pulita, struttura chiara, rendering veloce. La qualità dell’informazione può essere identica, ma se la pagina la consegna in modo più efficiente, il sistema la usa con più precisione.

Perché il formato conta più di quanto pensi

C’è un dato nello stesso paper che a prima vista sembra controintuitivo, ma che ha implicazioni dirette su come dovresti pensare al tuo sito:

“The agent provides substantial lift on poorly formatted documents but when document format is optimized, the agent adds negligible accuracy lift.”Volpini et al., 2026

In parole semplici: quando la pagina è ben formattata, il sistema RAG base riesce a estrarre le informazioni correttamente senza bisogno di un agente AI sofisticato che faccia il lavoro sporco. L’agente serve come compensazione quando il documento è un disastro — ma se il formato è già ottimizzato, l’agente non aggiunge quasi nulla.

Da questo segue una deduzione operativa importante: una pagina tecnicamente ottimizzata viene letta correttamente dal sistema più semplice e veloce. Non ha bisogno del pipeline agentico completo, che richiede più tempo e più risorse. Questo significa che la tua pagina ha più probabilità di essere inclusa nella risposta, perché il sistema può processarla nel suo budget di tempo standard senza ricorrere a passaggi aggiuntivi.

Meno link, stessa qualità: l’efficienza del crawler

Il terzo dato del paper di Volpini et al. chiude il cerchio e rivela un comportamento che dovresti considerare attentamente:

“Agents using enhanced pages achieved remarkable efficiency: they follow fewer links while maintaining performance.”Volpini et al., 2026

Quando le pagine sono ottimizzate, gli agenti AI seguono meno link per ottenere lo stesso risultato. Questo è il segnale più importante per capire come ragionare sulla page experience in chiave AI.

Un crawler AI con un budget di tempo limitato ha anche un budget di navigazione limitato. Può seguire un certo numero di link prima di dover restituire un risultato. Se la tua pagina è ben strutturata e il contenuto è immediatamente accessibile, il crawler ottiene quello che gli serve al primo tentativo. Se la tua pagina è lenta, richiede rendering JavaScript pesante o nasconde il contenuto dietro interazioni, il crawler deve lavorare di più — e potrebbe decidere che non ne vale la pena.

Questo non è il comportamento di Google, che ha settimane per crawlare e ricrawlare. Questo è il comportamento di un sistema che deve rispondere in tempo reale a una domanda dell’utente. La differenza di contesto cambia tutto.

Pensaci: se un utente chiede a Perplexity “quali aziende offrono il servizio X?”, il sistema deve recuperare, leggere e sintetizzare informazioni da più fonti in pochi secondi. Non ha il lusso di tornare domani. Se la tua pagina richiede più tempo delle altre per consegnare il contenuto, sei tu quello che viene tagliato — non perché il tuo contenuto sia peggiore, ma perché il sistema ha trovato risposte equivalenti da fonti più veloci.

Cosa rallenta davvero una pagina per un crawler AI

Qui devo essere specifico, perché i colli di bottiglia per un crawler AI non sono esattamente gli stessi di quelli per un utente umano. Tu potresti avere un sito che carica bene per chi lo visita da mobile — ma che è un muro per un bot che cerca di estrarre testo strutturato in due secondi.

Rendering JavaScript client-side. Se il tuo contenuto principale viene caricato da JavaScript dopo il primo render, un crawler tradizionale potrebbe non eseguirlo affatto. Googlebot esegue JavaScript — ma con ritardo. Un crawler AI in real-time potrebbe non farlo, o farlo con un timeout molto più stretto. Se il tuo testo principale dipende da React, Angular o Vue senza server-side rendering, quel contenuto potrebbe semplicemente non esistere per il crawler.

Interstitial e overlay. Banner cookie a pagina intera, pop-up di iscrizione, overlay promozionali. Per un utente sono fastidiosi. Per un crawler che cerca di estrarre il contenuto principale, sono rumore che si sovrappone al segnale. Nel migliore dei casi il crawler li ignora. Nel peggiore, estrae il testo dell’interstitial invece del contenuto reale.

LCP superiore ai 2 secondi. Il Largest Contentful Paint è il momento in cui il contenuto principale è visibile. Se supera i 2 secondi, sei già nella zona critica per i timeout dei crawler AI. Non parlo di un target aspirazionale — parlo di una soglia operativa sotto la quale il sistema potrebbe decidere di non aspettarti.

Layout instabile (CLS alto). Un Cumulative Layout Shift alto significa che la pagina si muove durante il caricamento. Per un sistema che tenta di estrarre contenuto in una posizione specifica del DOM, uno shift può significare estrarre il blocco sbagliato.

Catene di redirect. Ogni redirect aggiunge latenza. Un redirect è tollerabile, tre sono un problema. Un crawler AI con un budget di tempo già stretto non vuole spendere mezzo secondo a seguire rimbalzi tra URL prima di arrivare al contenuto. E se la catena include un redirect da HTTP a HTTPS (ne ho parlato nell’articolo sul protocollo HTTPS), aggiungi un passaggio che potrebbe essere evitato con una configurazione corretta del server.

Il check da fare questa settimana

Apri PageSpeed Insights e guarda i tuoi Core Web Vitals — non per il punteggio complessivo, ma per i singoli valori. LCP sotto i 2 secondi, CLS vicino allo zero, niente interstitial che coprano il contenuto nei primi secondi. Questo è il minimo.

Poi fai un test più mirato: disattiva JavaScript nel browser e ricarica le tue pagine principali. Se il contenuto sparisce, hai un problema serio con i crawler AI. Il testo che vuoi far leggere al sistema deve essere nel HTML iniziale, non iniettato dopo.

Infine, prova a far analizzare le tue pagine da Perplexity. Chiedi qualcosa di specifico che è scritto solo sul tuo sito. Se Perplexity riesce a recuperare l’informazione, il crawler la raggiunge. Se non ci riesce — e l’informazione è chiaramente presente sulla pagina — il problema è tecnico.

Questi check ti danno una direzione, ma l’analisi completa di come i crawler AI interagiscono con il tuo sito richiede strumenti e competenze che vanno oltre il self-check. Ogni sito ha colli di bottiglia diversi, e trovarli richiede un’analisi tecnica dedicata.

Il filo che collega tutto: dalla credibilità tecnica alla visibilità

La page experience per l’AI non è un tema isolato. È parte di un sistema di segnali tecnici che i motori AI valutano prima ancora di leggere il tuo contenuto. Se la pagina non si carica in tempo, non importa quanto sia buono quello che hai scritto. Se si carica ma il contenuto è dietro JavaScript, il crawler non lo vede. Se lo vede ma la struttura è caotica, l’estrazione è imprecisa.

Ho scritto una serie di approfondimenti su questi segnali tecnici per aiutarti a costruire un sito che l’AI riesce effettivamente a leggere: dal protocollo HTTPS come segnale di fiducia, alla crawlability per i bot AI che determina cosa il sistema può raggiungere, fino al markup semantico che guida l’estrazione del contenuto e alla content freshness che dice al modello se i tuoi dati sono ancora attuali.

Ogni pezzo conta. E la page experience è il primo filtro: se non lo superi, il resto non viene nemmeno valutato.

Roberto Serra

Mi chiamo Roberto Serra e sono un digital marketer con una forte passione per la SEO: Mi occupo di posizionamento sui motori di ricerca, strategia digitale e creazione di contenuti.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Quanto è visibile il tuo brand per le AI? Analizza il tuo brand