Il file pensato per i modelli linguistici è stato richiesto solo 157 volte contro le oltre 13mila richieste del robots.txt
Tra il 27 luglio e il 15 agosto 2026, il server di dejan.ai ha registrato 13.442 richieste al suo robots.txt da parte dei crawler di Google, Anthropic e OpenAI. Nello stesso periodo, il suo llms.txt — il file pensato apposta per rendere i contenuti più leggibili ai modelli linguistici — è stato richiesto 157 volte. Un rapporto di 86 a 1. Lo racconta il censimento dei log di dejan.ai, pubblicato la scorsa settimana.
Un dettaglio aiuta a leggere i numeri con cautela: la registrazione di questi file è iniziata il 27 luglio 2026, quindi la finestra effettiva è di 20 giorni, non 30 come indicato nel censimento. Il quadro, comunque, non cambia di molto.
86 a 1: i crawler AI snobbano llms.txt
Considerando solo i tre grandi attori — Google, Anthropic e OpenAI — il bilancio è ancora più sbilanciato: i loro crawler hanno recuperato robots.txt 1.150 volte, llms.txt 4 volte e il bundle OKF 23 volte. Quattro richieste in tutto, per il file che dovrebbe essere la porta d’ingresso dei modelli linguistici. Non si tratta di un calo: è una quasi totale indifferenza.
C’è un secondo segnale che pesa più del conteggio. Le tre richieste di llms.txt arrivate da Googlebot non sono state seguite da alcuna richiesta di pagina dagli stessi indirizzi IP. In pratica, il crawler di Google ha scaricato il file e poi non è andato oltre. Non è un comportamento che incoraggia a investire tempo nella redazione di quel file.
La domanda a questo punto è quasi scontata: perché un formato progettato per gli LLM viene ignorato proprio dagli LLM?
Il paradosso di un formato nato per le macchine e ignorato dalle macchine
Per capirlo bisogna ripartire da cosa sono questi formati. Il file /llms.txt è un file markdown che fornisce informazioni di base e indicazioni, con collegamenti a file markdown più dettagliati, come si legge nella documentazione pubblicata da Answer.AI. L’OKF v0.1, promosso da Google Cloud, rappresenta la conoscenza come una directory di file markdown con frontmatter YAML. Entrambi nascono con la stessa promessa: rendere i contenuti più facili da leggere per i sistemi di intelligenza artificiale. Una promessa sensata, sulla carta.
I fatti raccontano un’altra storia. A maggio 2026, uno studio di Ahrefs ha rilevato che il 97% dei file llms.txt non ha ricevuto alcun traffico. Non poco traffico: zero richieste. Nel censimento di dejan.ai, sull’intera finestra di venti giorni, il bundle OKF ha totalizzato 2.841 richieste contro le 157 di llms.txt: perfino l’altro formato dedicato alle macchine va meglio. L’attenzione dei crawler si concentra altrove.
Nel frattempo, il mercato dei crawler si è ristrutturato in fretta. Già tra maggio 2024 e maggio 2025, i dati raccolti da Cloudflare mostrano che GPTBot di OpenAI è passato dal 5% al 30% di quota, diventando il crawler AI dominante, mentre Meta-ExternalAgent è entrato direttamente con il 19%. Chi pubblica ha a che fare con attori che aggiornano strategie e priorità in tempi rapidi. E la priorità, almeno per ora, non è llms.txt.
Il paradosso è tutto qui: un formato nato per le macchine, documentato, promosso dalle stesse aziende che sviluppano i modelli, viene ignorato dalle macchine stesse. Se l’attenzione dei crawler si concentra altrove, l’investimento in file dedicati rischia di valere poco.
Cosa resta da fare per chi pubblica
Resta da capire come muoversi senza sprecare risorse. I segnali suggeriscono di non scommettere su formati che i crawler non cercano, ma di presidiare ciò che consultano davvero: robots.txt, in primo luogo, che continua a essere la mappa con cui i crawler orientano le proprie richieste. Il prossimo controllo, per chi pubblica, non sarà sul file — sarà sul traffico.
Chi pubblica deve smettere di rincorrere formati che i crawler non cercano: la visibilità passa ancora da ciò che le macchine leggono davvero — e oggi non è llms.txt.
