Se il nome del tuo brand viene spezzato in frammenti senza significato dall'AI, per il modello è come se non esistessi. Non è un problema di autorità o di contenuti — è un problema meccanico che si verifica in 30 secondi e si può correggere. In questo articolo ti spiego come controllare se l'AI riesce fisicamente a 'vedere' il tuo brand e cosa fare se non ci riesce.
Stai investendo in contenuti, SEO, digital PR — eppure quando qualcuno chiede a ChatGPT di consigliare un brand nel tuo settore, il tuo nome non esce. Il problema potrebbe non essere la tua autorità o i tuoi contenuti. Potrebbe essere qualcosa di molto più basilare: il modo in cui l’AI legge fisicamente il nome del tuo brand.
I modelli di linguaggio non leggono le parole come noi. Le spezzano in frammenti chiamati token, e se il tuo brand viene frammentato in pezzi senza significato, per l’AI è come se non esistesse come entità.
Cos’è la tokenizzazione e perché decide se l’AI ti vede
Prima di generare qualsiasi risposta, un LLM come GPT-4 o Claude converte il testo in una sequenza di token — unità numeriche che il modello può processare. Alcune parole diventano un singolo token (“Apple” → 1 token), altre vengono spezzate in sotto-pezzi (“Pinalli Profumerie” → 4 token separati).
Se volessi approfondire ti consiglio un documento molto interessante di Zhao et al. del 2024), che a proposito dice testualmente:
“out-of-vocabulary (OOV) is a problem in this case because the tokenizer only knows words in its dictionary”
In parole semplici: se una parola non è nel vocabolario del tokenizer, viene spezzata in sotto-pezzi secondo un algoritmo statistico chiamato BPE, Byte-Pair Encoding e i pezzi risultanti – leggi bene qui – non hanno significato autonomo ma sono frammenti di byte e se ti stai chieddendo che significa la risposta è semplice: vengono ignorati.
Un esperimento indipendente lo conferma con dati ancora più netti:
“in the absence of tokenization, [transformers] empirically fail to learn the right distribution and predict characters according to a unigram model. With the addition of tokenization, however, transformers break through this barrier and are able to model the probabilities of sequences drawn from the source near-optimally”
(arxiv.org/abs/2404.08335)
La tokenizzazione insomma non è un dettaglio tecnico — è il passaggio che permette al modello di passare dal caos statistico al riconoscimento di pattern di cui tu DEVI far parte se vuoi essere rilevante.
E questo ti interessa eccome perché se il tuo brand non supera bene questo step, parte svantaggiato in tutta la catena.
Come funziona in pratica: BPE e il vocabolario del modello
I tokenizer moderni usano un algoritmo chiamato Byte-Pair Encoding (BPE). Il principio è semplice: durante l’addestramento, l’algoritmo conta le coppie di byte più frequenti nel corpus e le fonde in un token unico. Ripete il processo migliaia di volte, costruendo un vocabolario di circa 100.000 token (GPT-4 ne usa 100.277).
Una parola come “marketing” compare milioni di volte nel corpus di addestramento, quindi diventa un token unico. Ma “TecnoImpianti” non è mai apparsa abbastanza — BPE la spezza in frammenti: Tec|no|Im|pi|anti. Cinque token per un nome che dovrebbe essere un’unità.
Il punto cruciale per il tuo business: la tokenizzazione avviene prima che il modello inizi a ragionare. Quando il modello riceve la sequenza [Tec][no][Im][pi][anti], non sa ancora che quei 5 frammenti formano un brand. Deve ricostruire il significato dal contesto — e spesso non ci riesce, perché nel corpus di addestramento quei 5 token appaiono in quella sequenza troppo poche volte.
Il prima e dopo: numeri reali testati con tiktoken
Per capire l’impatto, guarda questi dati testati con tiktoken (GPT-4o, modello cl100k_base):
Brand a 1 token — “Nike”, “Google”, “Apple”, “Amazon”. Il modello li riconosce come unità singole. Quando deve generare una raccomandazione, li produce come un singolo blocco con alta probabilità. Sono nel vocabolario nativo.
Brand a 2 token — “Ferrari” (Ferr|ari), “Barilla” (Bar|illa), “HubSpot” (Hub|Spot). Ancora gestibili: il modello ha visto queste coppie abbastanza volte da assemblarle facilmente. Il costo computazionale è minimo.
Brand frammentati — “TecnoImpianti Soluzioni Industriali”: 9 token (Tec|no|Im|pi|anti|Sol|uzioni|Industrial|i). Il modello deve assemblare 9 frammenti in sequenza per produrre il nome completo. A ogni step, la probabilità condizionata del token successivo è bassa — il modello potrebbe deviare verso una sequenza più probabile (cioè un competitor con un nome a 2 token).
Un produttore di valvole industriali di Brescia potrebbe avere il miglior prodotto del mercato, ma se il suo brand viene frammentato in 9 token, l’AI gli preferisce un competitor con un nome più compatto. Non è giusto — è meccanica del modello.
Perché il problema OOV colpisce di più i brand italiani
Il vocabolario di GPT-4 è stato costruito prevalentemente su testo inglese. Le parole italiane composte, i nomi con prefissi latini, le ragioni sociali con “di”, “del”, “e” sono particolarmente penalizzate dal BPE perché non hanno frequenza sufficiente nel corpus.
Alcuni pattern ricorrenti che vedo nelle aziende italiane:
Nomi composti senza spazi — “AutomeccanicaRossi”, “ElettroserviceNord”. BPE non riconosce il compound e frammenta in modo imprevedibile. Lo stesso nome con uno spazio (“Automeccanica Rossi”) potrebbe tokenizzarsi meglio perché “Rossi” è un token noto.
Ragioni sociali lunghe — “Studio Associato Dott. Rossi & Partners Consulenza Tributaria” è il nome sulla visura camerale. Per l’AI è un muro di token frammentati. Il nome comunicativo (“Studio Rossi”) è probabilmente 2 token. Molti siti usano il nome legale completo nell’header, nel footer, nella pagina About — e l’AI lo vede ogni volta come una sequenza frammentata.
Sigle e acronimi — A volte la sigla viene tokenizzata meglio del nome esteso. “ENEL” è 1 token, “Ente Nazionale per l’Energia Elettrica” è 9. Se il tuo settore usa l’acronimo, spingi quello.
Gli errori che vedo più spesso
Ignorare le varianti. Il tuo brand ha probabilmente un nome lungo e un’abbreviazione. “Politecnico di Milano” e “PoliMi” hanno tokenizzazioni diverse. Se nel tuo settore tutti usano l’abbreviazione e tu spingi solo il nome lungo, l’AI associa l’abbreviazione ad altri e il nome lungo non lo genera perché è troppo frammentato.
Non testare mai. La maggior parte delle aziende non sa come il proprio brand viene tokenizzato. È un check di 30 secondi che nessuno fa — e che può spiegare mesi di invisibilità nelle risposte AI.
Usare varianti inconsistenti. Se il tuo sito dice “Digital Marketing Studio Rossi”, i social dicono “StudioRossi”, le directory dicono “Studio Rossi S.r.l.” e i comunicati stampa dicono “STUDIO ROSSI” — stai frammentando il segnale. L’AI impara dalle ripetizioni nel corpus: ogni variante diversa diluisce la frequenza della sequenza di token corretta.
Cosa fare concretamente
- Testa la tokenizzazione del tuo brand su tiktokenizer.vercel.app — seleziona il modello GPT-4 (cl100k_base), inserisci il nome esatto del tuo brand e conta quanti token produce. Un token = ottimo. Due = accettabile. Quattro o più = hai un problema.
- Testa tutte le varianti: nome completo, abbreviazione, acronimo, nome senza spazi. Spesso una variante più corta viene tokenizzata meglio. Se “Digital Marketing Studio Rossi” è 5 token ma “Studio Rossi” è 2, sai quale variante spingere nei contenuti.
- Confronta con i competitor: inserisci i nomi dei 3-5 brand che l’AI consiglia nel tuo settore e conta i loro token. Se loro sono a 1-2 token e tu sei a 4-5, hai trovato una delle ragioni strutturali per cui l’AI li preferisce.
- Verifica la consistenza: usa la stessa variante del brand ovunque — sito, social, directory, comunicati stampa. L’AI impara dalle ripetizioni. Se usi 4 varianti diverse, stai distribuendo la frequenza su 4 sequenze di token diverse invece di concentrarla su una.
- Considera il naming futuro: se stai lanciando un nuovo prodotto o sub-brand, testa la tokenizzazione prima di scegliere il nome. Un nome che il modello tokenizza come unità singola ha un vantaggio strutturale permanente.
La tokenizzazione nella catena della visibilità AI
Questo meccanismo è il primo anello di una catena. Dopo la tokenizzazione, il modello assegna una posizione a ogni token (positional encoding), poi decide quanto peso dare a ciascun token nel contesto (attention mechanism), e infine genera la risposta entro una finestra di contesto limitata (context window).
Se il tuo brand non supera bene il primo step — la tokenizzazione — tutti gli altri meccanismi partono con un segnale debole. È come presentarsi a un colloquio con il nome scritto male sulla targhetta: puoi essere il candidato migliore, ma parti in svantaggio.
Apri tiktokenizer.vercel.app oggi, inserisci il nome del tuo brand e controlla se viene riconosciuto come token unico o frammentato in pezzi. Ci vogliono 30 secondi e può spiegare mesi di invisibilità.
