Lo studio ha confrontato il giudizio umano con cinque modelli su dialetti egiziano e iracheno
Quattro giudici su cinque sono troppo buoni. E anche il più severo — GPT-5.4 di OpenAI — si perde quando la domanda smette di essere lingua e diventa cultura. Lo scorso 2 luglio, uno studio pubblicato su arXiv ha messo alla prova cinque modelli linguistici nel ruolo di valutatori automatici di risposte in arabo generate da altre macchine. Il responso è scomodo per chiunque sviluppi o utilizzi modelli per il mondo arabofono: quei giudici non sono affidabili. E il punto in cui vacillano di più è proprio quello che conta — la cultura.
Il disegno dello studio è semplice nel principio, ambizioso nell’esecuzione. I ricercatori hanno preso un insieme di domande in arabo — concentrate sui dialetti egiziano e iracheno — e hanno fatto valutare le risposte sia da un panel di esperti umani sia da cinque modelli linguistici di grandi dimensioni. Il giudizio umano è stato usato come termine di paragone, il cosiddetto «gold standard». Poi hanno misurato quanto ciascun giudice automatico si discostasse da quel riferimento.
Giudici indulgenti e il paradosso della cultura
Il dato più controintuitivo è il primo: quattro modelli su cinque sono sistematicamente troppo generosi. Sovrastimano la qualità delle risposte rispetto al metro umano, con uno scarto che va dal +2,01% al +6,56% in termini di errore con segno. In pratica, danno voti più alti di quanto meriterebbero. Solo GPT-5.4 mostra un errore vicino allo zero (-1,12%), ma questo non significa che sia preciso: il suo scarto medio assoluto dal giudizio umano resta di 10,21 punti percentuali. Tradotto: anche il giudice migliore sbaglia di oltre dieci punti ogni cento, in una direzione o nell’altra. Per chi deve decidere se un modello arabo funziona o no, dieci punti di margine sono uno spazio in cui ci passa un prodotto mediocre scambiato per buono.
Poi c’è il secondo dato, quello che apre la crepa più profonda. I compiti culturali sono più difficili da valutare di quelli puramente linguistici per tutti i giudici, senza eccezioni. Il divario nell’errore medio assoluto tra le due categorie va da 1,83 a 4,78 punti percentuali a seconda del modello. Significa che quando la domanda tocca riferimenti sociali, norme implicite, pratiche condivise da una comunità linguistica — in breve, quando non basta controllare la grammatica — la macchina arranca. E arranca in modo strutturale, non occasionale.
Il labirinto culturale: dall’egiziano all’iracheno, la macchina si perde
La ragione di questo scarto ha un nome preciso: ragionamento culturale implicito. Lo studio lo identifica come la principale modalità di fallimento per tutti i giudici automatici. Non è un problema di vocabolario o di sintassi. È qualcosa di più sottile: la capacità di simulare il giudizio di un parlante nativo in situazioni che richiedono conoscenze non esplicitate nel testo. Per valutare se una risposta è adeguata in arabo egiziano — non solo corretta, ma appropriata — servono coordinate che un dataset di addestramento tradotto dall’inglese semplicemente non contiene.
Qui entra in gioco un problema già noto a chi lavora con l’arabo. Una survey pubblicata dal Technology Innovation Institute aveva già indicato il disallineamento culturale nei dataset tradotti come una delle falle più serie nello sviluppo di modelli per l’arabo. Tradurre una domanda dall’inglese all’arabo non la rende automaticamente sensata per un parlante del Cairo o di Baghdad. E quando quei dataset tradotti vengono usati per addestrare o valutare un modello, l’effetto a cascata è un giudice che non sa riconoscere una risposta culturalmente fuori luogo.
I numeri dello studio di arXiv lo confermano con un dettaglio che fa riflettere: i modelli ottengono risultati significativamente migliori sui prompt in arabo egiziano rispetto a quelli in arabo iracheno. La disparità è netta. Significa che anche all’interno del mondo arabofono ci sono dialetti — e quindi intere comunità di parlanti — per cui la valutazione automatica è meno affidabile. Non è una questione di complessità linguistica intrinseca: l’arabo iracheno non è «più difficile» dell’egiziano in astratto. Il punto è che i dati di addestramento disponibili rappresentano alcune varietà molto più di altre, e i giudici ereditano questa distorsione.
Del resto, il benchmark PalmX 2025 — il primo tentativo strutturato di misurare la competenza culturale araba e islamica nei modelli linguistici — aveva già mostrato che il problema esiste. Lo studio di arXiv ha ristretto il campo ai dialetti egiziano e iracheno aggiungendo un elemento decisivo: la validazione di esperti umani. È proprio quel confronto con il giudizio di persone in carne e ossa, parlanti native e competenti sul piano culturale, che ha fatto emergere quanto i giudici automatici siano fuori bersaglio. Senza quel termine di paragone, i punteggi dei modelli sembrerebbero solidi. Con il termine di paragone umano, si sgretolano.
L’Ada Lovelace Institute, in un’analisi sul disallineamento culturale dei modelli linguistici, è arrivato alla stessa conclusione: il ragionamento culturale implicito è la modalità di fallimento principale. Non è un bug che si risolve con più dati.
È una caratteristica strutturale di modelli che non hanno vissuto, né possono vivere, l’esperienza culturale che serve per giudicare certi contenuti.
Chi vince (e chi perde) nella corsa all’arabo
Mentre i giudici automatici arrancano, i modelli arabi corrono. LLM-X di Arabic.AI svetta con l’86,3% nella classifica HELM Arabo curata da Stanford CRFM, e lo scorso dicembre ha ottenuto i punteggi più alti su benchmark che spaziano da AlGhafa a EXAMS, da MadinahQA ad AraTrust. Il miglior modello open-weight, Qwen3 235B di Alibaba, si è fermato a un punteggio medio di 0,786. Numeri che raccontano una competizione vivace e un ecosistema in crescita. Ma visto alla luce dello studio sui giudici automatici, quel 86,3% merita una domanda: chi lo ha assegnato? E quanto è stato generoso? Lo sviluppo di modelli arabi è un’opportunità reale per colmare divari tecnologici e servire comunità finora trascurate dai grandi modelli occidentali. Ma senza valutazioni che reggano al confronto con il giudizio umano, si rischia di costruire per un arabo di plastica — corretto in superficie, vuoto sotto.
Per chi pubblica contenuti in arabo, per chi sviluppa assistenti virtuali o motori di ricerca destinati a mercati arabofoni, il messaggio è chiaro. L’unica certificazione che conta, almeno per ora, è il giudizio di un esperto umano. Le macchine possono aiutare, possono accelerare, possono dare una prima approssimazione. Ma se la domanda tocca la cultura — e in arabo la tocca quasi sempre — il giudice automatico è uno specchio deformante. E fidarsi di uno specchio deformante, quando si tratta di entrare in un mercato da centinaia di milioni di persone, è un lusso che nessuno può permettersi.
