Lo studio rivela che molti test premiano risposte errate o impossibili da dedurre
Immaginate un esame universitario dove metà delle domande contiene errori, le risposte “corrette” sulla chiave di valutazione sono sbagliate, e quel professore distratto continua a dare trenta e lode agli studenti che indovinano i suoi strafalcioni. Succede anche con l’intelligenza artificiale visiva. È la fotografia impietosa che emerge da uno studio appena accettato per la pubblicazione a ECCV 2026, una delle conferenze più autorevoli del settore: i benchmark usati per misurare quanto un modello capisca davvero quel che vede sono pieni di falle sistematiche. E stanno drogando le classifiche.
Il veleno nei dati
Lo studio, firmato da Qian Ma, S M Rayeed, Charles V. Stewart, Qiong Wu e Yao Ma, è un audit spietato dei dataset KB-VQA, quelli che dovrebbero testare la capacità di un modello di rispondere a domande visive usando conoscenza esterna. Il verdetto è secco: «Il nostro audit rivela numerosi casi di risposte mancanti o contraddette e domande sottospecificate che rendono fuorviante il parametro dell’accuratezza». In pratica, molti test di intelligenza visiva premiano risposte che non c’entrano nulla con la domanda, semplicemente perché l’etichetta “corretta” nel dataset è essa stessa errata o impossibile da dedurre.
Prendiamo InfoSeek, un dataset creato nel 2023 da ricercatori Google per testare domande di ricerca visiva che non possono essere risolte con il semplice buon senso, ma richiedono basi di conoscenza come Wikidata. Una porzione non trascurabile delle sue domande ha risposte annotate che non sono supportate dalla risorsa di conoscenza fornita. In altre parole, il foglio delle soluzioni è sbagliato. E il modello che risponde “giusto” secondo quel foglio sta solo replicando un errore di compilazione. Il problema non è confinato a InfoSeek: anche il dataset E-VQA mostra la stessa fragilità strutturale.
Non basta. Molte domande sono talmente vaghe da ammettere più risposte ragionevoli, perché non specificano la granularità attesa. Se chiedo “di che colore è l’auto nella foto” e l’immagine mostra una berlina blu scuro con dettagli cromati, la risposta potrebbe essere “blu”, “blu scuro”, “blu metallizzato”. Il benchmark ne accetta una sola. Le altre, pur corrette, contano come errore. O peggio: scene visivamente banali con una singola entità permettono ai modelli di azzeccare la risposta senza alcun ragionamento visivo sofisticato. Basta riconoscere un oggetto isolato su sfondo neutro, e Wikidata fa il resto. Così si gonfiano i punteggi senza che il modello abbia mai davvero mappato ciò che vede sulla conoscenza che possiede.
La classifica che non c’è
Quanto pesano questi difetti nella realtà? Tanto. I ricercatori dimostrano che, anche con architetture controllate, le falle dei benchmark distorcono attivamente le classifiche dei modelli e sovrastimano le loro capacità di ragionamento. Non è un problema cosmetico: la correzione e l’augmentazione dei dati producono tendenze di performance marcatamente diverse. Un modello che svettava nella classifica originale può scivolare in medio-bassa classifica una volta che le domande sono formulate correttamente e le risposte attese sono coerenti con la fonte di conoscenza. Un altro modello, dato per mediocre, potrebbe emergere come il più robusto.
La conseguenza è un gigantesco spreco di risorse. Alti punteggi nei benchmark potrebbero non riflettere una reale capacità di ragionamento, spingendo ricercatori e aziende a ottimizzare correlazioni spurie invece di far progredire la vera comprensione visiva dei modelli. Significa che mesi di lavoro e budget consistenti vengono investiti per scalare classifiche che misurano la bravura a superare un test sbagliato, non la capacità di rispondere a domande sensate su immagini complesse. Per uno sviluppatore che sceglie un modello da integrare in un prodotto, affidarsi a quelle classifiche è come scegliere un chirurgo in base ai punteggi di un videogioco di sala operatoria.
Non stiamo parlando di un bug marginale. Siamo di fronte a un vizio di progettazione che attraversa trasversalmente i principali dataset di knowledge-based visual question answering. L’articolo accettato a ECCV 2026 non si limita alla diagnosi: propone un intervento di riparazione e augmentazione dei benchmark, mostrando che risultati affidabili sono possibili, ma richiedono un’igiene dei dati che finora è mancata.
Riparare prima di correre
Non mancano i tentativi di costruire alternative più robuste. Il dataset M3-VQA, presentato sempre quest’anno, propone domande multi-entità e multi-hop, dove per rispondere bisogna collegare più oggetti nella scena e compiere più passaggi logici sulla conoscenza di sfondo. È un antidoto parziale alla banalità visiva denunciata dall’audit di Ma e colleghi, ma resta un’eccezione in un panorama dominato da benchmark che premiano la fortuna di centrare l’errore giusto nel foglio risposte.
Se non interveniamo su questo cortocircuito metodologico, continueremo a celebrare modelli bravi solo con i test, non con la realtà. Il problema non riguarda solo chi fa ricerca: qualunque azienda che oggi valuti l’adozione di un modello di visione artificiale dovrebbe chiedersi non “quanto è alto il punteggio”, ma “quanto è pulito il test su cui quel punteggio è stato ottenuto”. La vera affidabilità si verifica solo quando i benchmark smettono di barare. E i primi a dover smettere siamo noi, che quelle domande le scriviamo e quelle risposte le validiamo.
