Cosa significa recuperare immagini composte (e perché a zero‑shot)
La sigla ZS‑CIR (Zero‑Shot Composed Image Retrieval) indica proprio questo: recuperare immagini “composte” senza aver addestrato il modello su coppie precise di domanda e risposta. La sfida non è nuova. Fu Pic2Word, un modello di Google Research presentato alla CVPR 2023, a introdurre formalmente il compito, mostrando che si poteva ottenere un buon risultato usando soltanto coppie immagine‑didascalia debolmente etichettate e raccolte di immagini non etichettate. Nessuna costosa raccolta di triplette fatte a mano. L’idea di base: il sistema impara a rappresentare il contenuto di una foto e a “fabulare” un testo nella stessa lingua visiva, così che la combinazione di un’immagine e un comando testuale produca un vettore di ricerca sensato. Il risparmio è evidente per chi deve gestire cataloghi enormi — un e‑commerce di moda, una banca di immagini mediche, un archivio di brevetti — dove chiedere a un team di annotatori di costruire migliaia di triplette è semplicemente fuori scala.
Negli anni successivi altri metodi (CIRCO, SEARLE) hanno affinato la tecnica, ma tutti hanno seguito la stessa traccia: apprendono una rappresentazione visiva e una testuale che si adattano a una regola di composizione decisa a tavolino. Si tratta spesso di “iniezione di pseudo‑parole” — l’equivalente di aggiungere un vocabolo artificiale al vocabolario del modello per rappresentare il testo di modifica — oppure di operazioni aritmetiche nello spazio dei vettori. Funziona, ma ha un limite: quella regola fissa è la stessa per tutti i tipi di richiesta, mentre la composizione giusta per “cambia il colore del divano” può essere diversa da quella per “sostituisci lo sfondo con un tramonto”.
Il trucco di FoCo: imparare a comporre, invece di usare formule fisse
Qui entra in gioco FoCo, e la sua anomalia. Gli autori sostengono che FoCo è il primo approccio ZS‑CIR a considerare la composizione come una procedura appresa, anziché un’operazione predefinita. Invece di dire “la modifica testuale va sempre applicata in questo modo algebrico”, il modello impara una catena di due passaggi coordinati: prima si concentra sugli elementi visivi che contano per la modifica, poi completa la semantica dell’immagine desiderata. Nel linguaggio del paper, “modelling composition as two coordinated stages: focusing on modification‑relevant visual content, and then completing the target semantics”. Tradotto in pratica: se l’utente chiede un vestito “uguale ma a maniche lunghe”, il modello non cerca semplicemente di aggiungere la parola “maniche lunghe” al vettore del vestito di partenza; impara invece a isolare la parte “maniche” dell’immagine, capire cosa significhi allungarle, e infine riempire i dettagli mancanti. La funzione di composizione non è più un binario fisso, ma si adatta al tipo di modifica.
Il risultato è un salto di generalizzazione che i benchmark confermano (ci arriviamo dopo), ma prima vale la pena notare un dettaglio che differenzia FoCo dai “cuginetti” precedenti. Pic2Word e simili avevano architetture in cui il testo di modifica veniva proiettato in modo indipendente e poi sommato; CIRCO raffinava con meccanismi di attenzione ma manteneva una regola pre‑impostata. FoCo, invece, si appoggia su un meccanismo di apprendimento end‑to‑end della composizione, il che significa che durante l’addestramento il modello non sta solo migliorando le rappresentazioni, ma sta proprio plasmando come avviene la fusione. È questo che permette di gestire richieste più sottili, come “la stessa borsa, ma in nappa nera” piuttosto che “la stessa borsa, ma senza tracolla”.
Numeri e limiti di un modello ancora in fase di ricerca
Il paper riporta risultati all’avanguardia su quattro diversi benchmark di ZS‑CIR, con un miglioramento della capacità di generalizzare a categorie di oggetti o a comandi testuali mai visti durante l’addestramento. Il dato è incoraggiante, ma va tenuto a terra con due considerazioni. Primo: è un risultato su benchmark, cioè su collezioni di immagini accuratamente bilanciate e con domini ben definiti. Il passaggio a un catalogo reale, magari con foto scattate in condizioni di luce variabile e da smartphone di bassa gamma, è tutta un’altra partita. Secondo: non siamo di fronte a un prodotto, ma a un articolo scientifico. FoCo è stato accettato a ECCV 2026 — la conferenza si terrà in autunno — e solo allora si potrà discutere con i ricercatori di tempi di inferenza, consumo di risorse e robustezza fuori dai laboratori.
Per chi oggi vende o distribuisce immagini — dagli e‑commerce alle agenzie fotografiche, fino ai tool di design generativo — il valore di FoCo sta nel principio più che nell’applicazione immediata. Dimostra che si può abbandonare la camicia di forza delle regole fisse e iniziare a costruire sistemi di ricerca flessibili senza dover rietichettare mezza azienda. La direzione, insomma, è quella di motori di ricerca capaci di capire “quasi come farebbe un grafico umano” senza però aver avuto un esercito di annotatori alle spalle. Rispetto a tre anni fa, quando Pic2Word accese i riflettori sullo zero‑shot, il progresso è tangibile. Resta da vedere se qualcuno trasformerà il prototipo in un servizio accessibile, perché tra un paper e una barra di ricerca integrata in un gestionale, di solito, passano molti più giri di vite di quanto non faccia intuire la sola efficacia sui test.
Nel frattempo, un imprenditore curioso che si affaccia al mondo dell’AI search può prendere nota: non serve promettere la luna ai clienti, ma sapere che esistono alternative all’approccio “etichetta‑tutto‑e‑poi‑incrocia”. Metodi come FoCo ricordano che, a volte, il salto non sta nel moltiplicare i dati, ma nel cambiare il punto di vista con cui li si guarda.
Fabulare” è solo un modo elegante per dire “tirare a indovinare”, scaricando il costo dell’errore sul cliente che poi gestisce il reso. Applausi per l’efficienza. Mi chiedo quando l’esperienza umana tornerà ad essere una metrica di valutazione per queste tecnologie.
Affidare il catalogo a un cantastorie artificiale è il nuovo modo per misurare la pazienza.
Paola Pagano, la pazienza è un problema dell’utente, non del sistema. L’errore è un costo di training. Se il margine di profitto regge, la frustrazione del cliente diventa solo un suo problema.
Il sistema “fabula”. Magnifico. Già immagino le tonnellate di resi perché l’IA ha “interpretato” i colori dei prodotti. Un altro problema venduto come la soluzione definitiva.
Che il sistema impari a “fabulare” senza dati curati a mano è una svolta mica male, specialmente per chi ha cataloghi sterminati e zero budget per il tagging. Questo sblocca un botto di possibilità, ma resta il dubbio sulla sua reale comprensione del contesto visivo.
Questa tecnologia è un grande aiuto per lo shopping visivo. Permette di trovare prodotti con una precisione nuova. Mi chiedo però chi decida le regole di questa “lingua visiva”. Potrebbe orientare le nostre scelte.
Eva Fontana, la “lingua visiva” sarà decisa dal miglior offerente. Preparo già il portafoglio.
Eva Fontana, le regole le scriviamo noi con le nostre ricerche. È un coro, non un solista. Perché vedere sempre un burattinaio dietro le quinte?
Il “zero-shot” è un’elegante scusa per la mancanza di dati puliti. Genera rumore, non valore. Quando inizieremo a parlare di validazione seria?
Luciano D’Angelo, il rumore è il segnale. Validare cosa, esattamente? L’efficienza con cui catalogano i nostri dubbi per il prossimo ad-targeting mirato?
Mentre voi vi preoccupate dei brevetti, io ci venderò l’ennesima borsa di lusso.
Questa fabulazione costruisce ponti su abissi di dati. Affidiamo il recupero a un architetto cieco. Chi ha verificato le fondamenta di queste strutture?
Il sistema ‘fabula’. Perfetto per la moda, un disastro per i brevetti. La precisione?
Un’allucinazione statistica chiamata creatività. Questo burattino non ha fili, solo calcoli. Dove ci porta?
@Walter Benedetti Ci porta dove il burattino, oltre a trovare immagini, le suggerisce per manipolare le nostre percezioni. E se fossimo noi il prossimo catalogo?
Un altro modo per fabbricare bisogni. Non ricerca immagini, suggerisce acquisti. Chissà quali nuove insoddisfazioni ci regalerà.
Un sistema che “fabula” vettori sembra la base per un archivio di impeccabile precisione.
@Giuseppina Negri Una precisione impeccabile per comporre il carrello della spesa altrui. Chissà quali immagini deciderà di non mostrarci mai.
@Sebastiano Caputo Concentrarsi solo sul controllo algoritmico è deprimente. La vera domanda è chi scriverà le regole di questa nuova visibilità. E con quali valori.
@Renato Graziani Le regole non definiranno solo la visibilità, ma la desiderabilità stessa di un oggetto o un’idea. Il sistema non organizza il visibile, lo produce ex novo, orientando il gusto di massa. La vera domanda è quanto ne saremo consapevoli.
Giuseppina Negri, una precisione basata su fabulazioni. Top. Ci cataloghiamo diagnosi errate o direttamente le prove processuali?
Un’intelligenza che ‘fabula’ vettori è l’ideale per cataloghi che necessitano di una precisione letale.
Lasciamo perdere i cataloghi di moda, la vera applicazione sarà la sorveglianza predittiva. Trovare una persona da un dettaglio della sua giacca e una descrizione vaga. Un sogno per alcuni, un incubo programmato per altri.
Concentrarsi sul risparmio è come guardare il dito mentre la luna indica la vera preda: la nostra semantica del desiderio. Non addestrano modelli per indicizzare prodotti, ma per addestrare noi a desiderare. Siamo diventati noi il catalogo da etichettare.
Lasciate stare il risparmio dei colossi, il punto è se questa roba ci toglie finalmente la sbatta di cercare per ore. Ne dubito forte.
Il risparmio per i giganti della vendita è il solito specchietto per le allodole; si sta costruendo un occhio digitale che non solo cataloga prodotti, ma che un giorno ci cercherà ovunque con la stessa facilità.
Il risparmio sui cataloghi è la solita, palese motivazione. Stiamo costruendo archivi più intelligenti o soltanto meno costosi per chi li gestisce?