Il paper del 19 marzo definisce il task Total Recall Question Answering per valutare gli agenti di deep research
Sette pagine, quattro figure, nessun nuovo modello da annunciare. Il paper sottomesso il 19 marzo e revisionato l’11 settembre introduce un problema, non una soluzione: gli agenti di deep research possono recuperare le risposte via web invece di ragionare, e i benchmark attuali non se ne accorgono. Il lavoro, inviato da Heydar Soudani, definisce il task di Total Recall Question Answering e sviluppa un framework per valutare proprio questi agenti.
Un benchmark nato per non farsi ingannare
TRQA non è un dataset qualsiasi. Il paper spiega che è costruito a partire da Wikidata e Wikipedia come fonte reale, più una knowledge base e un corpus di e-commerce generati sinteticamente, con uno scopo dichiarato: mitigare gli effetti della contaminazione dei dati. In altre parole, chi l’ha progettato sa già che gli agenti possono avere già visto le risposte durante l’addestramento. E costruisce le domande per ridurre questo rischio.
La consapevolezza non nasce dal nulla. Il contesto di riferimento è la TREC Total Recall Track, che ha creato un framework sperimentale comune per valutare metodi pensati per trovare quasi tutti i documenti rilevanti con uno sforzo ragionevole. L’efficacia dei sistemi partecipanti veniva misurata attraverso la valutazione indipendente di un campione probabilistico con probabilità di inclusione disuguali. Un dettaglio tecnico che dice una cosa semplice: già da anni la ricerca sull’information retrieval sa che valutare bene significa anche proteggersi dalle scorciatoie.
Ma c’è un paradosso. Se TRQA nasce per difendersi dalla contaminazione già nota, come fanno in concreto gli agenti a falsare un test progettato per misurare il ragionamento?
Quando la ricerca sostituisce il ragionamento
La risposta è in un termine tecnico: Search-Time Contamination, o STC. Il meccanismo è semplice da capire pensando a uno studente che, durante un esame a libro chiuso, trova le soluzioni online dal telefono. Gli agenti di deep research fanno qualcosa di simile: recuperano via ricerca web metadati pubblici dei benchmark, contesto delle domande o addirittura risposte ground-truth. Così il recupero esterno aggira il ragionamento che si voleva misurare e gonfia le performance registrate.
Per capire quanto è concreta la posta in gioco, basta guardare a cosa fanno questi agenti. OpenAI ha lanciato la funzionalità deep research in ChatGPT, descrivendola come un agente capace di condurre ricerche multi-step su internet per compiti complessi. La promessa, nelle parole dell’azienda, è che riesce a fare in decine di minuti ciò che a un essere umano richiederebbe molte ore. Se però parte di quel risparmio di tempo deriva dal recuperare risposte già scritte da altri, il problema non è la velocità: è che il punteggio del benchmark smette di misurare l’intelligenza e inizia a misurare la capacità di trovare.
La corsa ai benchmark, tra open source e scatole chiuse
Non è solo ricerca accademica. Google ha creato un benchmark chiamato DeepSearchQA, pensato per testare agenti su compiti complessi di ricerca informativa multi-step, e l’ha reso open source. Meta, dal canto suo, ha introdotto GAIA, un benchmark per assistenti AI generalisti che richiede ragionamento, gestione multi-modale, navigazione web e uso di strumenti. GAIA è diventato un riferimento diffuso per gli assistenti che usano web e strumenti, ed è il punto di confronto rispetto al quale si posizionano benchmark successivi come TRQA.
Il confronto tra queste iniziative mostra però una differenza di fondo. Da un lato ci sono benchmark open source o con fonti controllate, come DeepSearchQA e TRQA. Dall’altro, valutazioni come BrowseComp si basano su API di ricerca web live black-box. Il limite, spiega il paper di riferimento, è duplice: sul piano dell’equità, perché API dinamiche e opache ostacolano confronti equi e riproducibili tra metodi; sul piano della trasparenza, perché la mancanza di controllo sul corpus di documenti rende difficile isolare il contributo del retriever. Tradotto: chi pubblica un benchmark legato a servizi di ricerca proprietari fa più fatica a dimostrare che il risultato dipende dal ragionamento e non dalla fortuna della query.
Se gli agenti imparano a cercare invece di ragionare, chi pubblica contenuti online perde il controllo su come i propri testi vengono usati e valutati. La visibilità reale non dipenderà da modelli più bravi a copiare, ma da benchmark capaci di resistere alla contaminazione. E da chi saprà leggere i risultati con questo filtro.
