Lo studio ha analizzato otto sistemi su due corpora diversi, dal GDPR alla legge civile francese
Westlaw AI-Assisted Research sbaglia in più di un caso su tre. Non è un bug isolato e non è una curiosità da laboratorio: è il sintomo di un problema strutturale, misurato con precisione dallo studio pubblicato lo scorso 14 agosto su arXiv. Lo studio ha analizzato otto sistemi di retrieval-augmented generation (RAG) legale — strumenti che prima recuperano testi giuridici e poi generano una risposta — su due corpora molto diversi tra loro: il GDPR in inglese e una legge civile nazionale in francese.
I risultati raccontano una promessa che non regge. Le allucinazioni restano pervasive: i tassi vanno da meno del 10% delle risposte per i sistemi migliori a quasi la metà nel caso peggiore. A rendere il problema concreto nei prodotti commerciali più diffusi contribuisce un’analisi separata condotta da Stanford RegLab/HAI: Lexis+ AI e Ask Practical Law AI hanno prodotto informazioni errate in più del 17% dei casi, mentre Westlaw AI-Assisted Research ha allucinato in oltre il 34% dei casi. Un’affermazione legale sbagliata una volta su tre non è un margine accettabile: è il fallimento della funzione per cui questi strumenti vengono venduti.
Un caso su tre: i numeri che smontano la promessa
Il dato più incriminante non è la singola percentuale, ma il modo in cui lo studio costruisce il confronto. Non un solo prodotto e non una sola giurisdizione: otto sistemi e due corpi normativi diversi, per capire se l’affidabilità è occasionale o sistematica. La risposta è la seconda. Anche il numero migliore — meno di una risposta sbagliata su dieci — in ambito legale è difficile da difendere, perché una citazione inventata non è un errore di sfumatura: può diventare un atto processuale o una clausola contrattuale falsa.
Il divario tra i sistemi è ampio, e questo ha una conseguenza pratica: l’utente non può trattare la ricerca giuridica automatizzata come una fonte già verificata. I numeri, va ricordato, non vengono dalle schede prodotto dei fornitori ma da test indipendenti. Ma perché questi errori si ripetono anche quando le domande sono formulate da esperti? La risposta non sta nella superficialità di chi interroga, ma nel modo in cui i modelli gestiscono le premesse false.
Il punto cieco: quando la domanda contiene già l’errore
La domanda lasciata in sospeso non è retorica. Il benchmark ClaimRAG-LAW — uno standard multilingue e multi-giurisdizione per valutare i sistemi RAG legali attraverso una valutazione a livello di singola affermazione — è progettato proprio per verificare le affermazioni, non solo per controllare se la risposta finale sembra plausibile. È qui che emerge il punto cieco: le domande con premesse false, quelle che contengono assunzioni errate che il sistema dovrebbe rifiutare, producono alti tassi di allucinazione sulle domande redatte manualmente.
Il fenomeno non è un’anomalia da laboratorio. Lo studio ha validato i risultati su un set indipendente di 142 domande scritte da esperti legali. Se un sistema fallisce quando dovrebbe dire «la premessa è falsa», il problema non è più solo tecnico: è già entrato nelle aule di tribunale. La ricerca giuridica automatizzata vende velocità e completezza; il test misura l’opposto, cioè quante volte quella velocità produce risposte non vere.
Mata v. Avianca: l’allucinazione diventa un precedente
Il caso Mata v. Avianca ha già mostrato che gli errori generativi non restano confinati ai test: i professionisti legali lo descrivono come un caso storico, ed è diventato un precedente ripreso in successive sentenze sull’abuso di IA generativa. Viene citato come prova che le allucinazioni legali hanno conseguenze serie.
L’effetto è una responsabilità che si sposta: non è più solo questione di accuratezza tecnica, ma di obbligo professionale di verifica. La domanda che resta aperta non è se l’IA legale fallirà, ma chi sarà ritenuto responsabile quando fallisce. Per chi pubblica contenuti legali il messaggio è diretto: se un sistema può inventare una citazione, la fonte verificabile torna a valere più di qualsiasi risposta fluida.
Le allucinazioni non sono un incidente di percorso ma un dato strutturale. Per chi pubblica contenuti legali, la citazione verificabile torna a essere il vero vantaggio competitivo.
