Il nuovo benchmark TW-LegalBench raccoglie 16.000 domande da cinque anni di esami ufficiali in diciotto ambiti professionali
Un modello linguistico supera la soglia per diventare avvocato qualificato a Taiwan, ma non quella per diventare giudice o pubblico ministero. E quando gli si chiede di indicare l’articolo di legge esatto, comincia a inventare. Non è un’anomalia: è il dato centrale del nuovo benchmark TW-LegalBench, il benchmark sul diritto taiwanese, presentato lo scorso giugno su arXiv.
Il benchmark raccoglie oltre 16.000 domande a scelta multipla da cinque anni di esami ufficiali in 18 ambiti professionali. Il risultato: i modelli migliori superano la soglia di passaggio per gli avvocati qualificati, fissata all’11%, ma restano sotto quella per giudici e pubblici ministeri, tra l’1 e il 2 per cento. In apparenza, un paradosso: stessi modelli, stesso dominio, due esiti opposti.
Avvocati sì, giudici no: il dato che smonta l’ottimismo
Il modo in cui TW-LegalBench è costruito rende il confronto più severo di quanto sembri. Le domande arrivano da esami ufficiali, non da quiz costruiti a tavolino. Coprono diciotto domini professionali e cinque anni di prove: abbastanza per evitare che un modello impari a memoria un formato e basta. Eppure, lo stesso sistema che supera la prova per avvocato non regge quella per giudice e pubblico ministero, dove la soglia di passaggio è più bassa in percentuale ma il livello di competenza richiesto è più alto.
Perché accade? La risposta non sta nei modelli, ma nei dati con cui sono stati addestrati. Ed è qui che il benchmark rivela una lacuna meno visibile.
Il benchmark che mancava: diritto taiwanese vs common law
Prima di TW-LegalBench non esisteva un benchmark legale taiwanese su larga scala. Anzi: il primo benchmark legale taiwanese su larga scala è esattamente questo. I benchmark dominanti — LegalBench, le sezioni legali di MMLU, LawBench — sono costruiti su materiali di common law o in inglese, oppure in cinese semplificato. Il sistema di diritto civile di Taiwan, in cinese tradizionale, restava fuori.
Le risorse precedenti erano limitate. TMLU, una suite di valutazione olistica per LLM in mandarino taiwanese, comprende 37 materie ma include solo un anno di domande dell’esame per avvocati. TMMLU+ raccoglie alcuni test standardizzati su diritto finanziario e revisione contabile. Niente di paragonabile a un corpus di oltre 16.000 domande su cinque anni e diciotto domini. Il paragone diretto di TW-LegalBench è LEGALBENCH, costruito collaborativamente con 162 task e sei tipi di ragionamento legale: il benchmark di riferimento inglese e di common law.
Il vero rischio: l’allucinazione con la toga
E qui arriviamo al punto che tocca chiunque usi o pubblichi contenuti legali generati da intelligenza artificiale. Nella previsione delle decisioni giudiziarie, i modelli mostrano una ragionevole accuratezza nel tipo di verdetto e nella previsione della sentenza. Ma faticano a citare articoli di legge esatti. È un segnale di rischio di allucinazione: il sistema produce un esito plausibile, ma non sa indicare la norma che lo giustifica.
Il contesto aiuta a capire la portata del problema. Secondo uno studio precedente, GPT-4 resta il modello con le migliori prestazioni nel dominio legale, superando gli altri con un margine significativo. Se anche il modello più forte fatica sulle citazioni, il problema non è di un singolo prodotto ma della generazione di testi giuridici in generale.
Non si tratta di scartare gli LLM. I ricercatori osservano che l’integrazione di corpora legali locali migliora in modo significativo le prestazioni dei modelli nel contesto taiwanese. Il punto è che servono dati specifici per giurisdizione e per dominio: non basta un modello generale addestrato su internet.
Il benchmark non è una sentenza definitiva. È un avvertimento su cosa succede quando un modello deve produrre testo legale reale: può superare un test a crocette, ma la vera prova è citare il comma giusto.
Per chi pubblica contenuti legali o usa l’AI come supporto giuridico, il messaggio è chiaro: i benchmark globali non bastano. Servono dati locali, verifica umana delle citazioni e la consapevolezza che una risposta corretta in apparenza può nascondere una norma inventata. La prossima frontiera non è passare l’esame: è indicare l’articolo giusto.
