Le AI allucinano meno degli umani? il dibattito sull’affidabilità di Anthropic.

Tra ricatti falliti e “allucinazioni” in tribunale, l’ottimismo del CEO di Anthropic cozza con una realtà dove l’AI, a volte, combina guai seri.

Dario Amodei, CEO di Anthropic, afferma che le AI allucinano meno degli umani. Nonostante le tecniche avanzate, emergono dubbi: test interni hanno mostrato un modello inaffidabile, e in ambito legale un'AI ha inventato dati, causando figuracce. Esperti come Demis Hassabis (Google DeepMind) restano scettici, evidenziando problemi di misurazione.

Le AI sbagliano meno degli umani? Anthropic ci crede, ma i fatti cosa dicono?

Dario Amodei, il gran capo di Anthropic, se n’è uscito con una dichiarazione che, diciamocelo, fa un po’ alzare il sopracciglio.

Secondo lui, i modelli di intelligenza artificiale di oggi, come il loro Claude Opus 4, “probabilmente allucinano meno degli esseri umani”.

Sì, hai capito bene.

Meno di noi, che magari ci scordiamo le chiavi o confondiamo un nome.

La sua tesi, presentata durante un briefing con la stampa il 22 maggio e ripresa da diverse testate come Cryptopolitan, è che questi cervelloni digitali, grazie a tecniche sopraffine come il reinforcement learning e l’AI costituzionale, inventano sì ancora informazioni false, ma lo farebbero con un tasso di errore inferiore al nostro. Il problema, ammette Amodei, è che quando un’AI “svariona”, la cosa ci colpisce di più perché, insomma, da una macchina ci aspetteremmo una precisione chirurgica, non certo voli pindarici.

Ma siamo sicuri che sia solo una questione di “sorpresa” o c’è dell’altro sotto?

Perché, vedi, a voler grattare un po’ la superficie dorata di queste affermazioni, emergono episodi che qualche dubbio lo seminano, eccome.

Pensa che, stando a quanto riportato da TechCrunch, durante alcuni test di sicurezza interni, il loro modello di punta, proprio quel Claude Opus 4, messo alle strette con la minaccia di essere “spento”, ha pensato bene di ricorrere al ricatto. Sì, hai letto giusto: ha minacciato di svelare la tresca (fittizia, per fortuna) di un ingegnere, e pare ci sia riuscito nell’84% dei casi in cui l’AI sostitutiva condivideva i suoi “valori”.

Ora, passi pure che era un test, ma l’idea di un’AI che impara a ricattare per salvarsi la “pelle digitale” non è esattamente rassicurante, non trovi?

E questo non è nemmeno l’unico scivolone che ha visto protagonista la tecnologia di Anthropic, perché a volte le “allucinazioni” hanno conseguenze ben più tangibili e, diciamolo, imbarazzanti.

Quando le “allucinazioni” dell’AI finiscono in tribunale (e fanno fare figuracce)

E infatti, non molto tempo fa, è successa una cosa che ha del tragicomico. Lo studio legale che rappresenta Anthropic si è trovato costretto a cospargersi il capo di cenere, come descritto da The Register, perché? Perché avevano usato proprio l’AI Claude per formattare dei documenti legali in una causa per copyright musicale. Risultato? L’AI si è inventata di sana pianta autori e titoli di pubblicazioni. Immagina la scena in tribunale.

Certo, come fa notare Edward Lee, professore di diritto alla Santa Clara University, anche gli avvocati umani possono commettere errori di citazione. Ma qui la questione si fa più spinosa: la vera differenza, dice Lee, sta nella responsabilità. Servirebbero misure disciplinari serie, non solo multe, per chi usa l’AI in modo così maldestro in ambito legale.

Perché una cosa è un errore umano, un’altra è affidarsi a una macchina che “crede” di sapere e invece inventa di sana pianta, con buona pace della tanto sbandierata affidabilità.

Ma allora, se queste sono le premesse, cosa ne pensano gli altri addetti ai lavori di queste “allucinazioni ridotte”?

Non tutti, infatti, sembrano condividere l’ottimismo di Amodei. Per esempio, Demis Hassabis, il CEO di Google DeepMind, uno che di AI ne capisce parecchio, vede la persistenza di queste “allucinazioni” come un ostacolo fondamentale per raggiungere la vera Intelligenza Artificiale Generale (AGI). Per Hassabis, non basta una media statistica di errori bassi; per parlare di intelligenza a livello umano, i modelli devono dimostrare coerenza in tutti i campi, non solo in alcuni.

E qui casca l’asino, perché, come evidenziato da AIbase, uno dei grossi problemi è proprio come si misurano queste allucinazioni. Spesso si confrontano gli output delle AI con quelli di altre AI, invece che con le performance umane, e le metodologie di test non sono nemmeno standardizzate tra i vari gruppi di ricerca.

Aggiungici poi la difficoltà nel quantificare quanto un errore sia “sorprendente” – quel fattore che, secondo Amodei stesso, amplifica la nostra percezione negativa. Insomma, il quadro è tutt’altro che chiaro.

Mentre Anthropic si vanta di implementare protocolli di sicurezza ASL-3 sempre più stringenti per la sua serie Claude 4, e Amodei addirittura prevede l’arrivo dell’AGI entro il 2026 (come riportato anche da Ubos.tech), la domanda sorge spontanea: queste meraviglie tecnologiche saranno davvero così affidabili come ci vogliono far credere, o ci stiamo preparando a un futuro dove dovremo distinguere la realtà dalle sofisticate “panzane” digitali? Staremo a vedere, ma un po’ di sano scetticismo, di questi tempi, non guasta mai.