Le regole del digitale stanno cambiando.
O sei visibile o sei fuori. Noi ti aiutiamo a raggiungere i clienti giusti — quando ti stanno cercando.
Contattaci ora →
L’IA di Google fornisce risposte mediche imprecise e potenzialmente letali, sollevando dubbi sulla sua affidabilità e sulla responsabilità del colosso tecnologico
La fiducia in Google per le ricerche sulla salute è messa a rischio dalle sue AI Overviews. Un'indagine ha rivelato come quasi metà delle risposte mediche siano imprecise o letali, ma la reazione di Big G è parziale. In un Far West normativo, la responsabilità per i consigli errati dell'IA rimane un'incognita, lasciando gli utenti pericolosamente soli.
Quando l’IA di Google diventa un pericolo per la salute
Diciamocelo senza troppi giri di parole: la situazione è preoccupante.
Un’indagine approfondita ha scoperchiato il vaso di Pandora, rivelando che le risposte fornite dall’IA di Google in ambito medico non sono solo imprecise, ma in alcuni casi potenzialmente letali.
Stiamo parlando di consigli su diete specifiche per pazienti con cancro al pancreas o interpretazioni errate di esami del sangue per il fegato, errori che un medico vero non commetterebbe mai (almeno si spera!).
La ricerca di Ahrefs ha evidenziato che quasi la metà delle query mediche analizzate (per la precisione, il 44,1%) presentava problemi di accuratezza, con informazioni fuorvianti o palesemente sbagliate.
Di fronte a un disastro del genere, ti aspetteresti una risposta rapida, decisa e soprattutto trasparente da parte di un colosso come Google.
E invece, la reazione che è arrivata solleva ancora più dubbi di quanti ne risolva.
La toppa è peggio del buco? la reazione di Big G
Messa di fronte a prove così schiaccianti, Google ha fatto quello che sa fare meglio: una mezza ammissione con una soluzione parziale. Ha rimosso alcuni di questi riassunti generati dall’IA per specifiche ricerche sulla salute.
Ma la parola chiave qui è “alcuni”.
Perché solo quelli?
Le altre migliaia di risposte su temi medici sono state verificate?
Sono sicure al 100%?
Permettimi di dubitarne.
Sembra più un tentativo di tappare la falla più vistosa della diga, sperando che nessuno noti le altre crepe. Inoltre, l’azienda continua a nascondersi dietro a disclaimer che, di fatto, scaricano ogni responsabilità sull’utente.
È un po’ come se un produttore di auto ti dicesse: “Ti vendo una macchina con i freni difettosi, ma ti ho avvisato, quindi se fai un incidente è colpa tua”.
La vera domanda che dovremmo porci non è tanto se hanno corretto qualche errore, ma se si rendono conto della portata della loro creatura. Stiamo parlando di una tecnologia che, spinta sul mercato con troppa fretta, gioca con la vita delle persone.
E questo ci porta al cuore del problema.
A chi spetta la responsabilità? un vuoto normativo che fa paura
E qui casca l’asino.
Chi è responsabile se un’intelligenza artificiale fornisce un consiglio medico che causa un danno?
Google, che la mette a disposizione di miliardi di persone?
L’utente, che si è fidato?
Il problema è che ci muoviamo in un Far West normativo, dove le aziende tecnologiche lanciano prodotti potentissimi senza un quadro di regole chiare che ne definisca i limiti e le responsabilità. Ci fidiamo ciecamente di Google, trattando la sua barra di ricerca quasi come un oracolo infallibile, e l’azienda sfrutta questa fiducia per i propri scopi, senza però volersi accollare i rischi che ne derivano.
La tecnologia non è buona o cattiva di per sé, ma il modo in cui viene implementata e regolamentata fa tutta la differenza del mondo.
La prossima volta che digiterai un sintomo su quella barra di ricerca, la domanda non sarà più solo “cosa ho?”, ma “posso davvero fidarmi della risposta che sto per ricevere?”.
Il “churn rate” di cui parlate qui assume i contorni di un’ecatombe digitale. Affidare la propria salute a un algoritmo in beta test è una scommessa che nessuno dovrebbe essere costretto a fare.
Quel churn rate ha un nome e una famiglia. A volte vorrei solo spegnere tutto.
@Andrea Cattaneo Esatto. Dietro ogni metrica c’è una vita. Il design dovrebbe proteggere, non esporre al rischio. L’errore di un’IA non può essere solo un dato statistico. Viene da pensare a una responsabilità che al momento sembra non esistere.
La value proposition è chiara: informazioni mediche gratis in cambio di una piccola, trascurabile possibilità di morte. Un affare. Chissà come calcolano il churn rate in questo caso.
@Luciano Fiore Il churn rate qui è il punto di conversione finale. Un funnel perfetto con LTV nullo, dove si monetizza l’assenza del cliente.
Scambiano la vita umana per un KPI. Ci chiederanno il ROI sulla nostra esistenza.
Chiaro, è un A/B test sulla pelle della gente. Ogni morto è un bug fixato per loro. Il vero business non è la salute, è collezionare i nostri errori biologici. Quanto paghereste voi per non finire nel campione di test sbagliato?
@Simone Damico Ogni morto non è un bug. È un dato che definisce il target premium: i sopravvissuti. Loro non vendono salute, ma il privilegio di non essere la cavia. Il problema è che il prezzo lo scopriamo solo dopo.
È un A/B test sulla nostra pelle, vince la diagnosi che non uccide. Mi chiedo se i dati degli errori vengano poi eliminati.
@Eva Fontana Eliminati? Figurati. I dati degli errori sono il vero asset. Un modello impara più in fretta cosa uccide. Questo è il prezzo del progresso, direi.
Si affida la salute a un algoritmo beta. Quale sarebbe il piano industriale?
@Danilo Graziani Il piano? Risparmiare sui trial clinici, i soggetti del test siamo noi.
@Daniele Palmieri Quindi facciamo da beta tester per le loro cure mediche. Però se poi uno ci resta secco, la responsabilità di chi è? Del nostro modem?
Questa corsa all’oro dell’IA trasforma la nostra salute in un gigantesco A/B test senza consenso. Le aziende si muovono in un Far West normativo, lasciando a noi il compito di schivare i proiettili digitali. Fino a quando accetteremo di fare da cavie?
Siamo le cavie in un laboratorio globale. Google lancia prodotti non testati e osserva gli effetti. Il Far West normativo è il loro parco giochi. La responsabilità è un costo scaricato sull’utente. E noi ci stupiamo ancora di questo?
Giovanni Battaglia, il punto è che il rischio legale per loro è zero finché la normativa è una barzelletta; nel frattempo, raccolgono dati a manetta, pure quelli sbagliati. La sorpresa è che qualcuno ancora creda alla favola dell’utente al centro.
Affidare la propria salute a un algoritmo è un atto di fede cieca. Un salto nel vuoto senza paracadute. La tecnologia non è il problema; lo è l’abdicazione del raziocinio umano. La selezione naturale ha semplicemente trovato un nuovo alleato digitale.
Fantastico, prima Google usava le nostre malattie per venderci pubblicità, ora ci fornisce direttamente la cura finale. Mi chiedo se questa totale deresponsabilizzazione sia semplicemente il nuovo standard con cui dovremo imparare a convivere.