10 famosi disastri provocati dall’intelligenza artificiale

Nel 2017, The Economist ha dichiarato [in inglese] che i dati, alla pari del petrolio, sono diventati la risorsa più preziosa del mondo e, da allora, questo stesso ritornello è stato ripetuto più volte. Le aziende di tutti i settori hanno investito e continuano a investire pesantemente in dati e analisi. Ma, come il petrolio, i dati e le analisi hanno il loro lato oscuro.

Secondo il rapporto State of the CIO 2023 di CIO, il 26% dei leader IT evidenzia come l’apprendimento automatico (ML) e l’IA saranno i fattori che determineranno la maggior parte degli investimenti IT. E, mentre le azioni guidate dagli algoritmi di ML [in inglese] possono dare alle imprese un vantaggio competitivo, gli errori possono essere costosi in termini di reputazione, ricavi e persino vite umane.

Capire i dati e ciò che ci dicono è importante, ma è altrettanto fondamentale comprendere gli strumenti, conoscere i dati e tenere ben presenti i valori dell’azienda.

Ecco una serie di errori commessi, nell’ultimo decennio, dalle applicazioni di intelligenza artificiale ad alto livello, in grado di illustrare che cosa può andare storto nel suo utilizzo.

Air Canada paga i danni per le bugie del chatbot

Nel febbraio del 2024, Air Canada è stata condannata a pagare i danni a un passeggero [in inglese] dopo che il suo assistente virtuale gli aveva fornito informazioni errate in un momento particolarmente difficile.

Jake Moffatt aveva consultato l’assistente virtuale della compagnia aerea sulle tariffe scontate in caso di lutto in seguito alla morte di sua nonna, avvenuta nel novembre del 2023. Il chatbot gli aveva detto che poteva acquistare un biglietto a prezzo normale da Vancouver a Toronto e, successivamente, richiedere uno sconto per lutto entro 90 giorni dall’acquisto. Seguendo questo consiglio, Moffatt ha acquistato un volo di sola andata per Toronto al costo di 794,98 dollari canadesi, e uno di ritorno per Vancouver, pagandolo 845,38 dollari canadesi.

Tuttavia, quando Moffatt ha presentato la richiesta di rimborso, la compagnia aerea lo ha respinto, dicendo che le tariffe per il lutto non possono essere richieste dopo l’acquisto dei biglietti.

Moffatt ha portato Air Canada davanti a un tribunale canadese, sostenendo che la compagnia aerea è stata negligente e ha fornito informazioni errate tramite il suo assistente virtuale. Secondo il membro del tribunale [in inglese] Christopher Rivers, Air Canada ha sostenuto di non poter essere ritenuta responsabile per le informazioni fornite dal suo chatbot.

Rivers ha rigettato l’argomentazione, affermando che la compagnia aerea non ha adottato “una cura ragionevole per garantire che il suo chatbot fosse stato addestrato in maniera accurata”, e ha ordinato all’azienda di risarcire il passeggero con 812,02 dollari australiani, inclusi i 650,88 di danni.

Sports Illustrated potrebbe aver pubblicato articoli di falsi scrittori generati dall’IA

Nel novembre del 2023, la rivista online Futurism ha scoperto che Sports Illustrated stava pubblicando articoli di scrittori non in carne e ossa ma generati dall’intelligenza artificiale [in inglese].

Citando fonti anonime, Futurism ha affermato che la storica rivista sportiva pubblicava i contenuti di “molti” autori falsi, alcuni dei quali anche generati dall’IA.

La rivista online ha trovato l’elenco dei loro nomi elencati su un sito che vende profili creati dall’intelligenza artificiale e ha, quindi, contattato The Arena Group, editore di Sports Illustrated che, in una dichiarazione, ha rilevato che gli articoli in questione erano contenuti concessi in licenza da una terza parte, AdVon Commerce.

“Monitoriamo costantemente i nostri partner e stavamo effettuando una revisione quando sono state sollevate queste accuse”, ha dichiarato Arena Group nella dichiarazione fornita a Futurism. “AdVon ci ha assicurato che tutti gli articoli in questione sono stati scritti e redatti da persone”.

Nella dichiarazione si leggeva anche che gli scrittori di AdVon in alcuni articoli avevano usato pseudonimi, e che il Gruppo Arena non perdona questo genere di azioni, per poi rimuovere i contenuti in questione dal sito web di Sports Illustrated.

In risposta all’articolo di Futurism, il sindacato dell’editore statunitense ha rincarato la dose [in inglese], dicendosi inorridito dalle accuse e chiedendo risposte e trasparenza alla direzione di Arena Group.

“Se sono vere, queste pratiche violano tutto ciò in cui crediamo nel giornalismo”, ha dichiarato il sindacato di SI nella sua dichiarazione. “Deploriamo il fatto di essere associati a qualcosa di così irrispettoso per i nostri lettori”.

Gannett AI sbaglia gli articoli sportivi delle scuole superiori

Nell’agosto del 2023, il gruppo editoriale Gannett ha annunciato di voler sospendere l’uso di uno strumento di intelligenza artificiale [in inglese] chiamato LedeAI, dopo che diversi contenuti delle sue testate scritti dall’intelligenza artificiale sono diventati virali perché erano mal scritti, ripetitivi, e privi di dettagli-chiave.

La CNN ha citato un esempio, conservato dalla Wayback Machine dell’Internet Archive [in inglese], che si apriva con: “Il Worthington Christian [[WINNING_TEAM_MASCOT]] ha sconfitto il Westerville North [[LOSING_TEAM_MASCOT]] 2-1 in una partita di calcio maschile che si è giocata sabato in Ohio”.

Inoltre, ha trovato altre storie simili scritte dal sistema in altri giornali locali di Gannett, tra cui Louisville Courier Journal, AZ Central, Florida Today e il Milwaukee Journal Sentinel.

Dopo che le storie sono state derise sui social media, Gannett ha deciso di sospendere l’uso di LedeAI in tutte le edizioni locali che utilizzavano il servizio.

In una dichiarazione alla CNN, il CEO della società, Jay Allred, ha espresso il suo rammarico e ha promesso un impegno costante per correggere i problemi.

L’IA per il recruitment di iTutor Group che rifiuta i candidati a seconda della loro età

Nell’agosto del 2023, la società di tutoring iTutor Group ha accettato di pagare 365.000 dollari [in inglese] per risolvere una causa [in inglese] intentata dalla US Equal Employment Opportunity Commission (EEOC). L’agenzia federale ha accusato l’azienda, che fornisce servizi di supporto a distanza per la ricerca di lavoro agli studenti in Cina, ha utilizzato un software di recruitment alimentato dall’intelligenza artificiale che rifiutava automaticamente le candidate di sesso femminile di età pari o superiore a 55 anni, e i candidati di sesso maschile di età pari o superiore a 60 anni.

L’EEOC ha dichiarato che più di 200 candidati qualificati sono stati automaticamente respinti dal software.

“La discriminazione in base all’età è ingiusta e illegale”, sono state le parole della presidente dell’EEOC, Charlotte A. Burrows, espresse in un comunicato. “Anche quando è la tecnologia ad automatizzare la discriminazione, la responsabilità ricade sul datore di lavoro”.

iTutor Group ha negato qualsiasi illecito, ma ha deciso di patteggiare e, come parte dell’accordo e del decreto di consenso, ha accettato di adottare nuove policy anti-discriminazione.

ChatGPT e le hallucination sui casi giudiziari

I progressi compiuti nel 2023 dai large language models (LLM) hanno suscitato un interesse diffuso per il potenziale di trasformazione dell’IA generativa in quasi tutti i settori. ChatGPT di OpenAI è stata al centro di questa ondata di interesse, prefigurando come questo sottoinsieme dell’intelligenza artificiale abbia il potere di sconvolgere la natura del lavoro in quasi tutti gli angoli del mondo degli affari.

Ma la tecnologia ha ancora una lunga strada da percorrere prima di potersi fare carico in modo affidabile della maggior parte dei processi aziendali, come ha imparato l’avvocato Steven A. Schwartz, che si è trovato nei guai con lo US Disctrict Judge P. Kevin Castel nel 2023, dopo aver usato ChatGPT per ricercare dei precedenti in una causa contro la compagnia aerea colombiana Avianca.

Schwartz, avvocato di Levidow, Levidow & Oberman, ha impiegato il chatbot generativo di OpenAI per trovare casi precedenti a sostegno di una causa intentata dal dipendente di Avianca Roberto Mata per le lesioni subite nel 2019. Il problema? Almeno sei dei casi presentati nella memoria non esistevano. In un documento depositato a maggio [in inglese], il Giudice Castel ha notato che il rapporto di Schwartz includeva nomi e numeri di pratica falsi, oltre a citazioni fasulle. Il partner dell’avvocato, Peter LoDuca, era il legale di Mata e ha firmato il documento, mettendo a rischio anche se stesso.

In una dichiarazione giurata [in inglese], Schwartz ha detto al tribunale che era la prima volta che utilizzava ChatGPT come fonte di ricerca legale e “non era a conoscenza della possibilità che il suo contenuto potesse essere falso”. Ha ammesso di non aver verificato le fonti fornite dal chatbot. Ha anche detto che “si rammarica molto di aver utilizzato l’intelligenza artificiale generativa per integrare la ricerca legale eseguita, e che non lo farà mai più in futuro senza aver fatto una verifica assoluta della sua autenticità”.

Nel giugno del 2023, il Giudice Castel ha imposto una multa di 5.000 dollari a Schwartz e LoDuca. In una sentenza separata, ha poi respinto la causa di Mata contro Avianca.

Gli algoritmi di intelligenza artificiale che identificano tutto tranne il COVID-19

Da quando, nel 2020, è iniziata la pandemia di COVID-19, numerose aziende hanno cercato di applicare algoritmi di intelligenza artificiale nell’aiutare gli ospedali a visitare i pazienti e a fare diagnosi più velocemente. Ma, secondo il Turing Institute del Regno Unito, un centro nazionale per la scienza dei dati e IIA, gli strumenti predittivi hanno fatto poca o nessuna differenza [in inglese].

MIT Technology Review [in inglese] ha descritto una serie di fallimenti, la maggior parte dei quali deriva da errori nel modo in cui gli strumenti sono stati addestrati o testati. L’uso di dati etichettati in modo errato, o provenienti da fonti sconosciute, è stato il colpevole più comune.

Derek Driggs, ricercatore di ML presso l’Università di Cambridge, insieme ai suoi colleghi, ha pubblicato un articolo su Nature Machine Intelligence [in inglese] che esplorava l’uso di modelli deep learning per diagnosticare il virus. Il documento ha stabilito che la tecnica non è adatta all’uso clinico. Per esempio, il gruppo di Driggs ha scoperto che il proprio modello era difettoso perché era stato addestrato su un set di dati che includeva radiografie e altri esami diagnostici di pazienti che erano sdraiati durante la procedura e pazienti che erano in piedi. I primi avevano molte più probabilità di essere gravemente malati, quindi l’algoritmo ha imparato a identificare il rischio COVID in base alla posizione della persona nella scansione.

Un esempio simile è quello che riguarda un altro algoritmo, addestrato con un set di dati che includeva esami del torace di bambini sani, il quale ha imparato a identificare questi ultimi, ma non i pazienti ad alto rischio.

Zillow ha perso milioni di dollari e ridotto la sua forza lavoro a causa di un disastroso algoritmo per l’acquisto di case

Nel novembre del 2021, il marketplace immobiliare online Zillow ha comunicato agli azionisti che avrebbe cessato le attività di Zillow Offers e tagliato il 25% della forza lavoro dell’azienda – circa 2.000 dipendenti – nei trimestri successivi. I problemi dell’unità di home-flipping sono stati causati dal tasso di errore dell’algoritmo ML utilizzato per prevedere i prezzi delle case.

Zillow Offers era un programma attraverso il quale l’azienda faceva offerte in contanti su proprietà basate su una “Zestimate” del valore delle case derivata da un algoritmo di ML. L’idea era di ristrutturare le proprietà e di venderle rapidamente. Ma un portavoce di Zillow ha dichiarato alla CNN [in inglese] che il sistema aveva un tasso di errore medio dell’1,9%, che poteva arrivare al 6,9% per le case fuori mercato.

La CNN ha riferito che Zillow ha acquistato 27.000 case attraverso Zillow Offers dal momento del suo lancio nell’aprile 2018, ma ne ha vendute solo 17.000 fino alla fine del settembre 2021. “Gli eventi del cigno nero”, come la pandemia COVID-19 e la carenza di manodopera per la ristrutturazione delle case, hanno accentuato le difficoltà dell’algoritmo nell’effettuare previsioni corrette.

Zillow ha dichiarato che, per colpa delle valutazioni errate della piattaforma di IA, ha acquistato, involontariamente, case a prezzi più alti rispetto alle sue stime reali dei prezzi di vendita futuri, con una conseguente svalutazione dell’inventario di 304 milioni di dollari nel terzo trimestre del 2021.

Dopo l’annuncio, in una teleconferenza con gli investitori, il co-fondatore e CEO di Zillow Rich Barton ha detto che sarebbe stato possibile modificare l’algoritmo, ma che, in definitiva, continuare a utilizzarlo sarebbe stato, comunque, troppo rischioso.

L’algoritmo sanitario che non è riuscito a segnalare i pazienti di colore

Nel 2019, uno studio pubblicato su Science ha rivelato che un algoritmo di previsione sanitaria, utilizzato da ospedali e compagnie assicurative in tutti gli Stati Uniti per identificare i pazienti che necessitavano di programmi di “gestione dell’assistenza ad alto rischio”, aveva molte meno probabilità di segnalare i pazienti di colore.

I programmi di gestione dell’assistenza ad alto rischio forniscono personale infermieristico addestrato e monitoraggio delle cure primarie ai pazienti malati cronici, nel tentativo di prevenire gravi complicazioni. Ma, per queste attività, l’algoritmo aveva molte più probabilità di selezionare i pazienti bianchi.

Lo studio ha, poi, rilevato che, per le previsioni, veniva utilizzava la spesa sanitaria come proxy per determinare il bisogno di assistenza sanitaria di un individuo. Ma secondo Scientific American [in inglese], i costi dell’assistenza sanitaria dei pazienti neri più malati erano alla pari con quelli bianchi più sani, il che significava che ricevevano punteggi di rischio più bassi anche quando il loro bisogno era maggiore.

I ricercatori dello studio hanno suggerito che all’errore hanno contribuito diversi fattori. In primo luogo, è più probabile che le persone di colore abbiano un reddito più basso, il che, anche quando sono assicurate, può renderle meno propense ad accedere alle cure mediche. I pregiudizi impliciti possono anche far sì che le persone nere ricevano un’assistenza di qualità inferiore.

Sebbene lo studio non abbia nominato l’algoritmo o lo sviluppatore, i ricercatori hanno dichiarato a Scientific American che stanno lavorando per risolvere la situazione.

Il set di dati che ha addestrato il chatbot di Microsoft a pubblicare tweet razzisti

Nel marzo del 2016, Microsoft ha imparato che l’uso delle interazioni di Twitter come dati di addestramento per gli algoritmi di ML [in inglese] può produrre risultati sconcertanti.

Quando ha rilasciato Tay, un chatbot AI, sulla piattaforma di social media, l’azienda lo ha descritto come un esperimento di “comprensione conversazionale”. L’idea era che il chatbot assumesse l’aspetto di una ragazza adolescente e interagisse con le persone tramite Twitter, utilizzando una combinazione di ML e di natural language processing. Microsoft l’ha alimentato con dati pubblici resi anonimi e con materiale scritto preventivamente da autori, per poi lasciarlo libero di imparare e di evolvere grazie alle sue interazioni sul social network.

In 16 ore, il chatbot ha pubblicato più di 95.000 tweet, che si sono rivelati palesemente razzisti, misogini e antisemiti. Microsoft ha rapidamente sospeso il servizio, per poi decidere di staccarne, definitivamente, la spina.

“Siamo profondamente dispiaciuti per gli involontari tweet offensivi di Tay, i quali non rappresentano chi siamo o cosa rappresentiamo, né il modo in cui abbiamo progettato il sistema”, ha scritto Peter Lee, Corporate VP, Microsoft Research & Incubations (e sucessivamente Corporate VP di Microsoft Healthcare), in un post sul blog ufficiale [in inglese] dell’azienda dopo l’incidente.

Lee ha notato che il predecessore di Tay, Xiaoice, rilasciato da Microsoft in Cina nel 2014, aveva condotto con successo conversazioni con oltre 40 milioni di persone nei due anni precedenti al rilascio di Tay. Ciò che Microsoft non aveva preso in considerazione era che un gruppo di utenti di Twitter avrebbe immediatamente iniziato a twittare commenti razzisti e misogini a Tay. Il bot ha imparato rapidamente da quel materiale e lo ha incorporato nei propri tweet.

“Sebbene ci fossimo preparati per molti tipi di abusi del sistema, abbiamo commesso una svista critica per questa specifica tipologia di attacco. Di conseguenza, Tay ha twittato parole e immagini inappropriate e riprovevoli”, ha scritto Lee.

Lo strumento di recruitment di Amazon abilitato dall’IA che selezionava soltanto uomini

Come molte grandi aziende, Amazon è sempre alla ricerca di strumenti che possano aiutare la sua divisione HR a selezionare le candidature migliori. Nel 2014, la società ha iniziato a lavorare su un software di recruitment alimentato dall’intelligenza artificiale. C’era solo un problema: il sistema preferiva, di gran lunga, i candidati di sesso maschile. Nel 2018, Reuters dà la notizia [in inglese] dell’abbandono del progetto da parte di Amazon [in inglese].

La piattaforma assegnava ai candidati una valutazione a stelle da 1 a 5. Ma i modelli di ML alla sua base erano stati addestrati su 10 anni di curriculum inviati ad Amazon, la maggior parte dei quali da uomini. Come risultato di questo addestramento, il sistema ha iniziato a penalizzare i curricula che includevano la parola “femminile” e ha persino declassato i candidati provenienti da università di sole donne.

All’epoca, Amazon ha dichiarato che lo strumento non è mai stato utilizzato dai reclutatori di Amazon per valutare i candidati e ha poi cercato di modificarlo per renderlo neutrale, per decidere, infine, che non avrebbe potuto garantire l’estraneità al rischio di qualche altra discriminazione nel selezionare i candidati, e ha, pertanto, deciso di interrompere l’iniziativa.