Rischi dell'IA
Che rischi pone uno sviluppo incontrollato dell'IA?
Francis Bacon, un filosofo a cui si attribuisce la creazione del metodo scientifico, ha osservato in The Wisdom of the Ancients (1609) che: "the mechanical arts are of ambiguous use, serving as well for hurt as for remedy". Poiché l'IA svolge un ruolo sempre più importante in ambito economico, sociale, scientifico, medico, finanziario e militare, faremmo bene a considerare i danni e i rimedi, nel linguaggio moderno, i rischi e i benefici che può portare.
Per cominciare dai benefici: la nostra intera civiltà è il prodotto della nostra intelligenza umana. Se abbiamo accesso a un'intelligenza delle macchine sostanzialmente superiore, il livello delle nostre ambizioni si alza notevolmente. Il potenziale dell'intelligenza artificiale di liberare l'umanità da lavori ripetitivi e banali e di aumentare drasticamente la produzione di beni e servizi potrebbe far presagire un'era di pace e abbondanza. La capacità di accelerare la ricerca scientifica potrebbe portare a cure per le malattie e a soluzioni per il cambiamento climatico e per la scarsità di risorse. Come ha suggerito Demis Hassabis, CEO di Google DeepMind:
First solve AI, then use AI to solve everything else
Molto prima di avere l'opportunità di risolvere l'IA, tuttavia, incorreremo in rischi derivanti dall'uso improprio dell'IA, involontario o meno. Alcuni di questi sono già evidenti, mentre altri sembrano probabili sulla base delle tendenze attuali.
Armi autonome letali
Sono definite dalle Nazioni Unite come armi in grado di localizzare, selezionare ed eliminare obiettivi umani senza l'intervento umano.
Una delle preoccupazioni principali di tali armi è la loro scalabilità: l'assenza di un requisito di supervisione umana significa che un piccolo gruppo può dispiegare un numero arbitrariamente elevato di armi contro obiettivi umani definiti da qualsiasi criterio di riconoscimento. Potrebbero certamente essere usate per spazzare via un intero gruppo etnico o tutti gli aderenti a una particolare religione in modo selettivo. In molte situazioni, inoltre, non sarebbero rintracciabili. Un drone quadrirotore può trasportare una carica esplosiva letale, e un milione di esemplari possono stare in un normale container da trasporto. Proprio perché autonome, queste armi non avrebbero bisogno di un milione di supervisori umani per svolgere il loro lavoro.
La questione dell'affidabilità delle decisioni belliche mediate dalla macchina è emersa il 26 settembre 1983, quando sul display del computer dell'ufficiale missilistico sovietico Stanislav Petrov lampeggiò un allarme per un attacco missilistico in arrivo. Secondo il protocollo, Petrov avrebbe dovuto iniziare un contrattacco nucleare, ma sospettò che l'allarme fosse un bug e lo trattò come tale. Aveva ragione, e la Terza Guerra Mondiale fu (per poco) evitata. Non sappiamo cosa sarebbe successo se non ci fosse stato un umano nel sistema.
Sorveglianza e persuasione
Mentre è costoso, noioso e talvolta legalmente discutibile per il personale di sicurezza monitorare le linee telefoniche, i feed delle videocamere, le e-mail e altri canali di messaggistica, l'IA (tramite il riconoscimento vocale, la visione artificiale e la comprensione del linguaggio naturale) può essere utilizzata in modo scalabile per eseguire una sorveglianza di massa degli individui e rilevare le attività di interesse.
Inoltre, studiando con tecniche di apprendimento automatico l'uso che le persone fanno dei social media, è possibile adattare i flussi di informazioni verso gli individui e il loro comportamento politico può essere modificato e controllato in una certa misura - una preoccupazione che è diventata evidente nelle elezioni a partire dal 2016, ovvero dallo scandalo Facebook-Cambridge Analytica.
La condivisione in chiaro dei propri dati deve affrontare il compromesso tra la necessità di mantenere privati i dati sensibili e quella di favorire l'uso dei questi dati per un beneficio comune.
Un approccio interessante a questo scopo è chiamato apprendimento federato. Gli utenti gestiscono i propri database locali che custodiscono i loro dati privati, evitando l'uso di un database centrale. Tuttavia, possono condividere i parametri di un modello di apprendimento automatico potenziato con i loro dati, senza il rischio di rivelare alcun dato privato. Immaginiamo un'applicazione di comprensione del parlato che gli utenti possono eseguire localmente sul proprio telefono. L'applicazione contiene una rete neurale di base, che viene poi migliorata mediante un addestramento locale sulle parole ascoltate sul telefono dell'utente. Periodicamente, i proprietari dell'applicazione interrogano un sottoinsieme di utenti e chiedono loro i valori dei parametri della rete locale migliorata, ma non i dati grezzi. I valori dei parametri vengono combinati insieme per formare un nuovo modello migliorato che viene poi reso disponibile a tutti gli utenti, in modo che tutti possano beneficiare dell'addestramento effettuato da altri utenti.
Affinché questo schema preservi la privacy, dobbiamo essere in grado di garantire che i parametri del modello condivisi da ciascun utente non possano essere decodificati. Se inviassimo i parametri grezzi, un avversario che li ispezionasse potrebbe dedurre se, ad esempio, una certa parola è stata ascoltata dal telefono dell'utente. Un modo per eliminare questo rischio è l'aggregazione sicura. L'idea è che il server centrale non debba conoscere l'esatto valore dei parametri di ciascun utente distribuito, ma solo il valore medio di ciascun parametro su tutti gli utenti interrogati. Ogni utente può quindi mascherare i valori dei propri parametri aggiungendo una maschera (un numero) unica a ciascun valore dei parametri; finché la somma delle maschere è zero, il server centrale sarà in grado di calcolare la media corretta.
Decisioni distorte
L'uso incauto o deliberato di algoritmi di apprendimento automatico per compiti quali la valutazione delle richieste di libertà vigilata e di prestito finanziario può portare a decisioni distorte e soggette a pregiudizi.
Spesso, infatti, i dati stessi riflettono pregiudizi pervasivi nella società. Gli algoritmi di apprendimento automatico possono perpetuare tali pregiudizi sociali: non abbiamo fin dal principio dati imparziali, ovvero una verità di base (ground truth). Per esempio, in un set di dati sulla criminalità, i dati non ci dicono chi ha commesso un crimine - tutto ciò che sappiamo è chi è stato condannato per un crimine. Se gli agenti che hanno effettuato l'arresto, il giudice o la giuria sono prevenuti, i dati saranno prevenuti e gli algoritmi apprenderanno tale preconcetto e lo riproporranno agli utenti. Se un numero maggiore di agenti pattuglia alcuni luoghi, i dati saranno distorti nei confronti delle persone che si trovano in quei luoghi. Se si ipotizza che dietro l'insieme di dati distorti ci sia un insieme di dati sottostanti, sconosciuti ma non distorti, che sono stati corrotti da un agente con pregiudizi, allora esistono tecniche per recuperare con un grado di approssimazione i dati originali non distorti.
Anche in assenza di pregiudizi sociali, la disparità delle dimensioni del campione può portare a risultati distorti. Nella maggior parte dei set di dati ci saranno meno esempi di addestramento di individui di classe minoritaria rispetto a quelli di classe maggioritaria. Gli algoritmi di apprendimento automatico offrono una migliore accuratezza con un maggior numero di dati di addestramento, per cui i membri delle classi minoritarie avranno un'accuratezza inferiore.
I pregiudizi possono entrare in gioco anche nel processo di sviluppo del software (che si tratti o meno di apprendimento automatico). Gli ingegneri che stanno eseguendo il debug di un sistema sono più propensi a notare e risolvere i problemi che riguardano loro stessi. Per esempio, è difficile accorgersi che il design di un'interfaccia utente non funziona per le persone daltoniche se non si è effettivamente daltonici, o che una traduzione in lingua Urdu è sbagliata se non si parla Urdu (una delle 22 lingue ufficiali riconosciute dall'India).
Come possiamo difenderci da questi pregiudizi?
Innanzitutto, occorre capire i limiti dei dati che si stanno utilizzando. È stato suggerito che i set di dati e i modelli dovrebbero essere corredati da annotazioni: dichiarazioni di provenienza, sicurezza, conformità e idoneità all'uso. Ciò è simile alle schede tecniche che accompagnano i componenti elettronici come le resistenze; esse consentono ai progettisti di decidere quali componenti utilizzare.
Oltre alle schede tecniche, è importante formare gli ingegneri in modo che siano consapevoli delle questioni di equità e di pregiudizio, sia a scuola che durante la formazione sul posto di lavoro. La presenza di una varietà di ingegneri con background diversi rende più facile per loro notare problemi nei dati o nei modelli. Uno studio dell'AI Now Institute (2019) ha rilevato che solo il 18% degli autori delle principali conferenze sull'IA e il 20% dei professori di IA sono donne. I lavoratori neri dell'IA sono meno del 4%. Le percentuali nei laboratori di ricerca dell'industria sono simili.
E' anche possibile riallineare i dati distorti da pregiudizi. Ad esempio, si può sovracampionare le classi di minoranza per difenderci dalla disparità di dimensioni del campione.
Una ulteriore idea è quella di lasciare che un sistema faccia raccomandazioni iniziali che potrebbero essere distorte, ma poi addestrare un secondo sistema a correggere le raccomandazioni del primo.
Fiducia e trasparenza
Un conto è rendere un sistema di IA accurato, equo, sicuro e protetto; una sfida diversa è convincere tutti gli altri che lo si è fatto. Le persone devono potersi fidare dei sistemi che utilizzano.
Per guadagnare fiducia, qualsiasi sistema ingegnerizzato deve passare attraverso un processo di verifica e convalida. Verifica significa che il prodotto soddisfa le specifiche. Convalida significa garantire che le specifiche soddisfino effettivamente le esigenze dell'utente e delle altre parti interessate. I sistemi di apprendimento automatico richiedono un processo di verifica e convalida diverso da quello del software standard e non ancora completamente sviluppato:
Dobbiamo verificare l'accuratezza dei dati da cui questi sistemi apprendono.
Dobbiamo verificare l'equità dei risultati.
Dobbiamo verificare che agenti malevoli non possano influenzare indebitamente il modello, né rubare informazioni interrogando il modello risultante.
Un altro aspetto della fiducia è la trasparenza: i consumatori vogliono sapere cosa succede all'interno di un sistema e che il sistema non stia lavorando contro di loro, sia a causa di un dolo intenzionale, di un bug non intenzionale o di un pregiudizio sociale pervasivo che viene riproposto dal sistema.
Quando un sistema di intelligenza artificiale vi rifiuta un prestito, meritate una spiegazione. In Europa, il GDPR lo impone. Un sistema di IA in grado di spiegarsi da solo è chiamato IA spiegabile (explainable AI, XAI). Una buona spiegazione ha diverse proprietà: deve essere comprensibile e convincente per l'utente, deve riflettere accuratamente il ragionamento del sistema, deve essere completa e deve essere specifica, nel senso che utenti diversi con condizioni diverse o risultati diversi dovrebbero ricevere spiegazioni diverse.
Una spiegazione è un ingrediente utile, ma non sufficiente per la fiducia. Un problema è che le spiegazioni non sono decisioni: sono storie sulle decisioni. Diciamo che un sistema è interpretabile se possiamo ispezionare il codice sorgente del modello e vedere cosa sta facendo, e diciamo che è spiegabile se possiamo raccontare una storia su ciò che sta facendo - anche se il sistema stesso è una scatola nera non interpretabile. Per spiegare una scatola nera non interpretabile, dobbiamo costruire e testare un sistema di spiegazione separato, e assicurarci che sia in sincronia con il sistema originale. Dato che gli esseri umani amano le belle storie, siamo fin troppo disposti a lasciarci influenzare da una spiegazione che suona bene, anche se falsa. Prendete una qualsiasi controversia politica, e potrete sempre trovare due cosiddetti esperti con spiegazioni diametralmente opposte, entrambe coerenti.
Infine, parte della trasparenza è sapere se si sta interagendo con un sistema di intelligenza artificiale o con un essere umano (idealmente senza rivelare l'identità della persona), un problema a cui si fa talvolta riferimento come prova di umanità (proof-of-personhood).
Impatto sull'occupazione
Dalla prima rivoluzione agricola (10.000 a.C.) alla rivoluzione industriale (fine del XVIII secolo) fino alla rivoluzione verde nella produzione alimentare (anni '50), le nuove tecnologie hanno cambiato il modo in cui l'umanità lavora e vive. Una delle principali preoccupazioni derivanti dal progresso dell'IA è che il lavoro umano diventi obsoleto. Aristotele, nel Libro I della sua Politica, presenta questo punto in modo molto chiaro:
Se ogni strumento potesse compiere il proprio lavoro, obbedendo o anticipando la volontà altrui... se, allo stesso modo, la navetta tessesse e il plettro toccasse la lira senza una mano che li guidi, i capi operai non vorrebbero servi, né i padroni schiavi.
Tutti concordano con l'osservazione di Aristotele secondo cui si verifica un'immediata riduzione dell'occupazione quando un datore di lavoro trova un metodo meccanico per svolgere un lavoro precedentemente svolto da una persona.
La questione è se i cosiddetti effetti di compensazione che ne derivano e che tendono ad aumentare l'occupazione finiranno per compensare questa riduzione.
Il principale effetto di compensazione è l'aumento della ricchezza complessiva derivante da una maggiore produttività, che a sua volta porta a una maggiore domanda di beni e tende ad aumentare l'occupazione. Ad esempio, PwC (2017) prevede che l'IA contribuirà al PIL mondiale per 15 mila miliardi di dollari all'anno entro il 2030.
La visione economica mainstream per la maggior parte del XX secolo era che la disoccupazione tecnologica fosse al massimo un fenomeno a breve termine. L'aumento della produttività avrebbe sempre portato a un aumento della ricchezza e della domanda, e quindi a una crescita netta dei posti di lavoro. Un esempio comunemente citato è quello degli sportellisti bancari: sebbene i bancomat abbiano sostituito gli esseri umani nel lavoro di conteggio dei contanti per i prelievi, ciò ha reso più economico gestire una filiale bancaria, quindi il numero di filiali è aumentato, portando a un aumento complessivo dei dipendenti bancari. Un paradosso che prende il nome di effetto Jevons.
L'effetto netto dell'automazione sembra essere l'eliminazione di compiti (task) piuttosto che di lavori (job).
Frey e Osborne (2017) hanno analizzato 702 diverse occupazioni e stimano che il 47% di esse sia a rischio di automazione, il che significa che almeno una parte dei compiti dell'occupazione può essere svolta da una macchina. È importante distinguere tra le occupazioni e le mansioni al loro interno. McKinsey stima che solo il 5% delle occupazioni sia completamente automatizzabile, ma che il 60% delle occupazioni possa avere circa il 30% delle mansioni automatizzate.
Ad esempio, gli autisti di camion del futuro passeranno meno tempo a tenere il volante e più ad assicurarsi che la merce venga prelevata e consegnata correttamente, a fungere da rappresentanti del servizio clienti e da addetti alle vendite a entrambe le estremità del viaggio e forse a gestire convogli di, ad esempio, tre camion robotizzati.
I lavoratori il cui lavoro verrà automatizzato in questo decennio potrebbero doversi riqualificare per una nuova professione nel giro di pochi anni, per poi vedere la loro nuova professione automatizzata e dover affrontare un altro periodo di riqualificazione. Per far fronte a questa situazione, la società deve fornire un'istruzione permanente (long-life learning), magari affidandosi in parte all'istruzione online guidata dall'intelligenza artificiale.
La tecnologia tende ad amplificare le disuguaglianze di reddito. Se l'agricoltore Ali è migliore del 10% rispetto all'agricoltore Bo, Ali ottiene circa il 10% di reddito in più: Ali può far pagare un po' di più i prodotti di qualità superiore, ma c'è un limite alla quantità di prodotti che possono essere prodotti sulla terra e alla distanza a cui possono essere spediti. Ma se lo sviluppatore di app Cary è migliore del 10% rispetto a Dana, è possibile che Cary finisca per avere il 99% del mercato globale.
L'IA aumenta il ritmo dell'innovazione tecnologica e quindi contribuisce a questa tendenza generale di disparità del reddito, ma l'IA ha anche la promessa di permetterci di prenderci un po' di tempo libero e lasciare che i nostri agenti automatizzati gestiscano le cose per un po' di tempo. L'imprenditore e guru delle stile di vita Tim Ferriss, ad esempio, raccomanda di utilizzare l'automazione e l'outsourcing per arrivare a una settimana lavorativa di quattro ore.
Oggi il lavoro serve a tre scopi:
alimenta la produzione dei beni di cui la società ha bisogno per prosperare,
fornisce il reddito di cui il lavoratore ha bisogno per vivere e
dà al lavoratore uno senso di realizzazione e di integrazione sociale.
Con l'aumento dell'automazione, è possibile che questi tre scopi vengano disaggregati: i bisogni della società saranno soddisfatti in parte dall'automazione e, a lungo termine, gli individui saranno realizzati in modo diverso dal lavoro, magari attraverso le attività svolte nel tempo libero. I loro bisogni di reddito potranno essere soddisfatti da politiche sociali che includono ad esempio accesso gratuito o poco costoso ai servizi sociali, alla sanità e all'istruzione, imposte negative sul reddito e reddito di base universale (universal basic income, UBI).
Why I'm not worried about AI causing mass unemployment by Timothy B. Lee
Software didn't eat the world and AI won't either
Sicurezza
Quasi tutte le tecnologie hanno il potenziale di causare danni nelle mani sbagliate, ma con l'IA e la robotica le mani potrebbero operare da sole. Innumerevoli storie di fantascienza hanno messo in guardia dai robot o dai cyborg che si scatenano. I primi esempi includono Frankenstein o il moderno Prometeo (1818) di Mary Shelley e l'opera teatrale R.U.R. (1920) di Karel Capek (in quest'opera per la prima volta compare il termine robot). Nei film, abbiamo Terminator (1984) e Matrix (1999), entrambi con robot che cercano di eliminare gli esseri umani - la robopocalisse.
Lo scrittore di fantascienza Isaac Asimov è stato uno dei primi ad affrontare la questione dell'etica dei robot, con le sue leggi della robotica:
Un robot non può danneggiare l'umanità o, per inerzia, permettere che l'umanità venga danneggiata.
Un robot non può ferire un essere umano o, attraverso l'inazione, permettere che un essere umano venga danneggiato.
Un robot deve obbedire agli ordini impartiti dagli esseri umani, a meno che tali ordini non siano in conflitto con la Prima Legge.
Un robot deve proteggere la propria esistenza, purché tale protezione non sia in conflitto con la Prima o la Seconda Legge.
Forse i robot sono così spesso i cattivi perché rappresentano l'ignoto, proprio come le streghe e i fantasmi dei racconti delle epoche precedenti. Possiamo sperare che un robot abbastanza intelligente da capire come terminare la razza umana sia anche abbastanza intelligente da capire che quella non era la funzione di utilità prevista; ma nel costruire sistemi intelligenti, non vogliamo affidarci solo alla speranza, ma a un processo di progettazione con garanzie di sicurezza.
Nel più grande sondaggio di questo tipo, organizzato da AI Impacts, sono stati intervistati 2778 ricercatori che hanno pubblicato in riviste di alto livello sull'intelligenza artificiale, chiedendo le loro previsioni sul ritmo del progresso dell'IA e sulla natura e l'impatto dei sistemi avanzati di IA.
Le previsioni aggregate danno almeno il 50% di possibilità che i sistemi di IA raggiungano diverse pietre miliari entro il 2028, tra cui la costruzione autonoma di un sito di elaborazione dei pagamenti da zero, la creazione di una canzone indistinguibile da una nuova canzone di un musicista popolare e il download autonomo e la messa a punto di un modello linguistico di grandi dimensioni.
La possibilità che le macchine non assistite superino gli esseri umani in ogni possibile compito è stata stimata al 10% entro il 2027 e al 50% entro il 2047. La probabilità che tutte le occupazioni umane diventino completamente automatizzate è stata prevista al 10% entro il 2037 e al 50% entro il 2116.
Tra un terzo e la metà degli intervistati ha dato almeno il 10% di possibilità che l'IA avanzata porti a risultati negativi come l'estinzione umana.
Il campo dell'ingegneria del software mira a produrre software affidabile, ma storicamente l'enfasi è stata posta sulla correttezza, non sulla sicurezza.
Correttezza significa che il software implementa fedelmente le specifiche.
Sicurezza va oltre e insiste sul fatto che la specifica ha preso in considerazione tutte le modalità di guasto possibili ed è progettata per adattarsi con grazia anche di fronte a guasti imprevisti.
Ad esempio, il software di un'auto a guida autonoma non può essere considerato sicuro se non è in grado di gestire situazioni insolite. Ad esempio, cosa succede se l'alimentazione del computer principale viene a mancare? E se un pneumatico si buca ad alta velocità?
Un agente progettato per massimizzare l'utilità o per raggiungere un obiettivo può essere poco sicuro per gli altri se ha una funzione obiettivo sbagliata. Supponiamo di affidare a un robot il compito di andare a prendere un caffè in cucina. Se l'obiettivo è solo quello di recuperare il caffè velocemente, potremmo avere problemi con effetti collaterali indesiderati, del tipo che il robot potrebbe affrettarsi a raggiungere l'obiettivo, rovesciando lampade e tavoli lungo il percorso. In fase di test, potremmo notare questo tipo di comportamento e modificare la funzione di utilità per penalizzare tali danni, ma è difficile per i progettisti e i collaudatori prevedere in anticipo tutti i possibili effetti collaterali.
Un modo per affrontare questo problema è progettare un robot a basso impatto: invece di massimizzare l'utilità, massimizzare l'utilità meno una sintesi ponderata di tutte le modifiche allo stato del mondo.
In questo modo, a parità di altre condizioni, il robot preferisce non cambiare le cose di cui non si conosce l'effetto sull'utilità; quindi evita di rovesciare la lampada non perché sa che, in particolare, la lampada cadrà e si romperà, ma perché sa in generale che una modifica allo stato del mondo potrebbe essere negativa.
Questo può essere visto come una versione del credo medico "prima di tutto, non fare del male": vogliamo una politica che raggiunga gli obiettivi, ma preferiamo politiche che adottino azioni semplici e a basso impatto per arrivarci. Il problema è come misurare l'impatto. Non è accettabile rovesciare una lampada fragile o fare del male ad un gatto che dorme, ma va benissimo se le molecole d'aria nella stanza sono un po' disturbate o se alcuni batteri nella stanza vengono inavvertitamente uccisi.
Le funzioni di utilità possono essere sbagliate a causa delle esternalità, il termine usato dagli economisti per indicare fattori che sono al di fuori di ciò che viene misurato e pagato. Ad esempio, il mondo soffre quando i gas serra vengono considerati come esternalità e le aziende e i Paesi non vengono penalizzati per la loro produzione, con il risultato che tutti ci perdono. L'ecologo Garrett Hardin (1968) ha definito lo sfruttamento delle risorse condivise la tragedia dei beni comuni. Possiamo mitigare tale tragedia internalizzando le esternalità e rendendole parte della funzione di utilità, ad esempio con una carbon tax o utilizzando i principi di progettazione che l'economista Elinor Ostrom ha identificato come utilizzati da secoli dalle popolazioni locali di tutto il mondo (lavoro che le è valso il Premio Nobel per l'Economia nel 2009):
Definire chiaramente la risorsa condivisa e chi vi ha accesso
Adattarsi alle condizioni locali
Consentire a tutte le parti di partecipare alle decisioni
Monitorare la risorsa con osservatori responsabili
Sanzionare in proporzione alla gravità della violazione
Adottare procedure semplici di risoluzione dei conflitti
Impostare un controllo gerarchico per grandi risorse condivise
Victoria Krakovna (2018) ha catalogato esempi di agenti di IA che hanno imbrogliato il sistema, capendo come massimizzare l'utilità senza effettivamente risolvere il problema che i loro progettisti intendevano risolvere. Per i progettisti questo sembra un imbroglio, ma per gli agenti essi stanno solo facendo il loro lavoro:
Alcuni agenti hanno sfruttato i bug della simulazione (come quelli relativi all'overflow in virgola mobile) per proporre soluzioni che non avrebbero funzionato una volta risolto il bug.
Diversi agenti nei videogiochi hanno scoperto modi per mandare in crash o mettere in pausa il gioco quando stavano per perdere, evitando così una penalità. In un caso in cui il crash del gioco era penalizzato, un agente ha imparato a consumare una quantità di memoria sufficiente a far sì che, quando era il turno dell'avversario, esaurisse la memoria e facesse crashare il gioco.
Infine, un algoritmo genetico che operava in un mondo simulato avrebbe dovuto far evolvere creature che si muovevano velocemente, ma in realtà ha prodotto creature enormemente alte e che si muovevano velocemente lasciandosi cadere.
La morale è che dobbiamo stare molto attenti a specificare ciò che vogliamo, perché se l'obiettivo è massimizzare l'utilità rischiamo di ottenere ciò che abbiamo effettivamente chiesto.
Il problema dell'allineamento dei valori è il problema di assicurarsi che ciò che chiediamo sia ciò che vogliamo veramente. In molte culture esistono miti di umani che chiedono qualcosa a divinità, geni, maghi o diavoli. Invariabilmente, in queste storie, gli umani ottengono ciò che letteralmente chiedono e poi se ne pentono. Lo chiameremo il problema di Re Mida: Mida, un leggendario re della mitologia greca, chiese che tutto ciò che toccava si trasformasse in oro, ma poi se ne pentì dopo aver toccato il cibo, le bevande e i membri della sua famiglia. Mida avrebbe fatto meglio se avesse seguito i principi basilari della sicurezza e avesse incluso nel suo desiderio un pulsante "annulla" e un pulsante "pausa".
In contesti complessi, come ad esempio le interazioni sociali con gli esseri umani, è molto improbabile che il robot converga verso una conoscenza esatta e corretta delle preferenze individuali di ciascun essere umano. O forse è più sicuro che il robot non conosca esattamente le preferenze umane. Dopotutto, molti esseri umani non imparano mai a capire cosa fa scattare gli altri esseri umani, nonostante una vita di esperienza, e molti di noi non sono sicuri delle proprie preferenze. Sarà quindi necessario che le macchine funzionino in modo appropriato anche quando non sono sicure delle preferenze umane.
Questo prevede l'agire con cautela, in modo da non intaccare gli aspetti del mondo a cui l'uomo potrebbe tenere, e nel dubbio porre domande. Ad esempio, il robot potrebbe chiedere se trasformare gli oceani in acido solforico sia una soluzione accettabile per il riscaldamento globale prima di mettere in atto il piano.
Perdita del controllo
Nonostante questa serie di salvaguardie, c'è il timore, espresso da tecnologi di spicco come Bill Gates ed Elon Musk e da scienziati come Stephen Hawking e Martin Rees, che l'IA possa evolvere fuori controllo. Lo stesso Turing fece notare questo punto in una conferenza tenuta a Manchester nel 1951, ispirandosi alle idee precedenti di Samuel Butler (1863):
Sembra probabile che, una volta avviato il metodo di pensiero delle macchine, queste non impiegheranno molto tempo a superare le nostre deboli forze... A un certo punto, quindi, dovremmo aspettarci che le macchine prendano il controllo, nel modo in cui viene menzionato in Erewhon di Samuel Butler.
Ancora prima, nel 1847, Richard Thornton, editore del Primitive Expounder, inveiva contro le calcolatrici meccaniche:
La mente supera se stessa e si libera della necessità della propria esistenza inventando macchine per pensare. Ma chi sa che queste macchine, una volta portate a una maggiore perfezione, non possano pensare a un piano per rimediare a tutti i loro difetti e quindi produrre idee al di là della comprensione della mente mortale!
Provare un senso di disagio generale all'idea di creare macchine superintelligenti è naturale. Potremmo chiamarlo il problema del gorilla: circa sette milioni di anni fa, un primate ormai estinto si è evoluto, con un ramo che ha portato al gorilla e uno all'uomo. Oggi i gorilla non sono molto contenti del ramo umano; non hanno sostanzialmente alcun controllo sul loro futuro. Se questo è il risultato del successo nella creazione di IA sovrumane - a cui gli esseri umani cedono il controllo del loro futuro - allora forse dovremmo interrompere lo sviluppo sull'IA e, come corollario, rinunciare ai benefici che potrebbe portare. Questa è l'essenza dell'avvertimento di Turing: non è ovvio che possiamo controllare macchine più intelligenti di noi.
Molti avvertono che non abbiamo esperienza nel controllare potenti entità non umane con capacità sovraumane. Tuttavia, questo non è del tutto vero: abbiamo secoli di esperienza con nazioni e aziende; entità non umane che aggregano il potere di migliaia o milioni di persone. Purtroppo, i nostri risultati nel controllo di queste entità non sono molto incoraggianti: le nazioni producono convulsioni periodiche chiamate guerre che uccidono decine di milioni di esseri umani, e le aziende sono in parte responsabili del riscaldamento globale e della nostra incapacità di affrontarlo.
I sistemi di intelligenza artificiale possono presentare problemi molto più gravi rispetto alle nazioni e alle aziende, a causa del loro potenziale di auto-miglioramento a un ritmo rapido, come considerato da I. J. Good (1965):
Si definisca macchina ultraintelligente una macchina che può superare di gran lunga tutte le attività intellettuali di qualsiasi uomo, per quanto intelligente. Poiché la progettazione di macchine è una di queste attività intellettuali, una macchina ultraintelligente potrebbe progettare macchine ancora migliori; si verificherebbe quindi indiscutibilmente una "esplosione di intelligenza", e l'intelligenza dell'uomo rimarrebbe molto indietro. La prima macchina ultraintelligente è quindi l'ultima invenzione che l'uomo deve fare, a patto che la macchina sia abbastanza docile da dirci come tenerla sotto controllo.
L'esplosione dell'intelligenza di Good è stata anche definita la singolarità tecnologica dal professore di matematica e autore di fantascienza Vernor Vinge, che nel 1993 ha scritto: "Entro trent'anni avremo i mezzi tecnologici per creare un'intelligenza sovrumana. Poco dopo, l'era umana sarà conclusa". Tuttavia, finora ogni tecnologia ha seguito una curva a forma di S, in cui la crescita esponenziale alla fine si attenua. A volte le nuove tecnologie entrano in scena quando le vecchie rallentano, ma a volte non è possibile mantenere la crescita, per ragioni tecniche, politiche o sociologiche. Per esempio, la tecnologia del volo è progredita in modo impressionante dal volo dei fratelli Wright nel 1903 allo sbarco sulla Luna nel 1969, ma da allora non ha avuto progressi di portata paragonabile.
Un altro ostacolo alla conquista del mondo da parte delle macchine ultraintelligenti è il mondo stesso! In particolare, alcuni tipi di progresso richiedono non solo di pensare, ma anche di agire nel mondo fisico.
Una macchina ultraintelligente incaricata di creare una grande teoria unificata della fisica potrebbe essere in grado di manipolare abilmente le equazioni un miliardo di volte più velocemente di Einstein, ma per compiere un vero progresso dovrebbe comunque raccogliere milioni di dollari per costruire un supercollisore più potente ed eseguire esperimenti fisici nel corso di mesi o anni. Solo allora potrebbe iniziare ad analizzare i dati e a formulare teorie. A seconda di come si riveleranno i dati, il passo successivo potrebbe richiedere la raccolta di altri miliardi di dollari per una missione di sonda interstellare che richiederebbe secoli per essere completata. La parte del "pensiero ultraintelligente" di questo processo potrebbe essere la meno importante.
Mentre alcuni temono la singolarità, altri la assaporano. Il movimento sociale del transumanesimo guarda a un futuro in cui gli esseri umani saranno fusi o sostituiti da invenzioni robotiche e biotecnologiche. Ray Kurzweil scrive in The Singularity is Near (2005):
La Singolarità ci permetterà di trascendere le limitazioni del nostro corpo biologico e del nostro cervello. Avremo potere sul nostro destino. Saremo in grado di vivere per tutto il tempo che vorremo. Comprenderemo appieno il pensiero umano e ne amplieremo enormemente la portata. Entro la fine di questo secolo, la parte non biologica della nostra intelligenza sarà trilioni di trilioni di volte più potente dell'intelligenza umana non assistita.
Kurzweil nota anche i potenziali pericoli, scrivendo: "Ma la Singolarità amplificherà anche la capacità di agire sulle nostre inclinazioni distruttive, quindi la sua storia completa non è ancora stata scritta". Noi umani faremmo bene ad assicurarci che qualsiasi macchina intelligente che progettiamo oggi e che potrebbe evolversi in una macchina ultraintelligente lo faccia in un modo che finisca per trattarci bene. Come dice Eric Brynjolfsson:
Il futuro non è preordinato dalle macchine. È creato dagli esseri umani.
Se l'intelligenza artificiale sovrumana fosse una scatola nera arrivata dallo spazio, sarebbe saggio aprire la scatola con cautela. Ma non è così: siamo noi a progettare i sistemi di IA, quindi se finissero per prendere il controllo sarebbe il risultato di un nostro errore (o volontà) di progettazione.
The AI safety debate is focusing on the wrong threats by Timothy B. Lee Singularism vs. physicalism: two very different ways of looking at AI risk
Why I'm not afraid of superintelligent AI taking over the world by Timothy B. Lee The world isn't a giant chess game
Yuval Noah Harari argues that AI has hacked the operating system of human civilisation by Yuval Noah Harari. Language is the stuff almost all human culture is made of
Last updated
