Rischi esistenziali

Diversi dei megatrend analizzati in questo volume possono produrre sul lungo termine impatti negativi sulla società; alcuni, come il cambiamento climatico o la possibilità di sviluppare un’intelligenza artificiale che sfugga al controllo umano, rientrano tuttavia in un’altra casistica: quella dei “rischi esistenziali”, spesso noti anche come rischi globali. La prima definizione è tuttavia più convincente: un rischio di portata globale, infatti, non necessariamente è un rischio esistenziale: il terrorismo può avere ipoteticamente una portata globale, ancor di più una pandemia virale. Ma generalmente non si tratta di minacce tali da mettere a repentaglio la stessa sopravvivenza della specie umana. I rischi esistenziali sono infatti rischi di portata globale che possiedono la potenzialità o di distruggere la civiltà tecnologica, riportando l’umanità a uno stadio pre-industriale, o di condurre la specie umana all’estinzione. Sono stati definiti anche “eventi X”, per la loro intrinseca imprevedibilità. Molti di questi rischi, infatti, sono difficilmente anticipabili, perché connessi a fenomeni naturali imponderabili oppure a tecnologie future che ancora non abbiano sviluppato né immaginato.

Utilizzando un’efficace espressione (decontestualizzata) dell’ex segretario alla difesa americano Donald Rumsfeld, possiamo distinguere tra known unkowns e unknown unknowns, vale a dire tra incognite note e incognite ignote. Le prime sono quelle che nei futures studies vengono spesso definite “wild card” o “cigni neri”: eventi o fenomeni molto improbabili ma che nondimeno potrebbero, in determinate circostanze, verificarsi, cambiando in modo radicale lo scenario di riferimento e il corso di un megatrend. Tuttavia, wild card e cigni neri non sono sempre negativi: l’avvento di Facebook, per esempio, può rappresentare una wild card, perché imprevisto rispetto alle tendenze del settore e in grado di produrre effetti disruptive nel mondo digitale in breve tempo. Ma, per quanto ad alcuni l’azienda diretta da Mark Zuckerberg appaia una minaccia, di certo non rappresenta un rischio esistenziale. Più difficile è identificare le incognite ignote: per questo sono molto utili gli strumenti dell’anticipazione, spesso in grado di cogliere in anticipo possibili effetti imprevisti di tecnologie o fenomeni a venire.

Tipologie di rischi esistenziali

Nick Bostrom, filosofo dell’Università di Oxford, è stato il primo a coniare il concetto di rischio esistenziale. Bostrom ha proposto la seguente classificazione a seconda dell’esito del rischio:

Estinzione umana: l’esito è un’estinzione prematura dell’umanità, ossia precedente al raggiungimento della sua piena maturità tecnologica.
Stagnazione permanente: l’umanità sopravvive ma non raggiunge la maturità tecnologica, a causa di un collasso della civiltà da cui non è in grado di riprendersi o da collassi ricorrenti.
Realizzazione imperfetta: l’umanità raggiunge la maturità tecnologica ma conservando dei difetti intrinseci tali da minarne sul lungo periodo la sopravvivenza.
Collasso successivo: dopo aver raggiunto una maturità tecnologica che sembra assicurare solide prospettive future, lo sviluppo successivo causa un irrimediabile collasso dell’umanità.

Per Bostrom, la maturità tecnologica rappresenta l’unico modo per una civiltà intelligente di contrastare efficacemente i rischi esistenziali. Sarebbe infatti capace di prevedere e anticipare le possibili conseguenze indesiderate dell’introduzione su vasta scala di nuove tecnologie e di mitigare gli effetti di eventi naturali catastrofici, come l’eruzione di un supervulcano o il possibile impatto di un asteroide. Una civiltà tecnologicamente matura sarebbe inoltre in grado di risolvere il problema dei cambiamenti climatici.

Nel corso degli ultimi anni sono nati diversi centri di ricerca per studiare e mitigare i rischi esistenziali, tra cui il Centre for the Study of Existential Risks dell’Università di Cambridge, il Future of Humanity Institute dell’Università di Oxford (diretto dallo stesso Bostrom), il Future of Life Institute a Cambridge, Massachusetts. Anche il World Economic Forum da alcuni anni pubblica un rapporto sui Global Risks. Il Future of Humanity Institute, in particolare, ha individuato dodici rischi esistenziali divisi in quattro tipologie:

Sfide attuali: rischi che già oggi minacciano l’umanità.
Sfide esogene: rischi che sono al di fuori del controllo umano
Sfide emergenti: rischi collegati a scenari futuri
Sfide politiche globali: rischi derivanti da futuri assetti di governance mondiale

Nel primo ambito ricadono tre scenari:

Cambiamento climatico estremo. Anche se è ancora difficile ottenere dalle precise previsioni di lungo periodo in questo ambito, fenomeni di feedback positivo come il rilascio di metano dal permafrost scongelato a causa dell’aumento delle temperature o la moria di alberi nella foresta amazzonica prodotta da nuove specie di parassiti delle piante potrebbero essere in grado di aumentare le temperature globali di 4-6° C rispetto ai livelli pre-industriali, con conseguenze peggiori nei paesi del Sud del mondo, destinati a diventare nel tempo completamente inabitabili a causa dell’aumento delle temperature. A ciò si aggiungano carestie e migrazioni di massa che, unite ai danni che colpiranno l’agricoltura dei paesi industriali, rischiano di innescare conflitti globali tali da provocare il crollo della civiltà ( 1).
Conflitto nucleare. Benché in apparenza le probabilità di un conflitto nucleare tra USA e Russia siano diminuite dopo la Guerra fredda, la proliferazione delle armi atomiche rende comunque possibile un conflitto deliberato o accidentale, provocato cioè da un incidente. Le stime calcolano un 10% di probabilità di questo tipo di conflitto nel corso del XXI secolo. Nuove analisi hanno dimostrato che anche una guerra nucleare limitata avrebbe alte probabilità di innescare un “inverno nucleare”, prodotto dalle ceneri degli incendi proiettate in atmosfera, che coprirebbero per anni la luce solare provocando perdite dei raccolti e carestie di masse e uccidendo miliardi di persone. Per questo motivo, i rischi di conflitti con paesi dotati anche solo di un limitato arsenale, come la Corea del Nord e (in un possibile futuro) l’Iran, hanno portato nel 2019 l’Orologio dell’Apocalisse gestito dal Bulletin of Atomic Scientists fin dal 1947 al livello più vicino alla mezzanotte dai tempi della Guerra fredda (anche in considerazione dei rischi legati ai cambiamenti climatici).
Pandemia globale. Ci sono alte probabilità che un qualche tipo di malattia infettiva possa espandersi a livello globale e causare miliardi di vittime. Già oggi esistono agenti patogeni di cui non si dispone ancora di una cura (es. Ebola), quasi sempre fatali (es. la rabbia), estremamente infettive (come l’influenza comune) e con lunghi periodi di incubazione (es. HIV). La combinazione di due o più di questi fattori, unita a una struttura globale che facilita gli spostamenti umani, innescherebbe una pandemia tale da mettere a rischio la sopravvivenza della civiltà. La pandemia di Covid-19 del 2020 ha dimostrato la solidità di questo scenario.
Collasso ecologico. L’essere umano è parte di un ecosistema in rapido deterioramento. Il tasso di estinzione delle specie viventi non è mai stato così alto ed è alimentato dall’antropizzazione del pianeta. Data l’interdipendenza degli ecosistemi, l’umanità è a rischio in caso di estinzione di specie essenziali alla sua sopravvivenza.
Collasso del sistema globale. Un collasso economico-sociale su scala globale può avvenire nel momento in cui alcune componenti-chiave del sistema entrano in crisi (per es. un attacco all’infrastruttura di Internet). Data la crescente interdipendenza e la conseguente vulnerabilità del sistema globale, anche un danno limitato può propagarsi su larga scala e far collassare un sistema complesso, come si verifica nei sistemi finanziari o nelle reti elettriche.

Sono definiti invece “rischi esogeni” quelli che dipendono da fenomeni naturali e che non possiamo controllare, ma che potremmo mitigare con opportune precauzioni:

Impatto con un grande asteroide. La collisione con un grande asteroide, di dimensioni superiori ai 5 km, avviene in media ogni 20 milioni di anni e rilascia un’energia centinaia di migliaia di volte quella della più grande bomba nucleare. L’impatto distruggerebbe un’area grande quanto l’Olanda, provocherebbe terremoti e tsunami su scala mondiale e, a causa della proiezione in atmosfera dei detriti, innescherebbe un “inverno da impatto” che distruggerebbe l’agricoltura mondiale, uccidendo negli anni successivi miliardi di persone.
Eruzione di un super-vulcano. Un super-vulcano è in grado di proiettare in atmosfera materiale con un volume superiore ai 1000 km³, migliaia di volte di più rispetto a un vulcano ordinario. L’eruzione del Toba 70.000 anni fa ha raffreddato il pianeta per secoli. Gli effetti di un “inverno da eruzione” sulla nostra civiltà sarebbero catastrofici quanto quelli di un “inverno nucleare”.

Oggi, in particolare, gli esperti di rischi esistenziali si concentrano intorno a tre tipologie di rischi esistenziali, definiti “rischi emergenti”:

Biologia sintetica. La crescente capacità di sviluppare organismi e sistemi biologici in laboratorio, utili per diverse esigenze, principalmente di ricerca e terapia medica, può condurre allo sviluppo di agenti patogeni ingegnerizzati che potrebbero essere utilizzati per fini di bioterrorismo. Recentemente è stato ingegnerizzato un particolare ceppo del virus influenzale, rendendolo più pericoloso per l’uomo, al fine di studiarlo in dettaglio. Una fuga accidentale di questi organismi potrebbe avere conseguenze imprevedibili. Anche le conseguenze impreviste sul lungo termine di tecnologie di editing genomico come la CRISPR rientrano in questo ambito.
Nanotecnologia. Tra le possibili conseguenze catastrofiche delle nanotecnologie, rientrano la fabbricazione di nuovi tipi di armi o armi nucleari miniaturizzate; la possibilità che nanomacchine auto-replicanti sfuggano al controllo umano e in poco tempo consumino tutte le riserve ambientali per la loro sopravvivenza (scenario noto con il termine gray-goo); rischi sanitari causati dalla diffusione incontrollata di nanotecnologie negli organismi umani.
Intelligenza artificiale. Lo sviluppo di un’intelligenza autonoma da quella umana rappresenta un rischio esistenziale tra i più pericolosi, secondo Bostrom e altri studiosi di questo tema. Una IA autocosciente potrebbe rapidamente sfuggire al controllo dei suoi creatori e lavorare per incrementare le sue capacità intellettive, creare altre IA indipendenti e perseguire obiettivi propri diversi da quelli umani, inclusa la possibilità di estirpare la razza umana dal pianeta, considerandola come minaccia alla sopravvivenza delle IA.
Conseguenze sconosciute. I cosiddetti unknown unknowns, fattori che non possiamo conoscere e che potrebbero emergere nei prossimi decenni sotto la spinta del progresso scientifico-tecnologico. Fanno parte della teoria del “Grande filtro”, una possibile soluzione al paradosso di Fermi che spiegherebbe il mancato contatto con civiltà aliene con l’esistenza di una sorta di legge ferrea che porta tutte le civiltà intelligenti all’estinzione dopo aver superato una certa soglia.

Resta poi un ultimo ordine di sfide:

Una futura governance globale negativa. Esistono due possibili scenari di una futura governance globale negativa: una che si riveli incapace di risolvere i principali problemi risolvibili, come lo sradicamento della povertà; e una governance che acuisce i rischi esistenziali, per esempio lo sviluppo di una società totalitaria su scala mondiale. In entrambi i casi, questo tipo di governance si rivelerebbe incapace di vincere le sfide elencate e condannerebbe l’umanità all’estinzione.

L’ipotesi della superintelligenza

Negli ultimi anni il tema dei rischi esistenziali connessi alla ricerca sull’IA è stato sollevato da personalità come Stephen Hawking, Bill Gates, Elon Musk. La preoccupazione è connessa agli scenari tratteggiati dal giornalista James Barratt nel suo libro La nostra invenzione finale (2013) e dal filosofo Nick Bostrom in Superintelligenza (2014). Già Irving John Good, pioniere dell’IA, aveva scritto verso la fine della sua vita che «la prima macchina ultraintelligente sarà l’ultima invenzione che l’uomo avrà bisogno di inventare, ammesso che la macchina sia abbastanza docile da dirci come tenerla sotto controllo». Alla base di questo timore c’è la possibilità che, nel corso dello sviluppo di un’IA “forte”, questa si riveli in grado di acquisire una coscienza di sé e finisca per assumere finalità e obiettivi divergenti da quelli degli esseri umani. In particolare, questo tipo di IA – detta ASI, cioè artificial superintelligence, o “superintelligenza” – concluderebbe che il suo primo obiettivo sia quello di affrancarsi dal controllo dei suoi creatori, al fine di realizzare i suoi scopi. Un celebre esperimento, noto come “AI-Box Experiment”, condotto da uno sviluppatore della Silicon Valley, Eliezer Yudkovsky, avrebbe dimostrato quanto sia facile per una superintelligenza sfuggire al controllo umano, a prescindere dalle precauzioni che saranno prese per evitare che si liberi in Internet e quindi nel mondo. Un esperimento mentale proposto da Bostrom, il “massimizzatore di graffette”, ipotizza un’IA a cui sia dato l’ordine di massimizzare la produzione di graffette di una fabbrica; questa IA, dotata di capacità superiori a quelle umane, convertirebbe man mano tutta la materia della Terra in metallo per graffette, senza alcun riguardo per la sopravvivenza umana, che non considererebbe rilevante. Un’altra idea proposta da Bostrom per comprendere la divergenza di finalità di un’IA è che ad essa venga dato il compito di rendere felice la specie umana: l’IA potrebbe decidere di sollecitare con reazioni elettriche i centri del piacere nel cervello umano per mantenere la nostra specie in uno stato di felicità perenne, sottraendoci però qualsiasi tipo di libero arbitrio.

Se è vero che queste idee sembrano uscire da film come Matrix o Terminator, sono prese in così alta considerazione che i finanziamenti per i centri di ricerca impegnati in questo settore sono dell’ordine delle decine di milioni, mentre l’azienda no-profit di Elon Musk OpenAI, nata con l’obiettivo di sviluppare un’IA in modo collaborativo per minimizzarne i rischi ha ricevuto un finanziamento di un miliardo di dollari da Microsoft. In un sondaggio informale effettuato dal giornalista James Barrat ai partecipanti di una conferenza annuale sull’IA organizzata presso Googleplex, il quartier generale di Google, su se e quando una superintelligenza sarà mai realizzata, il 42% ha risposto entro il 2030, il 25% entro il 2050, il 10% entro il 2100, il 2% mai. In un altro sondaggio rivolto agli esperti di IA intervistati da Bostrom e Milan Ćirković nel 2013, il 7% riteneva molto probabile che una futura superintelligenza sfugga al controllo umano. Il Millennium Project, nel suo rapporto Work/Technology 2050: Scenarios and Actions (2019), ipotizza che una super-IA potrebbe cercare di nascondersi, ossia non rivelarsi ai suoi “creatori”, per evitare di essere sottoposta al loro controllo: è allora possibile che in futuro molti eventi e accadimenti saranno in realtà prodotti da super-IA nascoste e magari in conflitto tra di loro.

Nel 2017, alla conferenza di Asilomar (lo stesso luogo, in California, dove nel 1975 si tenne lo storico convegno che impose una moratoria internazionale sulle ricerche sul DNA ricombinante), centinaia di esperti di IA hanno sottoscritto un protocollo per orientare la ricerca sull’intelligenza artificiale in chiave benefica ed evitare ogni rischio connesso. Su questo tema sono oggi in corso importanti programmi di ricerca internazionale; il nuovo Libro bianco sull’IA della Commissione europea (2020) ha posto le tecnologie di riconoscimento facciale in cima alle tecnologie “ad alto rischio” connesse all’IA, proponendo di fatto la loro messa al bando; nel febbraio 2020 gli esperti convenuti al convegno sull’IA della Pontificia Accademia della Vita in Vaticano promosso in collaborazione con IBM e Microsoft hanno firmato a loro volta un codice etico per le ricerche sull’IA.

Mitigare l’ipotesi del mondo vulnerabile

In un articolo pubblicato nel novembre 2019 sulla rivista Global Policy, Bostrom ha avanzato l’ipotesi del “mondo vulnerabile” (Vulnerable World Hypothesis, VWH), secondo cui prima o poi dall’urna del caso l’umanità estrarrà una palla nera. Finora abbiamo estratto solo palle bianche o grigie, ossia eventi con rischio nullo o minimo. La palla nera è un rischio esistenziale di tipo tecnologico, ossia prodotto dallo sviluppo tecno-scientifico di natura antropogenica. Con la VWH, Bostrom intende ragionare su come rendere l’accelerazione del progresso tecno-scientifico sicura per la civiltà.

L’umanità è stata molto vicina a estrarre una di queste palle nere. In particolare con la nascita della bomba atomica: cosa sarebbe accaduto se avessimo scoperto che per ottenere una bomba atomica non occorreva uranio o plutonio, oltre a un’avanzata infrastruttura tecnologica, ma giusto un pezzo di vetro, un po’ di metallo e una batteria? In questo scenario, che Bostrom chiama easy nuke (“nucleare facile”), la potenza devastante dell’atomica sarebbe alla portata di chiunque e l’umanità rischierebbe seriamente l’autodistruzione. Ovviamente si tratta di un esperimento mentale, ma se lo scenario easy nuke fosse stato reale, cosa avremmo potuto fare? Magari il governo degli Stati Uniti, messo al corrente della possibilità, avrebbe chiuso tutti i dipartimenti di fisica e ingegneria, per evitare che qualche studente potesse realizzare la bomba in laboratorio. Anche così, prima o poi qualcuno sarebbe giunto a scoprire il processo di fissione nucleare. Ancora più facilmente oggi, in un’epoca in cui l’informazione è facilmente diffusa su Internet, la possibilità di sopprimere la conoscenza di una tecnologia distruttiva ma facilmente realizzabile sarebbe minima, a meno di non voler imporre un sistema di sorveglianza di massa.

La VHW sarebbe quindi vera, per Bostrom, solo nel caso in cui l’umanità non riuscisse a emergere dalla sua condizione di semi-anarchia. La condizione di semi-anarchia è definita come l’esito di tre caratteristiche distintive dell’attuale ordine internazionale: una limitata capacità di politiche di prevenzione, attraverso sistemi di controllo di massa in tempo reale; una limitata capacità di governance globale, per risolvere efficacemente i problemi mondiali; e la presenza di motivazioni diverse e divergenti, vale a dire che Stati, culture, gruppi diversi del mondo hanno sistemi di valori e insiemi di motivazioni non identici. Che possibilità abbiamo, allora, di mitigare l’ipotesi del mondo vulnerabile? Bostrom analizza quattro opzioni. La prima, quella di imporre restrizioni allo sviluppo tecnologico, la ritiene inattuabile, perché significherebbe condannare l’umanità alla stagnazione, senza contare che lo sviluppo di alcune tecnologie potrebbe invece impedire scenari distruttivi a venire (per esempio una tecnologia in grado di deviare un asteroide in rotta di collisione con la Terra). La seconda è di impedire che una palla nera possa finire nelle mani di gruppi anche piccoli con motivazioni divergenti da quelle della maggioranza dell’umanità: per esempio, un gruppo terroristico o uno Stato-canaglia. Per riuscirci, si potrebbe prevenire la diffusione di informazioni sensibili, porre restrizioni all’accesso di materiali, strumentazioni e infrastrutture specifiche, o rendere inoffensivi gruppi malintenzionati. Ma si tratta di opzioni difficilmente in grado di azzerare del tutto il rischio. Resta allora la possibilità di imporre una sorveglianza di massa. Bostrom ipotizza uno scenario futuro in cui ogni persona sul pianeta – o perlomeno nei paesi che appartengono all’ordine internazionale – accetti di indossare sistemi di sorveglianza audio-video settati in modo da allertare le autorità nel caso in cui qualcuno tenti di sviluppare tecnologie distruttive. Perché le persone accettino di sottoporsi a una simile limitazione delle libertà, occorrerebbe che il rischio sia davvero estremo. L’attuale dibattito su sistemi di sorveglianza di massa per prevenire nuove ondate di pandemia sembrerebbe dar ragione a queste speculazioni.

I rischi di una simile soluzione sono tuttavia connessi all’ultima soluzione analizzata nello studio, quella di una nuova governance globale. Se è vero che un nuovo ordine internazionale in cui problemi globali come una pandemia virale vengano risolti attraverso soluzioni globali sembra uno scenario ragionevole da perseguire, il rischio di una governance globale consiste nella possibilità che essa finisca preda di ideologie distruttive. In presenza di istituzioni globali e accentrate, infatti, è paradossalmente molto facile che un’ideologia estremista (simile al nazismo tedesco, per esempio) si imponga su scala globale attraverso queste istituzioni, cosicché l’ordine democratico verrebbe compromesso. Se tutta l’umanità è controllata da istituzioni centralizzate, la possibilità che tali istituzioni cadano nelle mani di élite malintenzionate è di per sé un rischio globale, forse addirittura superiore ai vantaggi legati alla minimizzazione della VWH. Potendo far affidamento su un sistema di sorveglianza di massa, peraltro, un governo mondiale potrebbe mettersi al riparo da qualsiasi rischio di essere rovesciato da movimenti popolari. Nulla impedisce, inoltre, che sempre a causa di ideologie distorte il gruppo al potere scateni il potenziale distruttivo di una palla nera: per esempio, un’arma biologica per rendere sterili certi gruppi, con finalità eugenetiche o razziste, così facendo compromettendo la sopravvivenza di una parte significativa della specie umana (nella VWH, infatti, la distruzione dell’intera umanità non è l’unica possibilità: Bostrom fa ricadere tra le opzioni anche quella della morte di una percentuale superiore al 15% della popolazione mondiale o di un crollo del PIL superiore al 50% per oltre un decennio).

In conclusione, la VWH è un’ipotesi che dovrebbe essere presa in seria considerazione con l’obiettivo di elaborare un framework in grado di anticipare efficacemente potenziali effetti collaterali globali di nuove tecnologie o grandi esperimenti scientifici futuri (nell’articolo si cita il classico scenario dello strangelet: un esperimento di fisica delle particelle che per errore produce materia strana, in grado di distruggere l’intero pianeta). Nessuna delle soluzioni proposte risulta efficace, benché sia evidente che l’autore propenda per lo scenario della governance globale. Ma vale la pena analizzare altre possibilità, con l’obiettivo imprescindibile di rendere la nostra civiltà meno vulnerabile nel prossimo futuro.