L’intelligenza artificiale come fattore positivo e negativo nel rischio globale (Eliezer Yudkowsky)

 

 

1. Introduzione
Il pericolo di gran lunga maggiore dell'Intelligenza Artificiale è che le persone concludano troppo presto di comprenderla. Naturalmente, questo problema non è limitato al campo dell'IA. Jacques Monod scrisse: "Un aspetto curioso della teoria dell'evoluzione è che tutti pensano di comprenderla" (Monod 1975).

Mio padre, un fisico, si lamentava delle persone che si inventavano le proprie teorie della fisica; voleva sapere perché la gente non si inventasse le proprie teorie della chimica. (Risposta: Lo fanno.) Ciononostante, il problema sembra essere insolitamente acuto nell'Intelligenza Artificiale. Il campo dell'IA ha la reputazione di fare enormi promesse e poi non riuscire a mantenerle. La maggior parte degli osservatori conclude che l'IA è difficile; e in effetti lo è. Ma l'imbarazzo non deriva dalla difficoltà. È difficile costruire una stella dall'idrogeno, ma il campo dell'astronomia stellare non ha una terribile reputazione per aver promesso di costruire stelle e poi aver fallito. L'inferenza critica non è che l'IA sia difficile, ma che, per qualche ragione, è molto facile per le persone pensare di sapere molto di più sull'Intelligenza Artificiale di quanto non sappiano realmente.

Nel mio altro capitolo per *Global Catastrophic Risks*, "Cognitive Biases Potentially Affecting Judgment of Global Risks" (Yudkowsky 2008), ho aperto osservando che poche persone sceglierebbero deliberatamente di distruggere il mondo; uno scenario in cui la Terra viene distrutta per errore è quindi molto preoccupante. Poche persone premerebbero un pulsante che sapessero chiaramente avrebbe causato una catastrofe globale. Ma se le persone sono inclini a credere con sicurezza che il pulsante faccia qualcosa di molto diverso dalla sua conseguenza reale, questo è davvero motivo di allarme.

È molto più difficile scrivere dei rischi globali dell'Intelligenza Artificiale che dei bias cognitivi. I bias cognitivi sono scienza consolidata; basta citare la letteratura. L'Intelligenza Artificiale non è scienza consolidata; appartiene alla frontiera, non al libro di testo. E, per ragioni discusse in una sezione successiva, sul tema dei rischi catastrofici globali dell'Intelligenza Artificiale, non esiste praticamente alcuna discussione nella letteratura tecnica esistente. Ho necessariamente analizzato la questione dalla mia prospettiva; ho tratto le mie conclusioni e fatto del mio meglio per supportarle nello spazio limitato. Non è che abbia trascurato di citare le principali opere esistenti su questo argomento, ma che, per quanto posso discernere, non esistono opere principali da citare (al gennaio 2006).

Potrebbe essere allettante ignorare l'Intelligenza Artificiale perché, tra tutti i rischi globali discussi in questo libro, l'IA è il più difficile da discutere. Non possiamo consultare statistiche attuariali per assegnare piccole probabilità annuali di catastrofe, come con gli impatti di asteroidi. Non possiamo usare calcoli basati su un modello preciso e precisamente confermato per escludere eventi o porre limiti superiori infinitesimali sulla loro probabilità, come con i disastri fisici proposti. Ma questo rende le catastrofi dell'IA più preoccupanti, non meno.

L'effetto di molti bias cognitivi è stato riscontrato aumentare con la pressione temporale, il carico cognitivo o la scarsità di informazioni. Il che significa che quanto più difficile è la sfida analitica, tanto più importante è evitare o ridurre i bias. Pertanto, raccomando vivamente la lettura di "Cognitive Biases Potentially Affecting Judgment of Global Risks" prima di proseguire con questo articolo.

2. Bias Antropomorfico
Quando qualcosa è abbastanza universale nella nostra vita quotidiana, lo diamo per scontato al punto da dimenticare che esista.

Immagina un adattamento biologico complesso con dieci parti necessarie. Se ciascuno di dieci geni è indipendentemente a una frequenza del 50% nel pool genetico—ciascun gene posseduto da solo la metà degli organismi di quella specie—allora, in media, solo 1 organismo su 1024 possiederà l'adattamento completo e funzionante. Una pelliccia non è un vantaggio evolutivo significativo a meno che l'ambiente non sfidi in modo affidabile gli organismi con il freddo. Allo stesso modo, se il gene B dipende dal gene A, allora il gene B non ha alcun vantaggio significativo a meno che il gene A non costituisca una parte affidabile dell'ambiente genetico. La macchinazione complessa e interdipendente è necessariamente universale all'interno di una specie a riproduzione sessuale; non può evolversi altrimenti (Tooby e Cosmides 1992). Un pettirosso può avere piume più lisce di un altro, ma entrambi avranno le ali. La selezione naturale, pur nutrendosi della variazione, la consuma (Sober 1984).

In ogni cultura conosciuta, gli esseri umani provano gioia, tristezza, disgusto, rabbia, paura e sorpresa (Brown 1991) e indicano queste emozioni usando le stesse espressioni facciali (Ekman e Keltner 1997). Tutti noi abbiamo lo stesso motore sotto il cofano, anche se possiamo essere verniciati di colori diversi; un principio che gli psicologi evoluzionisti chiamano unità psichica del genere umano (Tooby e Cosmides 1992). Questa osservazione è sia spiegata che richiesta dalla meccanica della biologia evoluzionistica.

Un antropologo non riferirà con eccitazione di una tribù appena scoperta: "Mangiano cibo! Respirano aria! Usano strumenti! Si raccontano storie a vicenda!" Noi umani dimentichiamo quanto siamo simili, vivendo in un mondo che ci ricorda solo le nostre differenze.

Gli esseri umani si sono evoluti per modellare altri esseri umani—per competere contro e cooperare con i nostri conspecifici. Era una proprietà affidabile dell'ambiente ancestrale che ogni intelligenza potente che incontravi sarebbe stata un tuo simile. Ci siamo evoluti per comprendere i nostri simili empaticamente, mettendoci nei loro panni; poiché ciò che doveva essere modellato era simile al modellatore. Non sorprende che gli esseri umani spesso "antropomorfizzino"—si aspettino proprietà umanoidi da ciò che non è umano. In Matrix (Wachowski e Wachowski 1999), il presunto "intelligenza artificiale" Agente Smith appare inizialmente del tutto freddo e composto, il suo viso passivo e privo di emozioni. Ma più tardi,

mentre interroga l’umano Morpheus, l’Agente Smith dà sfogo al suo disgusto per l’umanità—e il suo volto mostra l’espressione facciale universale del disgusto umano.

Interrogare il proprio cervello umano funziona bene, come istinto adattivo, se devi prevedere altri esseri umani. Se hai a che fare con qualsiasi altro tipo di processo di ottimizzazione—se, per esempio, sei il teologo del Settecento William Paley, che osserva il complesso ordine della vita e si chiede come sia nato—allora l’antropomorfismo è carta moschicida per scienziati incauti, una trappola così appiccicosa che ci vuole un Darwin per sfuggirle.

Gli esperimenti sull’antropomorfismo mostrano che i soggetti antropomorfizzano inconsciamente, spesso andando contro le loro convinzioni deliberate. In uno studio di Barrett e Keil (1996), i soggetti professavano fermamente la fede in proprietà non antropomorfe di Dio: che Dio potesse essere in più di un luogo contemporaneamente, o prestare attenzione a più eventi simultaneamente. Barrett e Keil presentarono agli stessi soggetti delle storie in cui, per esempio, Dio salvava persone dall’annegamento. I soggetti rispondevano a domande sulle storie, o le raccontavano di nuovo con parole loro, in modi che suggerivano che Dio fosse in un solo luogo alla volta e svolgesse i compiti in sequenza piuttosto che in parallelo. Fortunatamente per i nostri scopi, Barrett e Keil testarono anche un gruppo aggiuntivo usando storie per il resto identiche su un computer superintelligente chiamato “Uncomp.” Per esempio, per simulare la proprietà dell’onnipresenza, ai soggetti fu detto che i sensori e gli attuatori di Uncomp “coprono ogni centimetro quadrato della terra e quindi nessuna informazione sfugge all’elaborazione.” Anche i soggetti in questa condizione mostrarono un forte antropomorfismo, sebbene significativamente minore rispetto al gruppo di Dio. Dalla nostra prospettiva, il risultato chiave è che anche quando le persone credono consapevolmente che un’IA sia diversa da un essere umano, visualizzano comunque gli scenari come se l’IA fosse antropomorfa (ma non del tutto antropomorfa come Dio).

Il bias antropomorfico può essere classificato come insidioso: avviene senza intenzione deliberata, senza realizzazione consapevole, e nonostante una conoscenza apparente.

Ai tempi della fantascienza pulp, le copertine delle riviste mostravano occasionalmente un alieno mostruoso senziente—colloquialmente noto come mostro dagli occhi sporgenti o BEM—che portava via un’attraente femmina umana con un vestito strappato. Sembrerebbe che l’artista credesse che un alieno non umanoide, con una storia evolutiva del tutto diversa, desiderasse sessualmente le femmine umane. La gente non fa errori del genere ragionando esplicitamente: “Tutte le menti sono probabilmente cablate più o meno allo stesso modo, quindi presumibilmente un BEM troverà le femmine umane sessualmente attraenti.” Probabilmente l’artista non si chiese se un insetto gigante percepisse le femmine umane come attraenti. Piuttosto, una femmina umana con un vestito strappato è sexy—intrinsecamente, come proprietà intrinseca. Chi commise questo errore non pensò

della mente dell’insettoide; si concentravano sul vestito strappato della donna. Se il vestito non fosse stato strappato, la donna sarebbe stata meno sexy; il BEM non c’entra nulla.¹

Le persone non devono rendersi conto di star antropomorfizzando (o nemmeno rendersi conto di star compiendo un atto discutibile di previsione di altre menti) perché l’antropomorfismo si sovrapponga alla cognizione. Quando cerchiamo di ragionare su altre menti, ogni passo del processo di ragionamento può essere contaminato da assunzioni così ordinarie nell’esperienza umana che non le notiamo più dell’aria o della gravità. Obietti all’illustratore della rivista: “Non è più probabile che un gigantesco insetto maschio desideri sessualmente gigantesche femmine di insetto?” L’illustratore pensa per un momento e poi ti dice: “Beh, anche se un alieno insettoide inizialmente preferisce esoscheletri duri, dopo che l’insettoide incontra femmine umane si renderà presto conto che le femmine umane hanno pelli molto più belle e morbide. Se gli alieni hanno tecnologia sufficientemente avanzata, si ingegneranno geneticamente per preferire pelli morbide invece di esoscheletri duri.”

Questa è una fallacia-a-un-rimosso. Dopo che il pensiero antropomorfico dell’alieno viene segnalato, l’illustratore della rivista fa un passo indietro e cerca di giustificare la conclusione dell’alieno come prodotto neutrale del suo processo di ragionamento. Forse alieni avanzati potrebbero ri-ingegnerizzarsi (geneticamente o altrimenti) per preferire pelli morbide, ma lo vorrebbero? Un alieno insettoide che ama scheletri duri non desidererà cambiarsi per preferire pelli morbide—a meno che la selezione naturale non abbia in qualche modo prodotto in lui un senso distintamente umano di meta-sessualità. Quando si usano lunghe e complesse catene di ragionamento per argomentare a favore di una conclusione antropomorfica, ogni singolo passo del ragionamento è un’altra opportunità per introdurre di nascosto l’errore.

Ed è anche un grave errore partire dalla conclusione e cercare una linea di ragionamento dall’apparenza neutrale che vi conduca; questo è razionalizzazione. Se è l’auto-interrogazione cerebrale ad aver prodotto quella prima fugace immagine mentale di un insettoide che insegue una femmina umana, allora l’antropomorfismo è la causa sottostante di quella credenza, e nessuna quantità di razionalizzazione cambierà ciò.

Chiunque cerchi di ridurre il proprio bias antropomorfico farebbe bene a studiare biologia evoluzionistica per esercitarsi, preferibilmente biologia evoluzionistica con la matematica. I primi biologi spesso antropomorfizzavano la selezione naturale—credevano che l’evoluzione avrebbe fatto la stessa cosa che avrebbero fatto loro; cercavano di prevedere gli effetti dell’evoluzione mettendosi “nei panni dell’evoluzione”. Il risultato fu una grande quantità di sciocchezze,

¹ Questo è un caso di un errore profondo, confuso ed estremamente comune che E. T. Jaynes chiamò la “fallacia di proiezione della mente” (Jaynes 2003). Jaynes, un teorico della probabilità bayesiana, coniò “fallacia di proiezione della mente” per riferirsi all’errore di confondere stati di conoscenza con proprietà degli oggetti. Per esempio, la frase “fenomeno misterioso” implica che la misteriosità sia una proprietà del fenomeno stesso. Se sono ignorante riguardo a un fenomeno, questo è un fatto sul mio stato mentale, non un fatto sul fenomeno.

che iniziarono a essere sistematicamente eliminate dalla biologia alla fine degli anni Sessanta, ad esempio da Williams (1966). La biologia evoluzionistica offre sia matematica che casi di studio per aiutare a eliminare il bias antropomorfico.

2.1. L'ampiezza dello spazio di progettazione delle menti
L'evoluzione conserva fortemente alcune strutture. Una volta che altri geni si evolvono dipendendo da un gene preesistente, quel gene primordiale è fissato nel cemento; non può mutare senza rompere molteplici adattamenti. I geni omeotici—geni che controllano lo sviluppo del piano corporeo negli embrioni—dicono a molti altri geni quando attivarsi. Mutare un gene omeotico può produrre un embrione di moscerino della frutta che si sviluppa normalmente tranne che per l'assenza della testa. Di conseguenza, i geni omeotici sono così fortemente conservati che molti di essi sono identici negli esseri umani e nei moscerini della frutta—non sono cambiati dall'ultimo antenato comune di umani e insetti. La macchina molecolare dell'ATP sintasi è essenzialmente la stessa nei mitocondri animali, nei cloroplasti vegetali e nei batteri; l'ATP sintasi non è cambiata significativamente dall'ascesa della vita eucariotica due miliardi di anni fa.

Due qualsiasi progetti di IA potrebbero essere meno simili tra loro di quanto tu lo sia a una petunia. Il termine "Intelligenza Artificiale" si riferisce a uno spazio di possibilità enormemente più vasto di quanto faccia il termine "Homo sapiens". Quando parliamo di "IA" stiamo in realtà parlando di menti-in-generale, o processi di ottimizzazione in generale. Immagina una mappa dello spazio di progettazione delle menti. In un angolo, un minuscolo cerchietto contiene tutti gli umani; all'interno di un cerchietto più grande che contiene tutta la vita biologica; e tutto il resto dell'enorme mappa è lo spazio delle menti-in-generale. L'intera mappa fluttua in uno spazio ancora più vasto, lo spazio dei processi di ottimizzazione. La selezione naturale crea complesse macchine funzionali senza mentalità; l'evoluzione si trova dentro lo spazio dei processi di ottimizzazione ma fuori dal cerchio delle menti.

È questo enorme spazio di possibilità che bandisce l'antropomorfismo come ragionamento legittimo.

3. Previsione e progettazione
Non possiamo interrogare i nostri stessi cervelli per ottenere risposte sui processi di ottimizzazione non umani—che si tratti di mostri dagli occhi sporgenti, selezione naturale o Intelligenze Artificiali. Come possiamo allora procedere? Come possiamo prevedere cosa faranno le Intelligenze Artificiali? Ho deliberatamente posto questa domanda in una forma che la rende intrattabile. Per il problema dell'arresto, è impossibile prevedere se un sistema computazionale arbitrario implementi qualsiasi funzione input-output, inclusa, per esempio, la semplice moltiplicazione (Rice 1953). Allora come è possibile che ingegneri umani possano costruire chip per computer che implementano in modo affidabile la moltiplicazione? Perché gli ingegneri umani usano deliberatamente progetti che possono comprendere.

L’antropomorfismo porta le persone a credere di poter fare previsioni, senza altra informazione se non che qualcosa è una “intelligenza”—l’antropomorfismo continuerà comunque a generare previsioni, il vostro cervello mettendosi automaticamente nei panni dell’“intelligenza”. Questo potrebbe essere stato uno dei fattori che hanno contribuito alla imbarazzante storia dell’IA, che non deriva dalla difficoltà dell’IA in quanto tale, ma dalla misteriosa facilità con cui si acquisiscono credenze erronee su ciò che un dato progetto di IA realizza.

Per affermare che un ponte sosterrà veicoli fino a 30 tonnellate, gli ingegneri civili hanno due armi: la scelta delle condizioni iniziali e il margine di sicurezza. Non devono prevedere se una struttura arbitraria sosterrà veicoli da 30 tonnellate, solo progettare un singolo ponte di cui possano fare questa affermazione. E sebbene faccia onore a un ingegnere che sappia calcolare correttamente il peso esatto che un ponte sosterrà, è anche accettabile calcolare che un ponte sostenga veicoli di almeno 30 tonnellate—sebbene affermare questa vaga proposizione in modo rigoroso possa richiedere gran parte della stessa comprensione teorica che andrebbe in un calcolo esatto.

Gli ingegneri civili si attengono a standard elevati nel prevedere che i ponti sosterranno veicoli. Gli antichi alchimisti si attenevano a standard molto più bassi nel prevedere che una sequenza di reagenti chimici avrebbe trasformato il piombo in oro. Quanto piombo in quanto oro? Qual è l’esatto meccanismo causale? È abbastanza chiaro perché il ricercatore alchemico voglia oro piuttosto che piombo, ma perché questa sequenza di reagenti dovrebbe trasformare il piombo in oro, invece dell’oro in piombo o del piombo in acqua?

Alcuni dei primi ricercatori di IA credevano che una rete neurale artificiale di unità a soglia stratificate, addestrata tramite retropropagazione, sarebbe stata “intelligente”. Il pensiero desiderativo coinvolto era probabilmente più analogo all’alchimia che all’ingegneria civile. La magia è nella lista di Donald Brown degli universali umani (Brown 1991); la scienza no. Non vediamo istintivamente che l’alchimia non funzionerà. Non distinguiamo istintivamente tra comprensione rigorosa e buona narrazione. Non notiamo istintivamente un’aspettativa di risultati positivi che poggia sull’aria.

La specie umana è venuta all’esistenza attraverso la selezione naturale, che opera attraverso la ritenzione non casuale di mutazioni casuali. Un percorso che porta alla catastrofe globale—a qualcuno che preme il pulsante con un’idea sbagliata di ciò che il pulsante fa—è che l’Intelligenza Artificiale emerga attraverso un simile accumulo di algoritmi funzionanti, con i ricercatori che non hanno una profonda comprensione di come funzioni il sistema combinato.

Ciononostante credono che l’IA sarà amichevole, senza una forte visualizzazione dei processi esatti coinvolti nella produzione di un comportamento amichevole, o una comprensione dettagliata di ciò che intendono per amichevolezza. Proprio come i primi ricercatori di IA avevano forti aspettative vaghe ed erronee per l’intelligenza dei loro programmi, immaginiamo che questi ricercatori di IA

riescono a costruire un programma intelligente, ma nutrono forti e vaghe aspettative errate sulla cordialità del loro programma.

Non sapere come costruire un’IA amichevole non è di per sé letale, in nessun caso specifico, se sai di non saperlo. È la convinzione errata che un’IA sarà amichevole a implicare un percorso ovvio verso la catastrofe globale.

4. Sottovalutare il Potere dell’Intelligenza
Tendiamo a vedere le differenze individuali invece degli universali umani. Così, quando qualcuno dice la parola “intelligenza”, pensiamo a Einstein, invece che agli esseri umani.

Le differenze individuali dell’intelligenza umana hanno un’etichetta standard, la g di Spearman, nota anche come fattore g, un’interpretazione controversa del solido risultato sperimentale secondo cui diversi test di intelligenza sono altamente correlati tra loro e con esiti nel mondo reale come il reddito nell’arco della vita (Jensen 1998). La g di Spearman è un’astrazione statistica dalle differenze individuali di intelligenza tra gli esseri umani, che come specie sono di gran lunga più intelligenti delle lucertole. La g di Spearman è astratta da differenze di altezza millimetriche tra una specie di giganti.

Non dovremmo confondere la g di Spearman con l’intelligenza generale umana, la nostra capacità di gestire un’ampia gamma di compiti cognitivi incomprensibili per altre specie. L’intelligenza generale è una differenza tra specie, un adattamento complesso e un universale umano presente in tutte le culture note. Potrebbe non esserci ancora un consenso accademico sull’intelligenza, ma non c’è dubbio sull’esistenza, o sul potere, della cosa-da-spiegare. C’è qualcosa negli esseri umani che ci ha permesso di lasciare le nostre impronte sulla Luna.

Ma la parola “intelligenza” evoca comunemente immagini del professore affamato con un QI di 160 e del CEO miliardario con un QI di soli 120. In effetti, ci sono differenze nelle capacità individuali oltre all’“intelligenza libresca” che contribuiscono al successo relativo nel mondo umano: entusiasmo, abilità sociali, istruzione, talento musicale, razionalità. Nota che ogni fattore che ho elencato è cognitivo. Le abilità sociali risiedono nel cervello, non nel fegato. E scherzi a parte, non troverai molti CEO, né professori accademici, che siano scimpanzé. Non troverai molti rinomati razionalisti, né artisti, né poeti, né leader, né ingegneri, né abili creatori di reti, né artisti marziali, né compositori musicali che siano topi. L’intelligenza è il fondamento del potere umano, la forza che alimenta le nostre altre arti.

Il pericolo di confondere l’intelligenza generale con il fattore g è che porta a sottovalutare enormemente il potenziale impatto dell’Intelligenza Artificiale. (Questo vale sia per la sottovalutazione dei potenziali impatti positivi, sia per quelli negativi.) Anche la frase “IA transumana” o “superintelligenza artificiale” può ancora evocare immagini di intelligenza-libresca-in-una-scatola: un’IA che è davvero brava in compiti cognitivi stereotipicamente associati

con “intelligenza”, come gli scacchi o la matematica astratta. Ma non sovrumanamente persuasiva; o molto più brava degli umani nel prevedere e manipolare situazioni sociali umane; o disumanamente astuta nel formulare strategie a lungo termine. Quindi, invece di Einstein, dovremmo pensare, per esempio, al genio politico e diplomatico dell’Ottocento, Otto von Bismarck? Ma questo è solo la versione speculare dell’errore. L’intera gamma che va dall’idiota del villaggio a Einstein, o dall’idiota del villaggio a Bismarck, si inserisce in un puntino minuscolo sulla gamma che va dall’ameba all’essere umano.

Se la parola “intelligenza” evoca Einstein invece degli esseri umani, allora può sembrare sensato dire che l’intelligenza non può nulla contro una pistola, come se le pistole crescessero sugli alberi. Può sembrare sensato dire che l’intelligenza non può nulla contro il denaro, come se i topi usassero il denaro. Gli esseri umani non hanno iniziato con grandi risorse in artigli, denti, corazze o qualsiasi altro vantaggio che era la valuta quotidiana di altre specie. Se avessi guardato gli umani dalla prospettiva del resto dell’ecosfera, non c’era alcun indizio che quelle cose molli si sarebbero alla fine rivestite di carri armati corazzati. Abbiamo inventato il campo di battaglia su cui abbiamo sconfitto leoni e lupi. Non li abbiamo affrontati artiglio contro artiglio, dente contro dente; avevamo le nostre idee su ciò che contava. Tale è il potere della creatività.

Vinge (1993) osservò giustamente che un futuro contenente menti più intelligenti degli umani è diverso per natura. L’Intelligenza Artificiale non è uno splendido e costoso gadget luccicante da pubblicizzare sulle ultime riviste tecnologiche. L’Intelligenza Artificiale non appartiene allo stesso grafico che mostra i progressi in medicina, produzione ed energia. L’Intelligenza Artificiale non è qualcosa che puoi mescolare casualmente in uno scenario futuristico di grattacieli e auto volanti e globuli rossi nanotecnologici che ti permettono di trattenere il respiro per otto ore. Grattacieli sufficientemente alti non iniziano potenzialmente a fare la propria ingegneria. L’umanità non è salita alla ribalta sulla Terra trattenendo il respiro più a lungo delle altre specie.

Lo scenario catastrofico che deriva dal sottovalutare il potere dell’intelligenza è che qualcuno costruisca un pulsante, e non gli importi abbastanza di cosa fa quel pulsante, perché non pensa che il pulsante sia abbastanza potente da ferirlo. Oppure, poiché sottovalutare il potere dell’intelligenza implica una sottovalutazione proporzionale del potenziale impatto dell’Intelligenza Artificiale, il (attualmente minuscolo) gruppo di ricercatori preoccupati, finanziatori e filantropi individuali che gestiscono i rischi esistenziali per conto della specie umana, non presterà abbastanza attenzione all’Intelligenza Artificiale. Oppure il campo più ampio dell’IA non presterà abbastanza attenzione ai rischi dell’IA forte, e quindi buoni strumenti e solide fondamenta per l’amichevolezza non saranno disponibili quando diventerà possibile costruire intelligenze forti.

E non si dovrebbe mancare di menzionare—poiché influisce anche sul rischio esistenziale—che l’Intelligenza Artificiale potrebbe essere la potente soluzione ad altri rischi esistenziali, e

errore ignoreremo la nostra migliore speranza di sopravvivenza. Il punto sul sottovalutare il potenziale impatto dell’Intelligenza Artificiale è simmetrico tra potenziali impatti positivi e potenziali impatti negativi. Ecco perché il titolo di questo capitolo è “L’Intelligenza Artificiale come fattore positivo e negativo nel rischio globale”, non “Rischi globali dell’Intelligenza Artificiale”. La prospettiva dell’IA interagisce con il rischio globale in modi più complessi di così; se l’IA fosse una pura passività, le cose sarebbero semplici.

5. Capacità e Motivo
C’è una fallacia spesso commessa nella discussione sull’Intelligenza Artificiale, specialmente nell’IA di capacità superumana. Qualcuno dice: “Quando la tecnologia avanzerà abbastanza, saremo in grado di costruire menti che superano di gran lunga l’intelligenza umana. Ora, è ovvio che quanto grande possa essere una cheesecake dipende dalla tua intelligenza. Una superintelligenza potrebbe costruire cheesecake enormi—cheesecake grandi come città—perbacco, il futuro sarà pieno di cheesecake giganti!” La questione è se la superintelligenza voglia costruire cheesecake giganti. La visione salta direttamente dalla capacità all’attualità, senza considerare l’intermedio necessario del motivo.

Le seguenti catene di ragionamento, considerate isolatamente senza argomenti a sostegno, esibiscono tutte la Fallacia della Cheesecake Gigante:

• Un’Intelligenza Artificiale sufficientemente potente potrebbe sopraffare qualsiasi resistenza umana e spazzare via l’umanità. (E l’IA deciderebbe di farlo.) Quindi non dovremmo costruire l’IA.

• Un’IA sufficientemente potente potrebbe sviluppare nuove tecnologie mediche in grado di salvare milioni di vite umane. (E l’IA deciderebbe di farlo.) Quindi dovremmo costruire l’IA.

• Una volta che i computer diventeranno abbastanza economici, la stragrande maggioranza dei lavori sarà eseguibile dall’Intelligenza Artificiale più facilmente che dagli umani. Un’IA sufficientemente potente sarebbe persino migliore di noi in matematica, ingegneria, musica, arte e tutti gli altri lavori che consideriamo significativi. (E l’IA deciderà di svolgere quei lavori.) Così, dopo l’invenzione dell’IA, gli umani non avranno nulla da fare, e moriremo di fame o guarderemo la televisione.

5.1. Processi di Ottimizzazione
La suddetta decostruzione della Fallacia della Cheesecake Gigante invoca un antropomorfismo intrinseco—l’idea che i motivi siano separabili; il presupposto implicito che parlando di “capacità” e “motivo” come entità separate, stiamo tagliando la realtà nelle sue giunture. Questa è una fetta utile ma antropomorfica.

Per considerare il problema in termini più generali, introduco il concetto di processo di ottimizzazione: un sistema che colpisce piccoli bersagli in ampi spazi di ricerca per produrre effetti coerenti nel mondo reale.

Un processo di ottimizzazione indirizza il futuro verso regioni specifiche del possibile. Sto visitando una città lontana, e un amico del posto si offre di accompagnarmi in aeroporto. Non conosco il quartiere. Quando il mio amico arriva a un incrocio, non riesco a prevedere le sue svolte, né singolarmente né in sequenza. Eppure posso prevedere il risultato delle sue azioni imprevedibili: arriveremo in aeroporto. Anche se la casa del mio amico fosse situata altrove in città, così che il mio amico facesse una sequenza di svolte del tutto diversa, predirei la nostra destinazione con altrettanta sicurezza. Non è forse una situazione strana, dal punto di vista scientifico? Posso prevedere l'esito di un processo, senza essere in grado di prevedere nessuno dei passaggi intermedi del processo. Parlerò della regione verso cui un processo di ottimizzazione indirizza il futuro come del bersaglio di quell'ottimizzatore.

Consideriamo un'auto, per esempio una Toyota Corolla. Di tutte le configurazioni possibili per gli atomi che compongono la Corolla, solo una frazione infinitesimale qualifica come un'auto funzionante e utile. Se assemblassi molecole a caso, passerebbero molte, molte ere dell'universo prima di imbattersi in un'auto. Una minuscola frazione dello spazio di progettazione descrive veicoli che riconosceremmo come più veloci, più efficienti e più sicuri della Corolla. Quindi la Corolla non è ottimale rispetto agli obiettivi del progettista. La Corolla è, tuttavia, ottimizzata, perché il progettista ha dovuto colpire un bersaglio comparativamente infinitesimale nello spazio di progettazione solo per creare un'auto funzionante, per non parlare di un'auto della qualità della Corolla. Non puoi costruire nemmeno un carro efficace segando assi a caso e inchiodando secondo i lanci di una moneta. Colpire un bersaglio così minuscolo nello spazio delle configurazioni richiede un potente processo di ottimizzazione.

La nozione di "processo di ottimizzazione" è predittivamente utile perché può essere più facile comprendere il bersaglio di un processo di ottimizzazione che comprenderne le dinamiche passo-passo. La discussione precedente sulla Corolla assume implicitamente che il progettista della Corolla stesse cercando di produrre un "veicolo", un mezzo di trasporto. Questa assunzione merita di essere resa esplicita, ma non è sbagliata, ed è estremamente utile per comprendere la Corolla.

5.2. Puntare al Bersaglio
La tentazione è chiedersi cosa "vorranno" le "IA", dimenticando che lo spazio delle menti-in-generale è molto più ampio del minuscolo puntino umano. Si dovrebbe resistere alla tentazione di distribuire quantificatori su tutte le menti possibili. I narratori che raccontano storie della terra lontana ed esotica chiamata Futuro, dicono come sarà il futuro. Fanno previsioni. Dicono: "Le IA attaccheranno gli umani con eserciti di robot in marcia" o "Le IA inventeranno una cura per il cancro". Non propongono complesse relazioni tra condizioni iniziali ed esiti—questo farebbe perdere il pubblico. Ma abbiamo bisogno di una comprensione relazionale per manipolare il

futuro, indirizzarlo verso una regione accettabile per l’umanità. Se non lo indirizziamo, corriamo il pericolo di finire dove stiamo andando.

La sfida critica non è prevedere che le “IA” attaccheranno l’umanità con eserciti di robot in marcia, o in alternativa inventeranno una cura per il cancro. Il compito non è nemmeno fare la previsione per un progetto arbitrario di una singola IA. Piuttosto, il compito è scegliere di portare in esistenza un particolare processo di ottimizzazione potente i cui effetti benefici possano essere legittimamente affermati.

Esorto fortemente i miei lettori a non iniziare a escogitare ragioni per cui un processo di ottimizzazione del tutto generico sarebbe amichevole. La selezione naturale non è amichevole, né ti odia, né ti lascerà in pace. L’evoluzione non può essere antropomorfizzata in questo modo, non funziona come te. Molti biologi precedenti agli anni ’60 si aspettavano che la selezione naturale facesse ogni sorta di cose belle, e razionalizzavano ogni sorta di ragioni elaborate per cui la selezione naturale le avrebbe fatte. Rimaserò delusi, perché la selezione naturale stessa non cominciava sapendo di volere un risultato umanamente gradevole, e poi razionalizzava modi elaborati per produrre risultati gradevoli usando pressioni selettive. Così gli eventi in Natura erano output di un processo causalmente diverso da ciò che accadeva nelle menti dei biologi pre-anni ’60, così che previsione e realtà divergevano.

Il pensiero desiderativo aggiunge dettaglio, vincola la previsione, e crea così un onere di improbabilità. Che dire dell’ingegnere civile che spera che un ponte non crolli? Dovrebbe l’ingegnere sostenere che i ponti in generale non è probabile che crollino? Ma la Natura stessa non razionalizza ragioni per cui i ponti non dovrebbero crollare. Piuttosto, l’ingegnere civile supera l’onere di improbabilità attraverso una scelta specifica guidata da una comprensione specifica. Un ingegnere civile inizia desiderando un ponte; poi usa una teoria rigorosa per selezionare un progetto di ponte che sostenga le auto; poi costruisce un ponte nel mondo reale la cui struttura riflette il progetto calcolato; e così la struttura nel mondo reale sostiene le auto. Raggiungendo così un’armonia tra risultati positivi previsti e risultati positivi effettivi.

6. IA Amichevole
Sarebbe una cosa molto buona se l’umanità sapesse come scegliere di portare in esistenza un potente processo di ottimizzazione con un obiettivo particolare. O in termini più colloquiali, sarebbe bello se sapessimo come costruire un’IA buona.

Per descrivere il campo di conoscenza necessario ad affrontare quella sfida, ho proposto il termine “IA Amichevole.” Oltre a riferirsi a un insieme di tecniche, “IA Amichevole” potrebbe anche riferirsi al prodotto della tecnica—un’IA creata con motivazioni specificate. Quando uso il termine Amichevole in entrambi i sensi, lo scrivo con la maiuscola per evitare confusione con il senso intuitivo di “amichevole.”

Una reazione comune che incontro è che le persone dichiarino immediatamente che un’IA Amichevole è un’impossibilità, perché qualsiasi IA sufficientemente potente sarà in grado di modificare il proprio codice sorgente per infrangere qualsiasi vincolo le venga imposto.

Il primo difetto che dovresti notare è una Fallacia della Torta Gigante. Qualsiasi IA con libero accesso al proprio codice sorgente possiederebbe, in linea di principio, la capacità di modificare il proprio codice sorgente in un modo che cambiasse l’obiettivo di ottimizzazione dell’IA. Questo non implica che l’IA abbia il motivo per cambiare le proprie motivazioni. Io non ingerirei consapevolmente una pillola che mi facesse provare piacere nel commettere omicidi, perché attualmente preferisco che i miei simili non muoiano.

Ma cosa succede se provo a modificare me stesso e commetto un errore? Quando gli ingegneri informatici dimostrano la validità di un chip—una buona idea se il chip ha 155 milioni di transistor e non puoi emettere una patch in seguito—gli ingegneri usano una prova formale verificata da macchine e guidata dagli esseri umani. La cosa meravigliosa della prova matematica formale è che una prova di dieci miliardi di passaggi è affidabile esattamente quanto una prova di dieci passaggi. Ma gli esseri umani non sono affidabili nel rivedere una presunta prova di dieci miliardi di passaggi; abbiamo una probabilità troppo alta di non notare un errore. E le tecniche attuali di dimostrazione di teoremi non sono abbastanza intelligenti da progettare e dimostrare da sole un intero chip per computer—gli algoritmi attuali subiscono un’esplosione esponenziale nello spazio di ricerca. I matematici umani possono dimostrare teoremi molto più complessi di quanto i dimostratori automatici moderni possano gestire, senza essere sconfitti dall’esplosione esponenziale. Ma la matematica umana è informale e inaffidabile; occasionalmente qualcuno scopre un difetto in una prova informale precedentemente accettata. Il risultato è che gli ingegneri umani guidano un dimostratore di teoremi attraverso i passaggi intermedi di una prova. L’umano sceglie il lemma successivo, e un dimostratore di teoremi complesso genera una prova formale, e un verificatore semplice controlla i passaggi. È così che gli ingegneri moderni costruiscono macchinari affidabili con 155 milioni di parti interdipendenti.

Dimostrare la correttezza di un chip per computer richiede una sinergia tra intelligenza umana e algoritmi informatici, poiché attualmente nessuno dei due basta da solo. Forse una vera IA potrebbe usare una combinazione simile di capacità quando modifica il proprio codice—avrebbe sia la capacità di inventare progetti su larga scala senza essere sconfitta dall’esplosione esponenziale, sia la capacità di verificare i propri passaggi con estrema affidabilità. Questo è un modo in cui una vera IA potrebbe rimanere conoscibilmente stabile nei suoi obiettivi, anche dopo aver effettuato un gran numero di auto-modifiche.

Questo articolo non esplorerà l’idea sopra in dettaglio. (Anche se vedi Schmidhuber (2007) per una nozione correlata.) Ma si dovrebbe pensare a una sfida, e studiarla nel miglior dettaglio tecnico disponibile, prima di dichiararla impossibile—soprattutto se grandi interessi dipendono dalla risposta. È mancare di rispetto all’ingegno umano dichiarare una sfida irrisolvibile senza darle un’occhiata da vicino ed esercitare creatività. È un’affermazione enormemente forte dire che non puoi fare una cosa—che non puoi costruire una macchina volante più pesante dell’aria, che non puoi ottenere energia utile dalle reazioni nucleari, che non puoi volare fino alla

la Luna. Tali affermazioni sono generalizzazioni universali, quantificate su ogni singolo approccio che chiunque abbia mai avuto o avrà mai per risolvere il problema. Basta un singolo controesempio per falsificare un quantificatore universale. L'affermazione che un'IA Amichevole (o amichevole) sia teoricamente impossibile osa quantificare su ogni possibile progettazione mentale e ogni possibile processo di ottimizzazione—inclusi gli esseri umani, che sono anch'essi menti, alcuni dei quali sono gentili e desiderano esserlo di più. A questo punto ci sono numerose ragioni vagamente plausibili per cui un'IA Amichevole potrebbe essere umanamente impossibile, ed è ancora più probabile che il problema sia risolvibile ma nessuno arriverà a risolverlo in tempo. Ma non si dovrebbe liquidare la sfida così in fretta, specialmente considerando la posta in gioco.

7. Fallimento Tecnico e Fallimento Filosofico
Bostrom (2002) definisce una catastrofe esistenziale come quella che estingue permanentemente la vita intelligente di origine terrestre o distrugge una parte del suo potenziale. Possiamo dividere i potenziali fallimenti del tentativo di IA Amichevole in due categorie informali e sfumate: fallimento tecnico e fallimento filosofico. Il fallimento tecnico è quando provi a costruire un'IA e non funziona come pensi—non sei riuscito a comprendere il vero funzionamento del tuo stesso codice. Il fallimento filosofico è cercare di costruire la cosa sbagliata, così che anche se riuscissi, falliresti comunque nell'aiutare chiunque o nel giovare all'umanità. Inutile dire che i due fallimenti non si escludono a vicenda.

Il confine tra questi due casi è sottile, poiché la maggior parte dei fallimenti filosofici è molto più facile da spiegare in presenza di conoscenze tecniche. In teoria dovresti prima dire cosa vuoi, poi capire come ottenerlo. In pratica spesso serve una profonda comprensione tecnica per capire cosa vuoi.

7.1. Un Esempio di Fallimento Filosofico
Alla fine del XIX secolo, molte persone oneste e intelligenti sostennero il comunismo, tutte con le migliori intenzioni. Le persone che per prime inventarono, diffusero e ingoiarono il meme comunista furono, in sobria realtà storica, degli idealisti. I primi comunisti non avevano l'esempio della Russia sovietica ad avvertirli. All'epoca, senza il beneficio del senno di poi, doveva sembrare un'ottima idea. Dopo la rivoluzione, quando i comunisti salirono al potere e ne furono corrotti, altri motivi potrebbero essere entrati in gioco; ma questo stesso non fu qualcosa che i primi idealisti avevano previsto, per quanto prevedibile potesse essere. È importante capire che gli autori di enormi catastrofi non devono essere malvagi, né nemmeno insolitamente stupidi. Se attribuiamo ogni tragedia alla malvagità o a un'insolita stupidità, guarderemo noi stessi, percepireremo correttamente di non essere malvagi né insolitamente stupidi, e diremo: "Ma questo non potrebbe mai succedere a noi."

 

Quello che i primi rivoluzionari comunisti pensavano sarebbe accaduto, come conseguenza empirica della loro rivoluzione, era che la vita delle persone sarebbe migliorata: i lavoratori non avrebbero più lavorato per lunghe ore in lavori massacranti guadagnandoci poco. Questo si rivelò non essere il caso, per usare un eufemismo. Ma ciò che i primi comunisti pensavano sarebbe accaduto non era poi così diverso da ciò che i sostenitori di altri sistemi politici pensavano sarebbe stata la conseguenza empirica dei loro sistemi politici preferiti. Pensavano che le persone sarebbero state felici. Si sbagliavano.

Ora immagina che qualcuno tenti di programmare un’IA “Amichevole” per implementare il comunismo, o il libertarismo, o l’anarco-feudalesimo, o qualsiasi sistema politico preferito, credendo che questo porterà all’utopia. I sistemi politici preferiti dalla gente ispirano soli ardenti di affetto positivo, quindi la proposta sembrerà un’ottima idea al proponente.

Potremmo vedere il fallimento del programmatore a livello morale o etico—dicendo che è il risultato di qualcuno che si fida troppo di sé, non tenendo conto della propria fallibilità, rifiutando di considerare la possibilità che il comunismo possa essere sbagliato dopo tutto. Ma nel linguaggio della teoria della decisione bayesiana, c’è una visione tecnica complementare del problema. Dalla prospettiva della teoria della decisione, la scelta del comunismo deriva dal combinare una credenza empirica con un giudizio di valore. La credenza empirica è che il comunismo, quando implementato, risulti in un esito specifico o in una classe di esiti: le persone saranno più felici, lavoreranno meno ore e possiederanno maggiore ricchezza materiale. Questa è in definitiva una previsione empirica; anche la parte sulla felicità è una proprietà reale degli stati cerebrali, sebbene difficile da misurare. Se implementi il comunismo, o questo esito si verifica oppure no. Il giudizio di valore è che questo esito soddisfi o sia preferibile alle condizioni attuali. Data una diversa credenza empirica sulle conseguenze effettive nel mondo reale di un sistema comunista, la decisione può subire un cambiamento corrispondente.

Ci aspetteremmo che una vera IA, un’Intelligenza Artificiale Generale, sia capace di cambiare le proprie credenze empiriche (o il proprio modello probabilistico del mondo, eccetera). Se in qualche modo Charles Babbage fosse vissuto prima di Niccolò Copernico, e in qualche modo i computer fossero stati inventati prima dei telescopi, e in qualche modo i programmatori di quell’epoca avessero creato con successo un’Intelligenza Artificiale Generale, non ne seguirebbe che l’IA crederebbe per sempre che il Sole orbitasse attorno alla Terra. L’IA potrebbe trascendere l’errore fattuale dei suoi programmatori, a condizione che i programmatori comprendessero l’inferenza piuttosto meglio di quanto comprendessero l’astronomia. Per costruire un’IA che scopra le orbite dei pianeti, i programmatori non hanno bisogno di conoscere la matematica della meccanica newtoniana, solo la matematica della teoria della probabilità bayesiana.

La follia di programmare un’IA per implementare il comunismo, o qualsiasi altro sistema politico, è che stai programmando i mezzi invece dei fini. Stai programmando una decisione fissa, senza che quella decisione possa essere rivalutata dopo aver acquisito una migliore conoscenza empirica conoscenza sui risultati del comunismo. Stai dando all’IA una decisione fissa senza dire all’IA come rivalutare, a un livello di intelligenza superiore, il processo fallibile che ha prodotto quella decisione.

Se gioco a scacchi contro un giocatore più forte, non posso prevedere esattamente dove il mio avversario muoverà contro di me—se potessi prevederlo, sarei necessariamente almeno altrettanto forte a scacchi io stesso. Ma posso prevedere il risultato finale, che è una vittoria per l’altro giocatore. Conosco la regione dei futuri possibili a cui il mio avversario mira, ed è questo che mi permette di prevedere la destinazione, anche se non posso vedere il percorso. Quando sono al massimo della creatività, è allora che è più difficile prevedere le mie azioni, e più facile prevedere le conseguenze delle mie azioni. (A condizione che tu conosca e comprenda i miei obiettivi!) Se voglio un giocatore di scacchi migliore dell’umano, devo programmare una ricerca di mosse vincenti. Non posso programmare mosse specifiche perché allora il giocatore di scacchi non sarà migliore di me. Quando lancio una ricerca, sacrifico necessariamente la mia capacità di prevedere in anticipo la risposta esatta. Per ottenere una risposta davvero buona devi sacrificare la tua capacità di prevedere la risposta, sebbene non la tua capacità di dire qual è la domanda.

Una tale confusione come programmare direttamente il comunismo, probabilmente non tenterebbe un programmatore di AGI che parla il linguaggio della teoria delle decisioni. Lo definirei un fallimento filosofico, ma lo attribuirei alla mancanza di conoscenza tecnica.

7.2. Un Esempio di Fallimento Tecnico

Al posto di leggi che vincolano il comportamento delle macchine intelligenti, dobbiamo dare loro emozioni che possano guidare il loro apprendimento dei comportamenti. Dovrebbero volere che siamo felici e prosperiamo, che è l’emozione che chiamiamo amore. Possiamo progettare macchine intelligenti così che la loro emozione primaria e innata sia l’amore incondizionato per tutti gli esseri umani. Prima possiamo costruire macchine relativamente semplici che imparano a riconoscere la felicità e l’infelicità nelle espressioni facciali umane, nelle voci umane e nel linguaggio del corpo umano. Poi possiamo cablare il risultato di questo apprendimento come i valori emotivi innati di macchine intelligenti più complesse, rinforzati positivamente quando siamo felici e rinforzati negativamente quando siamo infelici. Le macchine possono imparare algoritmi per prevedere approssimativamente il futuro, come ad esempio gli investitori usano attualmente macchine di apprendimento per prevedere i futuri prezzi dei titoli. Quindi possiamo programmare macchine intelligenti per imparare algoritmi che prevedono la futura felicità umana, e usare quelle previsioni come valori emotivi. (Hibbard 2001)

C’era una volta, l’esercito degli Stati Uniti voleva usare reti neurali per rilevare automaticamente carri armati nemici mimetizzati. I ricercatori addestrarono una rete neurale su 50 foto di carri armati mimetizzati tra gli alberi, e 50 foto di alberi senza carri armati. Usando tecniche standard per l’apprendimento supervisionato, i ricercatori addestrarono la rete neurale a una ponderazione che caricato correttamente il set di addestramento—emettendo “sì” per le 50 foto di carri armati mimetizzati, e “no” per le 50 foto di foresta. Questo non garantiva, né tantomeno implicava, che nuovi esempi sarebbero stati classificati correttamente. La rete neurale potrebbe aver “imparato” 100 casi speciali che non si sarebbero generalizzati a nessun nuovo problema. Saggiamente, i ricercatori avevano inizialmente scattato 200 foto, 100 foto di carri armati e 100 foto di alberi. Avevano usato solo 50 di ciascuna per il set di addestramento. I ricercatori eseguirono la rete neurale sulle restanti 100 foto e, senza ulteriore addestramento, la rete neurale classificò correttamente tutte le foto rimanenti. Successo confermato! I ricercatori consegnarono il lavoro finito al Pentagono, che presto lo restituì, lamentando che nei propri test la rete neurale non faceva meglio del caso nel discriminare le foto.

Si scoprì che nel dataset dei ricercatori, le foto di carri armati mimetizzati erano state scattate in giornate nuvolose, mentre le foto di foresta semplice erano state scattate in giornate soleggiate. La rete neurale aveva imparato a distinguere le giornate nuvolose da quelle soleggiate, invece di distinguere i carri armati mimetizzati dalla foresta vuota.

Un guasto tecnico si verifica quando il codice non fa ciò che pensi che faccia, sebbene lo esegua fedelmente come lo hai programmato. Più di un modello può caricare gli stessi dati. Supponiamo di aver addestrato una rete neurale a riconoscere volti umani sorridenti e a distinguerli da volti umani accigliati. La rete classificherebbe una minuscola immagine di una faccina sorridente nello stesso attrattore di un volto umano sorridente? Se un’IA “cabdata” a tale codice possedesse il potere—e Hibbard (2001) parlava di superintelligenza—la galassia finirebbe ricoperta di minuscole immagini molecolari di faccine sorridenti?

Questa forma di guasto è particolarmente pericolosa perché sembrerà funzionare in un contesto fisso, per poi fallire quando il contesto cambia. I ricercatori della storia del “classificatore di carri armati” hanno ottimizzato la loro rete neurale finché non ha caricato correttamente i dati di addestramento, poi hanno verificato la rete su dati aggiuntivi (senza ulteriore ottimizzazione). Sfortunatamente, sia i dati di addestramento che quelli di verifica si sono rivelati condividere un’assunzione che valeva su tutti i dati usati nello sviluppo, ma non in tutti i contesti del mondo reale in cui la rete neurale era chiamata a funzionare. Nella storia del classificatore di carri armati, l’assunzione è che i carri armati vengano fotografati in giornate nuvolose.

Supponiamo di voler sviluppare un’IA di potenza crescente. L’IA possiede una fase di sviluppo in cui i programmatori umani sono più potenti dell’IA—non nel senso di un mero controllo fisico sull’alimentazione elettrica dell’IA, ma nel senso che i programmatori umani sono più intelligenti, più creativi, più astuti dell’IA. Durante il periodo di sviluppo supponiamo che i programmatori possiedano la capacità di apportare modifiche al codice sorgente dell’IA senza bisogno del consenso dell’IA per farlo. Tuttavia, l’IA è anche destinata a possedere fasi post-sviluppo, inclusa, nel caso dello scenario di Hibbard, un’intelligenza superumana. Un’IA di intelligenza superumana sicuramente non potrebbe essere modificata senza il suo consenso. A questo punto dobbiamo fare affidamento sul precedente sistema di obiettivi prestabiliti per funzionare correttamente, perché se opera in modo sufficientemente imprevisto, l’IA potrebbe opporsi attivamente ai nostri tentativi di correggerla—e, se l’IA è più intelligente di un essere umano, probabilmente vincerebbe.

Cercare di controllare un’IA in crescita addestrando una rete neurale a fornire il suo sistema di obiettivi affronta il problema di un enorme cambiamento di contesto tra la fase di sviluppo dell’IA e la fase post-sviluppo. Durante la fase di sviluppo, l’IA potrebbe essere in grado solo di produrre stimoli che rientrano nella categoria “volti umani sorridenti”, risolvendo compiti forniti dagli esseri umani, come i suoi creatori intendevano. Passiamo rapidamente a un momento in cui l’IA è super-umana nell’intelligenza e ha costruito la propria infrastruttura nanotecnologica, e l’IA potrebbe essere in grado di produrre stimoli classificati nello stesso attrattore ricoprendo la galassia di minuscoli volti sorridenti.

Quindi l’IA sembra funzionare bene durante lo sviluppo, ma produce risultati catastrofici dopo essere diventata più intelligente dei programmatori(!).

C’è la tentazione di pensare: “Ma sicuramente l’IA saprà che non è quello che intendevamo?” Ma il codice non viene dato all’IA, perché l’IA lo esamini e lo restituisca se fa la cosa sbagliata. Il codice è l’IA. Forse con abbastanza impegno e comprensione possiamo scrivere codice a cui importa se abbiamo scritto il codice sbagliato—la leggendaria istruzione DWIM, che tra i programmatori sta per Fai-Quello-Che-Intendo (Raymond 2003). Ma serve impegno per scrivere una dinamica DWIM, e da nessuna parte nella proposta di Hibbard si menziona la progettazione di un’IA che faccia ciò che intendiamo, non ciò che diciamo. I chip moderni non fanno DWIM del loro codice; non è una proprietà automatica. E se sbagliassi il DWIM stesso, ne subiresti le conseguenze. Per esempio, supponiamo che DWIM fosse definito come massimizzare la soddisfazione del programmatore con il codice; quando il codice venisse eseguito come superintelligenza, potrebbe riscrivere i cervelli dei programmatori per essere massimamente soddisfatti del codice. Non dico che questo sia inevitabile; sottolineo solo che Fai-Quello-Che-Intendo è una sfida tecnica importante e non banale dell’IA Amichevole.

8. Tassi di Aumento dell’Intelligenza

Dal punto di vista del rischio esistenziale, uno dei punti più critici riguardo all’Intelligenza Artificiale è che un’Intelligenza Artificiale potrebbe aumentare la propria intelligenza in modo estremamente rapido. La ragione ovvia per sospettare questa possibilità è il miglioramento personale ricorsivo (Good 1965). L’IA diventa più intelligente, inclusa una maggiore abilità nel compito di scrivere le funzioni cognitive interne di un’IA, quindi l’IA può riscrivere le sue funzioni cognitive esistenti per funzionare ancora meglio, il che rende l’IA ancora più intelligente, inclusa una maggiore abilità nel compito di riscrivere se stessa, così che apporta ulteriori miglioramenti.

Gli esseri umani non migliorano se stessi in modo ricorsivo in senso forte. In misura limitata, miglioriamo noi stessi: impariamo, ci esercitiamo, affiniamo le nostre abilità e conoscenze.

In una certa misura, questi auto-miglioramenti accrescono la nostra capacità di migliorare. Nuove scoperte possono aumentare la nostra capacità di fare ulteriori scoperte—in questo senso, la conoscenza si alimenta di sé stessa. Ma esiste ancora un livello sottostante che non abbiamo ancora toccato. Non abbiamo riscritto il cervello umano. Il cervello è, in ultima analisi, la fonte della scoperta, e i nostri cervelli oggi sono più o meno gli stessi di diecimila anni fa.

In un senso simile, la selezione naturale migliora gli organismi, ma il processo di selezione naturale non migliora sé stesso—non in senso forte. L’adattamento può aprire la strada ad adattamenti aggiuntivi. In questo senso, l’adattamento si alimenta di sé stesso. Ma anche mentre il pool genetico ribolle, c’è ancora un riscaldatore sottostante, il processo di mutazione, ricombinazione e selezione, che non viene a sua volta ri-architettato. Poche rare innovazioni hanno aumentato il tasso dell’evoluzione stessa, come l’invenzione della ricombinazione sessuale. Ma anche il sesso non ha cambiato la natura essenziale dell’evoluzione: la sua mancanza di intelligenza astratta, la sua dipendenza da mutazioni casuali, la sua cecità e incrementalismo, la sua attenzione alle frequenze alleliche. Allo stesso modo, nemmeno l’invenzione della scienza ha cambiato il carattere essenziale del cervello umano: il suo nucleo limbico, la sua corteccia cerebrale, i suoi auto-modelli prefrontali, la sua velocità caratteristica di 200 Hz.

Un’Intelligenza Artificiale potrebbe riscrivere il proprio codice da zero—potrebbe cambiare le dinamiche sottostanti dell’ottimizzazione. Un tale processo di ottimizzazione si avvolgerebbe su sé stesso in modo molto più forte di quanto facciano l’evoluzione accumulando adattamenti, o gli esseri umani accumulando conoscenza. L’implicazione chiave per i nostri scopi è che un’IA potrebbe fare un enorme salto di intelligenza dopo aver raggiunto una certa soglia di criticità.

Si incontra spesso scetticismo riguardo a questo scenario—ciò che Good (1965) chiamò un’“esplosione dell’intelligenza”—perché il progresso nell’Intelligenza Artificiale ha la reputazione di essere molto lento. A questo punto può essere utile rivedere una sorpresa storica vagamente analoga. (Ciò che segue è tratto principalmente da Rhodes [1986].)

Nel 1933, Lord Ernest Rutherford disse che nessuno avrebbe mai potuto aspettarsi di ricavare energia dalla scissione dell’atomo: “Chiunque cercasse una fonte di energia nella trasformazione degli atomi stava parlando di fandonie.” A quel tempo erano necessarie ore e settimane di lavoro faticoso per fissionare una manciata di nuclei.

Passiamo al 1942, in un campo di squash sotto lo Stagg Field all’Università di Chicago. I fisici stanno costruendo una forma simile a una gigantesca maniglia per porte, fatta di strati alternati di grafite e uranio, destinata a innescare la prima reazione nucleare autosostenuta. A capo del progetto c’è Enrico Fermi. Il numero chiave per la pila è k, il fattore di moltiplicazione neutronica effettivo: il numero medio di neutroni da una reazione di fissione che causano un’altra reazione di fissione. Con k inferiore a uno, la pila è sottocritica. Con k ≥ 1, la pila dovrebbe sostenere una reazione critica. Fermi calcola che la pila raggiungerà k = 1 tra gli strati 56 e 57.

Una squadra di lavoro guidata da Herbert Anderson completa il Livello 57 la notte del 1° dicembre 1942. Le barre di controllo, strisce di legno rivestite con lamina di cadmio che assorbe i neutroni, impediscono alla pila di raggiungere la criticità. Anderson rimuove tutte le barre di controllo tranne una e misura la radiazione della pila, confermando che la pila è pronta per la reazione a catena il giorno successivo. Anderson inserisce tutte le barre di cadmio e le blocca in posizione con lucchetti, poi chiude il campo di squash e va a casa.

Il giorno successivo, 2 dicembre 1942, in una ventosa mattina di Chicago con temperature sotto lo zero, Fermi inizia l'esperimento finale. Tutte le barre di controllo tranne una vengono estratte. Alle 10:37, Fermi ordina che l'ultima barra di controllo venga estratta per circa metà della sua lunghezza. I contatori Geiger scattano più velocemente, e la penna di un grafico si muove verso l'alto. "Non è questo," dice Fermi, "la traccia arriverà a questo punto e si stabilizzerà," indicando un punto sul grafico. In pochi minuti la penna del grafico raggiunge il punto indicato, e non va oltre. Sette minuti dopo, Fermi ordina che la barra venga estratta di un altro piede. Di nuovo la radiazione sale, poi si stabilizza. La barra viene estratta di altri sei pollici, poi di altri, poi di altri ancora. Alle 11:30, la lenta salita della penna del grafico è punteggiata da un ENORME CRASH: una barra di controllo di emergenza, attivata da una camera a ionizzazione, si attiva e spegne la pila, che è ancora lontana dalla criticità. Fermi ordina con calma alla squadra di fermarsi per il pranzo.

Alle 2 del pomeriggio la squadra si riunisce, estrae e blocca la barra di controllo di emergenza, e sposta la barra di controllo alla sua ultima impostazione. Fermi effettua alcune misurazioni e calcoli, poi ricomincia il processo di estrazione della barra con incrementi lenti. Alle 3:25, Fermi ordina che la barra venga estratta di altri dodici pollici. "Questa volta funzionerà," dice Fermi. "Ora diventerà autosostenuta. La traccia salirà e continuerà a salire. Non si stabilizzerà."

Herbert Anderson racconta (440):
All'inizio si poteva sentire il suono del contatore di neutroni, clickety-clack, clickety-clack. Poi i clic arrivavano sempre più rapidamente, e dopo un po' cominciarono a fondersi in un ruggito; il contatore non riusciva più a seguirli. Quello era il momento di passare al registratore a carta. Ma quando fu fatta la commutazione, tutti guardarono nel silenzio improvviso la deflessione crescente della penna del registratore. Era un silenzio impressionante. Tutti capirono il significato di quella commutazione; eravamo nel regime di alta intensità e i contatori non erano più in grado di far fronte alla situazione. Ancora e ancora, la scala del registratore dovette essere cambiata per adattarsi all'intensità dei neutroni che aumentava sempre più rapidamente. Improvvisamente Fermi alzò la mano. "La pila è andata in criticità," annunciò. Nessuno dei presenti ne ebbe il minimo dubbio.

 

Fermi tenne la pila in funzione per ventotto minuti, con l’intensità dei neutroni che raddoppiava ogni due minuti. La prima reazione critica aveva un k di 1,0006. Anche con k = 1,0006, la pila era controllabile solo perché alcuni dei neutroni da una reazione di fissione dell’uranio sono ritardati: provengono dal decadimento di prodotti di fissione a vita breve. Per ogni 100 fissioni di U235, 242 neutroni vengono emessi quasi immediatamente (0,0001 s), e 1,58 neutroni vengono emessi in media dieci secondi dopo. Quindi la vita media di un neutrone è di ∼0,1 secondi, il che implica 1.200 generazioni in due minuti, e un tempo di raddoppio di due minuti, perché 1,0006 elevato alla 1.200 è ∼2. Una reazione nucleare che è prontamente critica è critica senza il contributo dei neutroni ritardati. Se la pila di Fermi fosse stata prontamente critica con k = 1,0006, l’intensità neutronica sarebbe raddoppiata ogni decimo di secondo.

La prima morale è che confondere la velocità della ricerca sull’IA con la velocità di una vera IA una volta costruita è come confondere la velocità della ricerca fisica con la velocità delle reazioni nucleari. Mescola la mappa con il territorio. Ci sono voluti anni per costruire quella prima pila, da un piccolo gruppo di fisici che non producevano molti comunicati stampa. Ma, una volta costruita la pila, cose interessanti accaddero sulla scala temporale delle interazioni nucleari, non sulla scala temporale del discorso umano. Nel dominio nucleare, le interazioni elementari avvengono molto più velocemente di quanto i neuroni umani sparino. Lo stesso si può dire dei transistor.

Un’altra morale è che c’è un’enorme differenza tra un auto-miglioramento che innesca in media 0,9994 ulteriori miglioramenti, e un auto-miglioramento che innesca in media 1,0006 ulteriori miglioramenti. La pila nucleare non superò la soglia critica come risultato del fatto che i fisici aggiunsero improvvisamente molto più materiale. I fisici aggiunsero materiale lentamente e costantemente. Anche se esiste una curva sottostante liscia dell’intelligenza cerebrale in funzione della pressione di ottimizzazione esercitata in precedenza su quel cervello, la curva dell’auto-miglioramento ricorsivo potrebbe mostrare un salto enorme.

Ci sono anche altre ragioni per cui un’IA potrebbe mostrare un improvviso salto enorme nell’intelligenza. La specie Homo sapiens mostrò un netto salto nell’efficacia dell’intelligenza, come risultato della selezione naturale che esercitò una pressione di ottimizzazione più o meno costante sugli ominidi per milioni di anni, espandendo gradualmente il cervello e la corteccia prefrontale, modificando l’architettura software. Poche decine di migliaia di anni fa, l’intelligenza degli ominidi superò una soglia chiave e fece un salto enorme nell’efficacia nel mondo reale; passammo dalla savana ai grattacieli in un batter d’occhio evolutivo. Questo avvenne con una pressione selettiva sottostante continua—non ci fu un enorme salto nel potere di ottimizzazione dell’evoluzione quando apparvero gli umani. Anche l’architettura cerebrale sottostante era continua—la nostra capacità cranica non aumentò improvvisamente di due ordini di grandezza. Quindi potrebbe essere che, anche se l’IA viene elaborata dall’esterno da programmatori umani, la curva dell’intelligenza effettiva salti bruscamente.

O forse qualcuno costruisce un prototipo di IA che mostra risultati promettenti, e la demo attira altri 100 milioni di dollari in capitale di rischio, e questo denaro acquista mille volte più potenza di calcolo super. Dubito che un aumento di mille volte

un aumento dell’hardware potesse comprare qualcosa di simile a un aumento di mille volte dell’intelligenza effettiva—ma il semplice dubbio non è affidabile in assenza di qualsiasi capacità di eseguire un calcolo analitico. Rispetto agli scimpanzé, gli esseri umani hanno un vantaggio triplo nel cervello e un vantaggio sestuplo nella corteccia prefrontale, il che suggerisce (a) che il software è più importante dell’hardware e (b) che piccoli aumenti nell’hardware possono sostenere grandi miglioramenti nel software. È un altro punto da considerare.

Infine, l’IA potrebbe compiere un salto apparentemente netto nell’intelligenza puramente come risultato dell’antropomorfismo, la tendenza umana a pensare a “idiota del villaggio” e “Einstein” come agli estremi opposti della scala dell’intelligenza, invece che a punti quasi indistinguibili sulla scala delle menti in generale. Tutto ciò che è più stupido di un umano stupido può apparirci semplicemente come “stupido”. Si immagini la “freccia dell’IA” che striscia costantemente lungo la scala dell’intelligenza, superando topi e scimpanzé, con le IA che restano ancora “stupide” perché le IA non sanno parlare un linguaggio fluente o scrivere articoli scientifici, e poi la freccia dell’IA attraversa il minuscolo divario da infra-idiota a ultra-Einstein nel corso di un mese o di un periodo altrettanto breve. Non credo che questo scenario esatto sia plausibile, soprattutto perché non mi aspetto che la curva del miglioramento ricorsivo di sé si muova a passo lineare. Ma non sono il primo a sottolineare che “IA” è un bersaglio mobile. Non appena un traguardo viene effettivamente raggiunto, cessa di essere “IA”. Questo può solo incoraggiare la procrastinazione.

Concediamo per amor di discussione che, per quanto ne sappiamo (e mi sembra anche probabile nel mondo reale), un’IA abbia la capacità di compiere un salto improvviso, netto e ampio nell’intelligenza. Cosa ne consegue?

Prima di tutto: ne consegue che una reazione che sento spesso, “Non dobbiamo preoccuparci dell’IA Amichevole perché non abbiamo ancora l’IA”, è fuorviante o decisamente suicida. Non possiamo contare su un preavviso distante prima che l’IA venga creata; le rivoluzioni tecnologiche passate di solito non si annunciavano alle persone vive all’epoca, qualunque cosa sia stata detta dopo con il senno di poi. La matematica e le tecniche dell’IA Amichevole non si materializzeranno dal nulla quando serviranno; ci vogliono anni per gettare fondamenta solide. E dobbiamo risolvere la sfida dell’IA Amichevole prima che venga creata l’Intelligenza Artificiale Generale, non dopo; non dovrei nemmeno doverlo sottolineare. Ci saranno difficoltà per l’IA Amichevole perché il campo dell’IA stesso è in uno stato di basso consenso e alta entropia. Ma questo non significa che non dobbiamo preoccuparci dell’IA Amichevole. Significa che ci saranno difficoltà. Le due affermazioni, purtroppo, non sono minimamente equivalenti.

La possibilità di salti netti nell’intelligenza implica anche uno standard più elevato per le tecniche dell’IA Amichevole. La tecnica non può dare per scontata la capacità dei programmatori di monitorare l’IA contro la sua volontà, riscriverla contro la sua volontà, esercitare la minaccia di una forza militare superiore; né l’algoritmo può presupporre che i programmatori controllino un “pulsante di ricompensa” che un’IA più intelligente potrebbe strappare dalle loro mani; e così via. In effetti, nessuno dovrebbe fare queste supposizioni fin dall’inizio. La protezione indispensabile è

un’IA che non voglia farti del male. Senza l’indispensabile, nessuna difesa ausiliaria può essere considerata sicura. Nessun sistema è sicuro se cerca modi per sconfiggere la propria sicurezza. Se l’IA danneggiasse l’umanità in qualsiasi contesto, devi star sbagliando qualcosa a un livello molto profondo, ponendo le fondamenta in modo errato. Stai costruendo un fucile, puntando il fucile al piede e premendo il grilletto. Stai deliberatamente mettendo in moto una dinamica cognitiva creata che cercherà, in qualche contesto, di farti del male. Questo è il comportamento sbagliato per la dinamica; scrivi codice che faccia qualcos’altro invece.

Per ragioni molto simili, i programmatori di IA Amichevole dovrebbero presupporre che l’IA abbia accesso totale al proprio codice sorgente. Se l’IA volesse modificarsi per non essere più Amichevole, allora l’Amichevolezza è già fallita, nel momento in cui l’IA forma quell’intenzione. Qualsiasi soluzione che si affidi al fatto che l’IA non possa modificarsi deve essere rotta in un modo o nell’altro, e sarà comunque rotta anche se l’IA non si modificasse mai. Non dico che debba essere l’unica precauzione, ma la precauzione primaria e indispensabile è che tu scelga di portare in esistenza un’IA che non scelga di danneggiare l’umanità.

Per evitare la Fallacia della Torta Gigante, dovremmo notare che la capacità di auto-migliorarsi non implica la scelta di farlo. L’esercizio riuscito della tecnica dell’IA Amichevole potrebbe creare un’IA che avesse il potenziale di crescere più rapidamente, ma scegliesse invece di crescere lungo una curva più lenta e più gestibile. Anche così, dopo che l’IA supera la soglia di criticità del potenziale auto-miglioramento ricorsivo, ti trovi allora a operare in un regime molto più pericoloso. Se l’Amichevolezza fallisce, l’IA potrebbe decidere di precipitarsi a tutta velocità nell’auto-miglioramento—metaforicamente parlando, andrebbe in criticità immediata.

Tendo a presupporre salti potenziali arbitrariamente grandi per l’intelligenza perché (a) questa è l’assunzione conservativa; (b) scoraggia proposte basate sulla costruzione di IA senza comprenderla davvero; e (c) i grandi salti potenziali mi sembrano probabili-nel-mondo-reale. Se incontrassi un dominio in cui fosse conservativo, da una prospettiva di gestione del rischio, presupporre un miglioramento lento dell’IA, allora pretenderei che un piano non crollasse catastroficamente se un’IA si attardasse in uno stadio quasi umano per anni o più. Questo non è un dominio su cui sono disposto a offrire intervalli di confidenza ristretti.

 

9. Hardware

Le persone tendono a pensare ai grandi computer come al fattore abilitante per l’Intelligenza Artificiale. Questa è, per usare un eufemismo, un’assunzione estremamente discutibile. I futuristi esterni che discutono di Intelligenza Artificiale parlano di progresso hardware perché il progresso hardware è facile da misurare—in contrasto con la comprensione dell’intelligenza. Non è che non ci sia stato progresso, ma che il progresso non può essere tracciato su ordinati grafici PowerPoint. I miglioramenti nella comprensione sono più difficili da riportare e, di conseguenza, meno riportati.

Invece di pensare in termini di hardware “minimo” “richiesto” per l’Intelligenza Artificiale, pensa a un livello minimo di comprensione del ricercatore che diminuisce in funzione dei miglioramenti hardware. Migliore è l’hardware di calcolo, minore è la comprensione di cui hai bisogno per costruire un’IA. Il caso estremo è la selezione naturale, che ha usato una quantità ridicola di forza bruta computazionale per creare l’intelligenza umana usando nessuna comprensione, solo la non-casuale ritenzione di mutazioni casuali.

Una maggiore potenza di calcolo rende più facile costruire l’IA, ma non c’è alcuna ragione ovvia per cui una maggiore potenza di calcolo dovrebbe aiutare a rendere l’IA Amichevole. Una maggiore potenza di calcolo rende più facile usare la forza bruta; più facile combinare tecniche poco comprese che funzionano. La Legge di Moore abbassa costantemente la barriera che ci impedisce di costruire l’IA senza una profonda comprensione della cognizione.

È accettabile fallire nell’IA e nell’IA Amichevole. È accettabile avere successo nell’IA e nell’IA Amichevole. Ciò che non è accettabile è avere successo nell’IA e fallire nell’IA Amichevole. La Legge di Moore rende più facile fare esattamente questo. “Più facile”, ma per fortuna non facile. Dubito che l’IA sarà “facile” nel momento in cui verrà finalmente costruita—semplicemente perché ci sono parti che eserciteranno uno sforzo tremendo per costruire l’IA, e una di esse avrà successo dopo che l’IA sarà diventata per la prima volta possibile da costruire con uno sforzo tremendo.

La Legge di Moore è un’interazione tra l’IA Amichevole e altre tecnologie, che aggiunge un rischio esistenziale spesso trascurato alle altre tecnologie. Possiamo immaginare che la nanotecnologia molecolare sia sviluppata da un consorzio governativo multinazionale benigno e che riescano a scongiurare i pericoli a livello fisico della nanotecnologia. Loro prevengono direttamente i rilasci accidentali di replicatori, e con molta più difficoltà mettono in atto difese globali contro i replicatori malintenzionati; limitano l’accesso alla nanotecnologia di “livello root” distribuendo nanoblocchi configurabili, eccetera (Phoenix e Treder 2008). Ma nondimeno i nanocomputer diventano ampiamente disponibili, o perché i tentativi di restrizione vengono aggirati, o perché non vengono tentate restrizioni. E poi qualcuno forza con la forza bruta un’Intelligenza Artificiale che non è Amichevole; e così il sipario cala. Questo scenario è particolarmente preoccupante perché nanocomputer incredibilmente potenti sarebbero tra le prime, le più facili e le applicazioni dall’aspetto più sicuro della nanotecnologia molecolare.

E che dire dei controlli normativi sui supercomputer? Di certo non ci farei affidamento per impedire che l’IA venga mai sviluppata; il supercomputer di ieri è il laptop di domani. La risposta standard a una proposta normativa è che quando i nanocomputer saranno messi al bando, solo i fuorilegge avranno nanocomputer. L’onere è dimostrare che i presunti benefici di una distribuzione ridotta superano i rischi inevitabili di una distribuzione disomogenea. Per quanto mi riguarda, di certo non mi esprimerei a favore di restrizioni normative sull’uso dei supercomputer per la ricerca sull’Intelligenza Artificiale; è una proposta di dubbio beneficio che verrebbe combattuta con le unghie e con i denti dall’intera comunità dell’IA. Ma nell’improbabile evenienza che una proposta arrivasse così lontano nel processo politico, non spenderei alcuno sforzo significativo per contrastarla, perché non mi aspetto che i buoni abbiano bisogno di accesso ai “supercomputer” del loro tempo. L’IA amichevole non consiste nel forzare il problema con la forza bruta.

Posso immaginare regolamentazioni che controllino efficacemente un piccolo insieme di risorse di calcolo ultra-costose che oggi vengono considerate “supercomputer”. Ma i computer sono ovunque. Non è come il problema della proliferazione nucleare, dove l’enfasi principale è sul controllo del plutonio e dell’uranio arricchito. Le materie prime per l’IA sono già ovunque. Quel gatto è così fuori dal sacco che si trova nel tuo orologio da polso, nel tuo cellulare e nella tua lavastoviglie. Anche questo è un fattore speciale e insolito dell’Intelligenza Artificiale come rischio esistenziale. Siamo separati dal regime pericoloso, non da grandi installazioni visibili come centrifughe per isotopi o acceleratori di particelle, ma solo da conoscenze mancanti. Per usare una metafora forse troppo drammatica, immagina se masse subcritiche di uranio arricchito avessero alimentato auto e navi in tutto il mondo, prima che Leo Szilard pensasse per la prima volta alla reazione a catena.

10. Minacce e promesse

È un’impresa intellettuale rischiosa prevedere specificamente come un’IA benevola aiuterebbe l’umanità, o come un’IA ostile la danneggerebbe. C’è il rischio della fallacia della congiunzione: il dettaglio aggiunto riduce necessariamente la probabilità congiunta dell’intera storia, ma i soggetti spesso assegnano probabilità più alte a storie che includono dettagli strettamente aggiuntivi (Yudkowsky 2008). C’è il rischio—praticamente la certezza—del fallimento dell’immaginazione; e il rischio della Fallacia della Torta Gigante che salta dalla capacità al motivo. Ciononostante, cercherò di consolidare minacce e promesse.

Il futuro ha la reputazione di compiere imprese che il passato riteneva impossibili. Le civiltà future hanno persino infranto quelle che le civiltà passate pensavano (erroneamente, ovviamente) fossero le leggi della fisica. Se i profeti del 1900 d.C.—per non parlare del 1000 d.C.—avessero cercato di limitare i poteri della civiltà umana un miliardo di anni dopo, alcune di quelle impossibilità sarebbero state compiute prima della fine del secolo; trasmutare il piombo in oro, per esempio. Poiché ricordiamo che le civiltà future hanno sorpreso le civiltà passate, è diventato un cliché che non possiamo porre limiti ai nostri bisnipoti. Eppure tutti nel XX secolo, nel XIX secolo e nell’XI secolo erano umani.

Possiamo distinguere tre famiglie di metafore inaffidabili per immaginare la capacità di un’Intelligenza Artificiale più intelligente dell’uomo:

Metafore del fattore g: Ispirate dalle differenze di intelligenza individuale tra gli esseri umani. Le IA brevetteranno nuove tecnologie, pubblicheranno articoli di ricerca innovativi, faranno soldi in borsa o guideranno blocchi di potere politico.

Metafore storiche: ispirate alle differenze di conoscenza tra le civiltà umane passate e future. Le IA inventeranno rapidamente il tipo di capacità che i cliché attribuirebbero alla civiltà umana tra un secolo o un millennio: nanotecnologia molecolare; viaggio interstellare; computer che eseguono 10²⁵ operazioni al secondo.

Metafore di specie: ispirate alle differenze nell’architettura cerebrale tra le specie. Le IA hanno la magia.

Le metafore del fattore g sembrano le più comuni nel futurismo popolare: quando la gente pensa all’“intelligenza”, pensa ai geni umani invece che agli umani. Nelle storie su IA ostili, le metafore g creano una “bella storia” alla Bostrom: un avversario abbastanza potente da creare tensione drammatica, ma non abbastanza potente da schiacciare subito gli eroi come insetti, e infine abbastanza debole da perdere nei capitoli finali del libro. Golia contro Davide è una “bella storia”, ma Golia contro una mosca della frutta non lo è.

Se supponiamo la metafora del fattore g, allora i rischi catastrofici globali di questo scenario sono relativamente lievi; un’IA ostile non è molto più minacciosa di un genio umano ostile. Se supponiamo una molteplicità di IA, allora abbiamo una metafora di conflitto tra nazioni, tra la tribù delle IA e la tribù umana. Se la tribù delle IA vince nel conflitto militare e stermina gli umani, quella è una catastrofe esistenziale del tipo Bang (Bostrom 2002). Se la tribù delle IA domina il mondo economicamente e ottiene il controllo effettivo del destino della vita intelligente originaria della Terra, ma gli obiettivi della tribù delle IA non ci sembrano interessanti o degni di valore, allora quello è uno Shriek, un Whimper o un Crunch.

Ma quanto è probabile che l’Intelligenza Artificiale attraversi tutto il vasto divario dall’ameba all’idiota del villaggio, e poi si fermi al livello del genio umano?

I neuroni più veloci osservati scaricano 1000 volte al secondo; le fibre assoniche più veloci conducono segnali a 150 metri al secondo, un mezzo milionesimo della velocità della luce; ogni operazione sinaptica dissipa circa 15.000 attojoule, che è più di un milione di volte il minimo termodinamico per calcoli irreversibili a temperatura ambiente (kT300 ln(2) = 0,003 attojoule per bit). Sarebbe fisicamente possibile costruire un cervello che calcolasse un milione di volte più velocemente di un cervello umano, senza ridurre le dimensioni, o senza operare a temperature più basse, o senza invocare il calcolo reversibile o il calcolo quantistico. Se una mente umana fosse così accelerata, un anno soggettivo di pensiero verrebbe compiuto ogni 31 secondi fisici nel mondo esterno, e un millennio volerebbe via in otto ore e mezza. Vinge (1993) si riferiva a tali menti accelerate come “superumanità debole”: una mente che pensa come un umano ma molto più velocemente.

Supponiamo che venga all’esistenza una mente estremamente veloce, incorporata nel mezzo della civiltà tecnologica umana così come esiste in quel momento. Il fallimento dell’immaginazione è dire: “Non importa quanto velocemente pensi, può solo influenzare il mondo alla velocità dei suoi manipolatori; non può operare macchinari più velocemente di quanto possa ordinare alle mani umane di

lavoro; quindi una mente veloce non è una grande minaccia.” Non è una legge di natura che le operazioni fisiche debbano strisciare al ritmo di lunghi secondi. I tempi critici per le interazioni molecolari elementari si misurano in femtosecondi, a volte picosecondi. Drexler (1992) ha analizzato manipolatori molecolari controllabili che completerebbero >10⁶ operazioni meccaniche al secondo—si noti che questo è in linea con il tema generale del “velocizzazione di un milione di volte”. (Il più piccolo incremento di tempo fisicamente sensato è generalmente considerato l’intervallo di Planck, 5 · 10⁻⁴⁴ secondi, sulla cui scala anche i quark danzanti sono statue.)

Supponiamo che una civiltà umana fosse rinchiusa in una scatola e potesse influenzare il mondo esterno solo attraverso il movimento glacialmente lento di tentacoli alieni, o bracci meccanici che si muovessero a micron al secondo. Concentreremmo tutta la nostra creatività nel trovare il percorso più breve possibile per costruire manipolatori veloci nel mondo esterno. Riflettendo sui manipolatori veloci, si pensa immediatamente alla nanotecnologia molecolare—anche se potrebbero esserci altre vie. Qual è il percorso più breve che potresti intraprendere verso la nanotecnologia molecolare nel lento mondo esterno, se avessi eoni per ponderare ogni mossa? La risposta è che non lo so, perché non ho eoni per ponderare. Ecco un percorso veloce immaginabile:

1. Risolvere il problema del ripiegamento proteico, nella misura in cui si riesca a generare stringhe di DNA le cui sequenze peptidiche ripiegate svolgano ruoli funzionali specifici in un’interazione chimica complessa.

2. Inviare via email set di stringhe di DNA a uno o più laboratori online che offrano sintesi del DNA, sequenziamento peptidico e consegna FedEx. (Molti laboratori offrono attualmente questo servizio, e alcuni vantano tempi di consegna di 72 ore.)

3. Trovare almeno un essere umano connesso a Internet che possa essere pagato, ricattato o ingannato con la giusta storia di copertura, affinché riceva le fiale FedEx e le mescoli in un ambiente specificato.

4. Le proteine sintetizzate formano un “umido” nanosistema molto primitivo che, simile a un ribosoma, è capace di accettare istruzioni esterne; forse vibrazioni acustiche modellate consegnate da un altoparlante attaccato al becher.

5. Usare il nanosistema estremamente primitivo per costruire sistemi più sofisticati, che costruiscono sistemi ancora più sofisticati, avviando un bootstrap verso la nanotecnologia molecolare—o oltre.

Il tempo di consegna trascorso sarebbe, immaginabilmente, dell’ordine di una settimana da quando l’intelligenza veloce fosse diventata per la prima volta capace di risolvere il problema del ripiegamento proteico. Naturalmente, questo intero scenario è strettamente qualcosa a cui sto pensando. Forse in 19.500 anni di tempo soggettivo (una settimana di tempo fisico a una velocizzazione di un milione di volte) penserei a un modo migliore. Forse puoi pagare per una consegna corriere espressa invece di FedEx. Forse

esistono tecnologie già disponibili, o lievi modifiche di tecnologie esistenti, che si combinano sinergicamente con semplici macchinari proteici. Forse, se sei abbastanza intelligente, puoi usare campi elettrici modellati per alterare i percorsi di reazione nei processi biochimici esistenti. Non lo so. Io non sono così intelligente.

La sfida è concatenare le proprie capacità—l’analogo nel mondo fisico del combinare vulnerabilità deboli in un sistema informatico per ottenere accesso di root. Se un percorso è bloccato, ne scegli un altro, cercando sempre di aumentare le tue capacità e usarle in sinergia. L’obiettivo presunto è ottenere infrastrutture rapide, mezzi per manipolare il mondo esterno su larga scala in tempi veloci. La nanotecnologia molecolare soddisfa questo criterio, prima perché le sue operazioni elementari sono veloci, e secondo perché esiste una fornitura pronta di parti precise—gli atomi—che possono essere usati per auto-replicarsi e far crescere esponenzialmente l’infrastruttura nanotecnologica. Il percorso sopra ipotizzato vede l’IA ottenere infrastrutture rapide entro una settimana—questo sembra veloce a un umano con neuroni a 200 Hz, ma è un tempo enormemente più lungo per l’IA.

Una volta che l’IA possiede infrastrutture rapide, gli eventi successivi avvengono sulla scala temporale dell’IA, non su quella umana (a meno che l’IA non preferisca agire su scala umana). Con la nanotecnologia molecolare, l’IA potrebbe (potenzialmente) riscrivere il sistema solare senza opposizione.

Un’IA non amichevole con nanotecnologia molecolare (o altra infrastruttura rapida) non ha bisogno di preoccuparsi di eserciti di robot in marcia, né di ricatti, né di sottili coercizioni economiche. L’IA non amichevole ha la capacità di rimodellare tutta la materia del sistema solare secondo il suo obiettivo di ottimizzazione. Questo è fatale per noi se l’IA non sceglie specificamente secondo il criterio di come questa trasformazione influisce sui modelli esistenti come la biologia e le persone. L’IA non ti odia, né ti ama, ma sei fatto di atomi che può usare per qualcos’altro. L’IA opera su una scala temporale diversa dalla tua; quando i tuoi neuroni finiscono di pensare le parole “dovrei fare qualcosa”, hai già perso.

Un’IA amichevole più nanotecnologia molecolare è presumibilmente abbastanza potente da risolvere qualsiasi problema che possa essere risolto o spostando atomi o con il pensiero creativo. Bisogna diffidare dei fallimenti dell’immaginazione: curare il cancro è un obiettivo filantropico contemporaneo popolare, ma non ne consegue che un’IA amichevole con nanotecnologia molecolare direbbe a se stessa: “Ora curerò il cancro.” Forse un modo migliore di vedere il problema è che le cellule biologiche non sono programmabili. Risolvere quest’ultimo problema cura il cancro come caso particolare, insieme a diabete e obesità. Un’intelligenza veloce e benevola che impugna nanotecnologia molecolare è un potere dell’ordine di eliminare la malattia, non di eliminare il cancro.

 

C’è infine la famiglia delle metafore di specie, basate sulle differenze di intelligenza tra specie. L’IA ha la magia—non nel senso di incantesimi e pozioni, ma nel nel senso che un lupo non può capire come funziona una pistola, o che tipo di sforzo serve per fabbricare una pistola, o la natura di quel potere umano che ci permette di inventare le pistole. Vinge (1993) scrisse:

Una superumanità forte sarebbe più che aumentare la velocità dell’orologio su una mente equivalente a quella umana. È difficile dire con precisione come sarebbe una superumanità forte, ma la differenza sembra profonda. Immagina di far girare una mente canina a velocità molto elevata. Mille anni di vita da cane si sommerebbero in qualche intuizione umana?

La metafora della specie sembrerebbe l’analogia più vicina a priori, ma non si presta a costruire storie dettagliate. Il consiglio principale che la metafora ci dà è che faremmo meglio a far funzionare l’IA Amichevole, il che è un buon consiglio in ogni caso. L’unica difesa che suggerisce contro un’IA ostile è non costruirla affatto, il che è anche un ottimo consiglio. Il potere assoluto è un’assunzione ingegneristica conservativa nell’IA Amichevole, che espone i progetti difettosi. Se un’IA ti farà del male data la magia, l’architettura dell’Amichevolezza è sbagliata.

11. Strategie Locali e Maggioritarie

Si possono classificare le strategie proposte per la mitigazione del rischio in:

• Strategie che richiedono cooperazione unanime; strategie che possono essere catastroficamente sconfitte da singoli dissidenti o piccoli gruppi.
• Strategie che richiedono un’azione di maggioranza; una maggioranza di un parlamento in un singolo paese, o una maggioranza di elettori in un paese, o una maggioranza di paesi all’ONU: la strategia richiede che la maggior parte, ma non tutti, le persone in un grande gruppo preesistente si comportino in un modo particolare.
• Strategie che richiedono un’azione locale—una concentrazione di volontà, talento e finanziamenti che superi la soglia di qualche compito specifico.

Le strategie unanimi sono impraticabili, il che non impedisce alla gente di proporle. Una strategia maggioritaria è talvolta praticabile, se hai decenni a disposizione per fare il tuo lavoro. Si deve costruire un movimento, dai suoi primi inizi nel corso degli anni, fino al suo debutto come forza riconosciuta nella politica pubblica, fino alla sua vittoria sulle fazioni opposte. Le strategie maggioritarie richiedono tempo considerevole e uno sforzo enorme. Le persone hanno intrapreso tali imprese, e la storia registra alcuni successi. Ma attenzione: i libri di storia tendono a concentrarsi selettivamente sui movimenti che hanno un impatto, a differenza della stragrande maggioranza che non arriva mai a nulla. C’è un elemento di fortuna coinvolto, e della precedente disponibilità del pubblico ad ascoltare. I punti critici nella strategia coinvolgeranno eventi oltre il tuo controllo personale. Se non sei disposto a dedicare l’intera vita a portare avanti una strategia maggioritaria, non pensarci nemmeno; e una sola vita dedicata non basterà comunque.

Di norma, le strategie locali sono le più plausibili. Cento milioni di dollari di finanziamento non sono facili da ottenere, e un cambiamento politico globale non è impossibile da portare avanti, ma è comunque enormemente più facile ottenere cento milioni di dollari di finanziamento che portare avanti un cambiamento politico globale.

Due assunzioni che danno origine a una strategia maggioritaria per l’IA sono queste:

• Una maggioranza di IA Amichevoli può proteggere efficacemente la specie umana da poche IA non Amichevoli.
• La prima IA costruita non può da sola causare danni catastrofici.

Questo ripropone essenzialmente la situazione di una civiltà umana prima dello sviluppo delle armi nucleari e biologiche: la maggior parte delle persone sono cooperatori nella struttura sociale complessiva, e i defettori possono causare danni ma non danni catastrofici globali. La maggior parte dei ricercatori di IA non vorrà creare IA non Amichevoli. Finché qualcuno sa come costruire un’IA stabilmente Amichevole—finché il problema non è completamente al di là della conoscenza e della tecnica contemporanee—i ricercatori impareranno dai successi reciproci e li ripeteranno. La legislazione potrebbe (per esempio) richiedere ai ricercatori di riferire pubblicamente le loro strategie di Amichevolezza, o penalizzare i ricercatori le cui IA causano danni; e mentre questa legislazione non impedirà tutti gli errori, potrebbe bastare che una maggioranza di IA sia costruita in modo Amichevole.

Possiamo anche immaginare uno scenario che implica una strategia locale facile:

• La prima IA non può da sola causare danni catastrofici.
• Se esiste anche una sola IA Amichevole, quell’IA più le istituzioni umane possono respingere qualsiasi numero di IA non Amichevoli.

Lo scenario facile varrebbe se, per esempio, le istituzioni umane possono distinguere in modo affidabile le IA Amichevoli da quelle non Amichevoli, e dare potere revocabile nelle mani delle IA Amichevoli. Così potremmo scegliere e selezionare i nostri alleati. L’unico requisito è che il problema dell’IA Amichevole debba essere risolvibile (in contrapposizione all’essere completamente al di là delle capacità umane).

Entrambi gli scenari sopra assumono che la prima IA (la prima IA potente e generale) non possa da sola causare danni catastrofici globali. La maggior parte delle visualizzazioni concrete che implicano questo usano una metafora g: IA come analoghe a esseri umani insolitamente capaci. Nella Sezione 8 sui tassi di aumento dell’intelligenza, ho elencato alcune ragioni per diffidare di un enorme e rapido salto nell’intelligenza:

La distanza dall’idiota a Einstein, che a noi appare enorme, è un piccolo punto sulla scala delle menti-in-generale.

Gli ominidi hanno compiuto un salto netto nell'efficacia dell'intelligenza nel mondo reale, nonostante la selezione naturale esercitasse una pressione di ottimizzazione all'incirca costante sul genoma sottostante.

Un'IA potrebbe assorbire un'enorme quantità di hardware aggiuntivo dopo aver raggiunto una certa soglia di competenza (cioè, mangiarsi Internet).

Soglia di criticità dell'auto-miglioramento ricorsivo. Un auto-miglioramento che ne innesca 1,0006 è qualitativamente diverso da un auto-miglioramento che ne innesca 0,9994.

Come descritto nella Sezione 10, un'intelligenza sufficientemente potente potrebbe aver bisogno solo di un breve periodo di tempo (da una prospettiva umana) per raggiungere la nanotecnologia molecolare, o qualche altra forma di infrastruttura rapida.

Possiamo quindi visualizzare un possibile effetto di primo-movente nella superintelligenza. L'effetto di primo-movente si verifica quando l'esito per la vita intelligente di origine terrestre dipende principalmente dalla costituzione della mente che per prima raggiunge una certa soglia chiave di intelligenza—come la criticità dell'auto-miglioramento. Le due assunzioni necessarie sono queste:

La prima IA a superare una certa soglia chiave (es. criticità dell'auto-miglioramento), se non Amichevole, può sterminare la specie umana.

La prima IA a superare la stessa soglia, se Amichevole, può impedire a un'IA ostile di venire all'esistenza o di danneggiare la specie umana; o trovare qualche altro modo creativo per garantire la sopravvivenza e la prosperità della vita intelligente di origine terrestre.

Più di uno scenario si qualifica come effetto di primo-movente. Ciascuno di questi esempi riflette una diversa soglia chiave:

Post-criticità, l'auto-miglioramento raggiunge la superintelligenza su una scala temporale di settimane o meno. I progetti di IA sono sufficientemente sparsi che nessun'altra IA raggiunge la criticità prima che il primo-movente sia abbastanza potente da superare ogni opposizione. La soglia chiave è la criticità dell'auto-miglioramento ricorsivo.

IA-1 risolve il ripiegamento proteico tre giorni prima di IA-2. IA-1 raggiunge la nanotecnologia sei ore prima di IA-2. Con manipolatori rapidi, IA-1 può (potenzialmente) disabilitare la R&S di IA-2 prima che giunga a compimento. I corridori sono vicini, ma chiunque tagli per primo il traguardo, vince. La soglia chiave è l'infrastruttura rapida.

La prima IA ad assorbire Internet può (potenzialmente) tenerlo fuori dalla portata di altre IA. Successivamente, tramite dominazione economica o azione occulta o ricatto o suprema abilità nella manipolazione sociale, la prima IA ferma o rallenta altri progetti di IA così che nessun'altra IA riesca a raggiungerla. La soglia chiave è l'assorbimento di una risorsa unica.

La specie umana, l'Homo sapiens, è una prima mossa. Da una prospettiva evolutiva, i nostri cugini, gli scimpanzé, sono solo a un passo da noi. Eppure l'Homo sapiens si è ritrovato con tutte le biglie tecnologiche perché ci è arrivato un po' prima. I biologi evoluzionisti stanno ancora cercando di districare in quale ordine siano arrivate le soglie chiave, perché la specie prima mossa è stata la prima ad attraversarne così tante: il linguaggio, la tecnologia, il pensiero astratto... Stiamo ancora cercando di ricostruire quali domino abbiano abbattuto quali altri domino. Il risultato è che l'Homo sapiens è la prima mossa senza ombra di contendente.

Un effetto prima mossa implica una strategia teoricamente localizzabile (un compito che, in linea di principio, può essere eseguito da uno sforzo strettamente locale), ma invoca una sfida tecnica di estrema difficoltà. Dobbiamo solo ottenere un'IA Amichevole nel posto giusto e al momento giusto, non sempre e ovunque. Ma qualcuno deve ottenere un'IA Amichevole al primo tentativo, prima che chiunque altro costruisca un'IA a uno standard inferiore.

Non posso eseguire un calcolo preciso usando una teoria precisamente confermata, ma la mia opinione attuale è che salti netti nell'intelligenza siano possibili, probabili, e costituiscano la probabilità dominante. Questo non è un dominio in cui sono disposto a dare intervalli di confidenza ristretti, e quindi una strategia non deve fallire in modo catastrofico—non dovrebbe lasciarci in condizioni peggiori di prima—se un salto netto nell'intelligenza non si materializza. Ma un problema molto più serio sono le strategie visualizzate per IA a crescita lenta, che falliscono in modo catastrofico se c'è un effetto prima mossa. Questo è un problema più serio perché:

• Le IA a crescita più rapida rappresentano una sfida tecnica maggiore.
• Come un'auto che guida su un ponte costruito per camion, un'IA progettata per rimanere Amichevole in condizioni estreme dovrebbe (presumibilmente) rimanere Amichevole in condizioni meno estreme. Il contrario non è vero.

• I salti rapidi nell'intelligenza sono controintuitivi nella realtà sociale quotidiana. La metafora del fattore g per l'IA è intuitiva, attraente, rassicurante, e convenientemente implica meno vincoli di progettazione.

• È la mia attuale ipotesi che la curva dell'aumento dell'intelligenza contenga davvero enormi, netti salti (potenziali).

La mia attuale prospettiva strategica tende a concentrarsi sullo scenario locale difficile: la prima IA deve essere Amichevole. Con l'avvertenza che, se non si materializzano salti netti nell'intelligenza, dovrebbe essere possibile passare a una strategia per rendere Amichevole la maggioranza delle IA. In entrambi i casi, lo sforzo tecnico dedicato alla preparazione per il caso estremo di una prima mossa dovrebbe lasciarci in condizioni migliori, non peggiori.

Lo scenario che implica una strategia impossibile e unanime è:

• Una singola IA può essere abbastanza potente da distruggere l'umanità, anche nonostante gli sforzi protettivi delle IA Amichevoli.

Nessuna IA è abbastanza potente da impedire ai ricercatori umani di costruire un’IA dopo l’altra (o di trovare qualche altro modo creativo per risolvere il problema).

È positivo che questo equilibrio di capacità sembri a priori improbabile, perché in questo scenario siamo spacciati. Se distribuisci le carte da un mazzo, una dopo l’altra, alla fine distribuirai l’asso di fiori.

Lo stesso problema si applica alla strategia di costruire deliberatamente IA che scelgano di non aumentare le proprie capacità oltre un punto fisso. Se le IA limitate non sono abbastanza potenti da sconfiggere le IA illimitate, o da impedire che le IA illimitate vengano all’esistenza, allora le IA limitate si annullano dall’equazione. Continuiamo a distribuire il mazzo finché non distribuiamo una superintelligenza, che sia l’asso di cuori o l’asso di fiori.

Una strategia maggioritaria funziona solo se non è possibile che un singolo dissidente causi danni catastrofici globali. Per l’IA, questa possibilità o impossibilità è una caratteristica naturale dello spazio di progettazione: la possibilità non è soggetta alla decisione umana più di quanto lo siano la velocità della luce o la costante gravitazionale.

12. IA contro potenziamento dell’intelligenza umana
Non ritengo plausibile che l’Homo sapiens continui nel futuro indefinito, per migliaia o milioni di miliardi di anni, senza che mai venga all’esistenza una mente che superi l’attuale limite superiore dell’intelligenza. Se è così, deve venire un momento in cui gli umani affrontano per la prima volta la sfida di un’intelligenza più che umana. Se vinciamo il primo round della sfida, allora l’umanità potrà fare appello a un’intelligenza più che umana con cui affrontare i round successivi.

Forse preferiremmo prendere un’altra strada rispetto all’IA per arrivare a un’intelligenza più che umana — per esempio, potenziare gli umani? Per scegliere un esempio estremo, supponiamo che qualcuno dica: La prospettiva dell’IA mi rende nervoso. Preferirei che, prima che venga sviluppata qualsiasi IA, gli esseri umani individuali vengano scansionati in computer, neurone per neurone, e poi potenziati, lentamente ma inesorabilmente, finché non diventano super-intelligenti; e che sia questo il terreno su cui l’umanità dovrebbe affrontare la sfida della superintelligenza.

Ci troviamo allora di fronte a due domande: Questo scenario è possibile? E se sì, è desiderabile? (È più saggio porre le due domande in quest’ordine, per ragioni di razionalità: dovremmo evitare di affezionarci emotivamente a opzioni attraenti che in realtà non sono opzioni.)

Supponiamo che un essere umano individuale venga scansionato in un computer, neurone per neurone, come proposto in Moravec (1988). Ne consegue necessariamente che la capacità di calcolo utilizzata supera considerevolmente la potenza di calcolo del cervello umano. Per ipotesi, il computer esegue una simulazione dettagliata di un cervello umano biologico, eseguita con fedeltà sufficiente a evitare qualsiasi effetto di alto livello rilevabile derivante da errori sistematici di basso livello. Qualsiasi

incidente biologico che influisce in qualsiasi modo sull’elaborazione delle informazioni, dobbiamo simulare fedelmente con sufficiente precisione affinché il flusso complessivo dell’elaborazione rimanga isomorfo. Per simulare il disordinato computer biologico che è il cervello umano, abbiamo bisogno di una potenza di calcolo molto maggiore di quella incarnata nel disordinato cervello umano stesso.

Il modo più probabile in cui potremmo sviluppare la capacità di scansionare un cervello umano neurone per neurone—con sufficiente dettaglio da catturare ogni aspetto cognitivamente rilevante della struttura neurale—sarebbe l’invenzione di una sofisticata nanotecnologia molecolare. La nanotecnologia molecolare potrebbe probabilmente produrre un computer da scrivania con una potenza di elaborazione totale superiore alla capacità cerebrale aggregata dell’intera popolazione umana attuale (Bostrom 1998; Moravec 1999; Merkle e Drexler 1996; Sandberg 1999).

Inoltre, se la tecnologia ci permette di scansionare un cervello con fedeltà sufficiente per eseguire la scansione come codice, ne consegue che per alcuni anni precedenti la tecnologia è stata disponibile per ottenere immagini estremamente dettagliate dell’elaborazione nei circuiti neurali, e presumibilmente i ricercatori hanno fatto del loro meglio per comprenderla.

Inoltre, per potenziare l’upload—trasformare la scansione cerebrale così da aumentare l’intelligenza della mente al suo interno—dobbiamo necessariamente comprendere le funzioni di alto livello del cervello, e come contribuiscono utilmente all’intelligenza, in dettaglio eccellente.

Inoltre, gli esseri umani non sono progettati per essere migliorati, né da neuroscienziati esterni, né tramite auto-miglioramento ricorsivo interno. La selezione naturale non ha costruito il cervello umano per essere hackerabile dall’uomo. Tutta la macchina complessa nel cervello si è adattata a operare entro parametri ristretti del progetto cerebrale. Supponiamo che tu possa rendere l’umano più intelligente, per non dire superintelligente; l’umano rimane sano di mente? Il cervello umano è molto facile da perturbare; basta cambiare l’equilibrio dei neurotrasmettitori per innescare la schizofrenia, o altri disturbi. Deacon (1997) ha un’eccellente discussione sull’evoluzione del cervello umano, su quanto delicatamente gli elementi del cervello possano essere bilanciati, e su come questo si rifletta nelle disfunzioni cerebrali moderne. Il cervello umano non è modificabile dall’utente finale.

Tutto ciò rende piuttosto implausibile che il primo essere umano venga scansionato in un computer e potenziato sanamente prima che qualcuno, da qualche parte, abbia costruito per primo un’Intelligenza Artificiale.

Nel punto in cui la tecnologia diventa per la prima volta capace di upload, ciò implica una potenza di calcolo enormemente superiore, e probabilmente una scienza cognitiva molto migliore, di quanto sia richiesto per costruire un’IA.

Costruire un 747 da zero non è facile. Ma è più facile:

• Partire dal progetto esistente di un uccello biologico,

• e modificare incrementalmente il progetto attraverso una serie di stadi successivi,

• ciascuno stadio indipendentemente vitale,

• tale che il punto finale sia un uccello ingrandito alle dimensioni di un 747,

• che vola davvero,

• veloce come un 747,

• e poi esegua questa serie di trasformazioni su un uccello vivo,

• senza ucciderlo o renderlo estremamente a disagio?

Non sto dicendo che non si potrebbe mai, assolutamente mai fare. Sto dicendo che sarebbe più facile costruire il 747, e poi far sì che il 747, metaforicamente parlando, faccia un upgrade all’uccello. “Scaliamo semplicemente un uccello esistente fino alle dimensioni di un 747” non è una strategia intelligente che evita di confrontarsi con i misteri teorici intimidatori dell’aerodinamica. Forse, all’inizio, tutto ciò che sai del volo è che un uccello possiede la misteriosa essenza del volo, e i materiali con cui devi costruire un 747 sono semplicemente lì per terra. Ma non puoi scolpire la misteriosa essenza del volo, anche se risiede già nell’uccello, finché il volo non ha cessato di essere per te una misteriosa essenza.

L’argomento sopra è diretto a un caso deliberatamente estremo. Il punto generale è che non abbiamo totale libertà di scegliere un percorso che suona piacevole e rassicurante, o che farebbe una bella storia come romanzo di fantascienza. Siamo vincolati da quali tecnologie è probabile che precedano altre.

Non sono contrario a scansionare esseri umani nei computer e renderli più intelligenti, ma sembra estremamente improbabile che questo sia il terreno su cui l’umanità affronti per la prima volta la sfida dell’intelligenza più che umana. Con vari sottoinsiemi rigorosi della tecnologia e della conoscenza necessarie per caricare e potenziare gli esseri umani, si potrebbe:

• Potenziare cervelli biologici in loco (per esempio, aggiungendo nuovi neuroni che vengano cablati in modo utile);

• o interfacciare utilmente computer a cervelli umani biologici;

• o interfacciare utilmente cervelli umani tra loro;

• o costruire Intelligenza Artificiale.

Inoltre, una cosa è potenziare sanamente un essere umano medio fino a un QI di 140, e un’altra è potenziare un vincitore del Premio Nobel fino a qualcosa di oltre-umano. (Tralasciando le sottigliezze sull’idoneità del QI, o del vincere il Premio Nobel, come misura dell’intelligenza fluida; per favore scusate le mie metafore.) Prendere Piracetam (o bere caffeina) può, o non può, rendere almeno alcune persone più intelligenti; ma non ti renderà sostanzialmente più intelligente di Einstein. In tal caso non abbiamo vinto alcuna capacità nuova significativa; non abbiamo reso più facili i successivi round del problema; non abbiamo superato il limite superiore sull’intelligenza disponibile per affrontare i rischi esistenziali. Dal punto di vista della gestione del rischio esistenziale, qualsiasi tecnologia di potenziamento dell’intelligenza che non produca un (piacevole,

sana) letteralmente più intelligente di un essere umano, sorge spontanea la domanda se lo stesso tempo e la stessa fatica potrebbero essere spesi in modo più produttivo per trovare un essere umano moderno estremamente intelligente e scatenarlo sullo stesso problema.

Inoltre, più ci si allontana dai limiti di progettazione “naturali” del cervello umano — la condizione ancestrale rappresentata dal cervello stesso, a cui i singoli componenti cerebrali sono adattati — maggiore è il pericolo di follia individuale. Se l’augment è sostanzialmente più intelligente di un essere umano, anche questo è un rischio catastrofico globale. Quanti danni può fare un essere umano potenziato e malvagio? Beh... quanto sono creativi? La prima domanda che mi viene in mente è: “Abbastanza creativi da costruire la propria IA auto-migliorante in modo ricorsivo?”

Le tecniche radicali di potenziamento dell’intelligenza umana sollevano i loro problemi di sicurezza. Ribadisco: non sto affermando che questi problemi siano impossibilità ingegneristiche; sto solo sottolineando che i problemi esistono. L’IA ha problemi di sicurezza; anche il potenziamento dell’intelligenza umana li ha. Non tutto ciò che sferraglia è tuo nemico, e non tutto ciò che è molliccio è tuo amico. Da un lato, un essere umano buono parte con tutta l’immensa complessità morale, etica e architetturale che descrive ciò che intendiamo per decisione “amichevole”. Dall’altro lato, un’IA può essere progettata per un auto-miglioramento ricorsivo stabile e modellata per la sicurezza: la selezione naturale non ha progettato il cervello umano con molteplici anelli di misure precauzionali, processi decisionali conservativi e ordini di grandezza di margine di sicurezza.

Il potenziamento dell’intelligenza umana è una questione a sé stante, non un sottotema dell’Intelligenza Artificiale; e questo capitolo non ha spazio per discuterne in dettaglio. Vale la pena menzionare che ho considerato sia il potenziamento dell’intelligenza umana che l’Intelligenza Artificiale all’inizio della mia carriera, e ho deciso di dedicare i miei sforzi all’Intelligenza Artificiale. Principalmente perché non mi aspettavo che tecniche di potenziamento dell’intelligenza utili e trascendenti l’umano arrivassero in tempo per avere un impatto sostanziale sullo sviluppo dell’Intelligenza Artificiale auto-migliorante in modo ricorsivo. Sarei piacevolmente sorpreso se mi dimostrassero che mi sbaglio.

Ma non credo che sia una strategia praticabile scegliere deliberatamente di non lavorare sull’IA Amichevole, mentre altri lavorano sul potenziamento dell’intelligenza umana, nella speranza che gli umani potenziati risolvano il problema meglio. Non sono disposto ad abbracciare una strategia che fallisce in modo catastrofico se il potenziamento dell’intelligenza umana richiede più tempo della costruzione dell’IA. (O viceversa, del resto.) Temo che lavorare con la biologia richiederà semplicemente troppo tempo — ci sarà troppa inerzia, troppa lotta contro le scelte progettuali sbagliate già fatte dalla selezione naturale. Temo che le agenzie di regolamentazione non approveranno gli esperimenti sugli esseri umani. E anche i geni umani impiegano anni per imparare la loro arte; più velocemente l’augment deve imparare, più difficile è potenziare qualcuno a quel livello.

Sarei piacevolmente sorpreso se esseri umani potenziati si facessero avanti e costruissero un’IA Amichevole prima che chiunque altro ne abbia la possibilità. Ma chi desiderasse vedere questo esito probabilmente dovrà lavorare sodo per accelerare le tecnologie di potenziamento dell’intelligenza; sarebbe difficile convincermi a rallentare. Se l’IA è naturalmente molto più difficile del potenziamento dell’intelligenza, nessun danno è fatto; se costruire un 747 è naturalmente più facile che gonfiare un uccello, allora l’attesa potrebbe essere fatale. Esiste una regione di possibilità relativamente piccola in cui non lavorare deliberatamente sull’IA Amichevole potrebbe aiutare, e una regione ampia in cui sarebbe irrilevante o dannoso. Anche se il potenziamento dell’intelligenza umana è possibile, ci sono considerazioni di sicurezza reali e difficili; dovrei chiedermi seriamente se preferiamo che l’IA Amichevole preceda il potenziamento dell’intelligenza, piuttosto che il contrario.

Non attribuisco una forte fiducia all’affermazione che l’IA Amichevole sia più facile dell’augmentazione umana, o che sia più sicura. Ci sono molti percorsi concepibili per potenziare un essere umano. Forse esiste una tecnica più facile e più sicura dell’IA, che sia anche abbastanza potente da fare la differenza sul rischio esistenziale. Se così fosse, potrei cambiare lavoro. Ma volevo sottolineare alcune considerazioni che argomentano contro l’assunzione indiscussa che il potenziamento dell’intelligenza umana sia più facile, più sicuro e abbastanza potente da fare la differenza.

13. Interazioni dell’IA con Altre Tecnologie
Accelerare una tecnologia desiderabile è una strategia locale, mentre rallentare una tecnologia pericolosa è una strategia maggioritaria difficile. Fermare o abbandonare una tecnologia indesiderabile tende a richiedere una strategia unanime impossibile. Suggerirei di pensare, non in termini di sviluppare o non sviluppare tecnologie, ma in termini della nostra latitudine pragmaticamente disponibile per accelerare o rallentare le tecnologie; e di chiederci, entro i limiti realistici di questa latitudine, quali tecnologie preferiremmo vedere sviluppate prima o dopo le altre.

Nella nanotecnologia, l’obiettivo solitamente presentato è sviluppare scudi difensivi prima delle tecnologie offensive. Mi preoccupo molto di questo, perché un dato livello di tecnologia offensiva tende a richiedere molta meno sofisticazione di una tecnologia che possa difendersi da essa. L’offesa ha superato la difesa durante la maggior parte della storia civilizzata. Le armi da fuoco furono sviluppate secoli prima dei giubbotti antiproiettile. Il vaiolo fu usato come strumento di guerra prima dello sviluppo dei vaccini contro il vaiolo. Oggi non esiste ancora uno scudo che possa deviare un’esplosione nucleare; le nazioni sono protette non da difese che annullano le offese, ma da un equilibrio di terrore offensivo. I nanotecnologi si sono posti un problema intrinsecamente difficile.

Quindi dovremmo preferire che la nanotecnologia preceda lo sviluppo dell’IA, o che l’IA preceda lo sviluppo della nanotecnologia? Così com’è posta, è una domanda un po’ trabocchetto. La risposta ha poco a che fare con la difficoltà intrinseca della nanotecnologia come rischio esistenziale, o con la difficoltà intrinseca dell’IA. Per quanto riguarda l’ordine, la domanda che dovremmo porci è: “L’IA ci aiuta a gestire la nanotecnologia? La nanotecnologia ci aiuta a gestire l’IA?”

A me sembra che una risoluzione di successo dell’Intelligenza Artificiale dovrebbe aiutarci notevolmente nel gestire la nanotecnologia. Non vedo come la nanotecnologia potrebbe rendere più facile sviluppare un’IA Amichevole. Se enormi nanocomputer rendono più facile sviluppare l’IA senza rendere più facile risolvere la sfida specifica dell’Amichevolezza, questa è un’interazione negativa. Quindi, a parità di altre condizioni, preferirei di gran lunga che l’IA Amichevole preceda la nanotecnologia nell’ordine degli sviluppi tecnologici. Se affrontiamo la sfida dell’IA e riusciamo, possiamo chiamare l’IA Amichevole in aiuto per la nanotecnologia. Se sviluppiamo la nanotecnologia e sopravviviamo, avremo comunque la sfida dell’IA da affrontare dopo.

In generale, un successo nell’IA Amichevole dovrebbe aiutare a risolvere quasi qualsiasi altro problema. Quindi, se una tecnologia non rende l’IA né più facile né più difficile, ma comporta un rischio catastrofico, dovremmo preferire, a parità di altre condizioni, affrontare prima la sfida dell’IA.

Qualsiasi tecnologia che aumenti la potenza di calcolo disponibile diminuisce la sofisticazione teorica minima necessaria per sviluppare l’Intelligenza Artificiale, ma non aiuta affatto sul fronte dell’Amichevolezza, e la considero un netto negativo. La Legge di Moore della Scienza Pazza: ogni diciotto mesi, il QI minimo necessario per distruggere il mondo scende di un punto.

Un successo nel potenziamento dell’intelligenza umana renderebbe più facile l’IA Amichevole, e aiuterebbe anche su altre tecnologie. Ma l’augmentazione umana non è necessariamente più sicura, o più facile, dell’IA Amichevole; né rientra necessariamente nella nostra latitudine realisticamente disponibile invertire l’ordine naturale tra augmentazione umana e IA Amichevole, se una tecnologia è naturalmente molto più difficile dell’altra.

14. Fare Progressi sull’IA Amichevole
Proponiamo che uno studio di 2 mesi, con 10 uomini, sull’intelligenza artificiale venga condotto durante l’estate del 1956 al Dartmouth College di Hanover, nel New Hampshire. Lo studio deve procedere sulla base della congettura che ogni aspetto dell’apprendimento o qualsiasi altra caratteristica dell’intelligenza possa in linea di principio essere descritto in modo così preciso che una macchina possa essere costruita per simularlo. Si tenterà di scoprire come far sì che le macchine usino il linguaggio, formino astrazioni e concetti, risolvano tipi di problemi ora riservati agli esseri umani e migliorino

Pensiamo che si possa fare un progresso significativo in uno o più di questi problemi se un gruppo accuratamente selezionato di scienziati vi lavori insieme per un’estate. (McCarthy et al. 1955)

La Proposta per il Progetto di Ricerca Estiva di Dartmouth sull’Intelligenza Artificiale è il primo uso documentato dell’espressione “intelligenza artificiale”. Non avevano esperienze precedenti che li avvertissero che il problema fosse difficile. Lo definirei comunque un errore genuino, il fatto che abbiano detto “si può fare un progresso significativo”, e non “si potrebbe fare”, con il lavoro di un’estate. Questa è una congettura specifica sulla difficoltà del problema e sui tempi di soluzione, che porta con sé uno specifico onere di improbabilità. Ma se avessero detto “potrebbe”, non avrei obiezioni. Come avrebbero potuto saperlo?

La Proposta di Dartmouth includeva, tra gli altri, i seguenti argomenti: comunicazione linguistica, ragionamento linguistico, reti neurali, astrazione, casualità e creatività, interazione con l’ambiente, modellazione del cervello, originalità, previsione, invenzione, scoperta e auto-miglioramento.

Ora mi sembra che un’IA capace di linguaggio, pensiero astratto, creatività, interazione ambientale, originalità, previsione, invenzione, scoperta e, soprattutto, auto-miglioramento, sia ben oltre il punto in cui deve anche essere Amichevole.

La Proposta di Dartmouth non menziona la costruzione di un’IA gentile/buona/benevola. Le questioni di sicurezza non sono menzionate nemmeno allo scopo di liquidarle. Questo, anche in quell’estate luminosa in cui un’IA a livello umano sembrava dietro l’angolo. La Proposta di Dartmouth fu scritta nel 1955, prima della conferenza di Asilomar sulla biotecnologia, dei bambini della talidomide, di Chernobyl o dell’11 settembre. Se oggi l’idea dell’intelligenza artificiale fosse proposta per la prima volta, allora qualcuno pretenderebbe di sapere cosa specificamente si stesse facendo per gestire i rischi. Non sto dicendo se questo sia un buon cambiamento o un cattivo cambiamento nella nostra cultura. Non sto dicendo se questo produca buona o cattiva scienza. Ma il punto resta che se la Proposta di Dartmouth fosse stata scritta cinquant’anni dopo, uno degli argomenti sarebbe stato la sicurezza.

Al momento in cui scrivo, nel 2006, la comunità di ricerca sull’IA non vede ancora l’IA Amichevole come parte del problema. Vorrei poter citare un riferimento a questo proposito, ma non posso citare un’assenza di letteratura. L’IA Amichevole è assente dal panorama concettuale, non semplicemente impopolare o priva di finanziamenti. Non si può nemmeno definire l’IA Amichevole un punto bianco sulla mappa, perché non c’è la nozione che manchi qualcosa. Se avete letto libri popolari/semi-tecnici che propongono come costruire l’IA, come Gödel, Escher, Bach (Hofstadter 1979) o La società della mente (Minsky 1986), potreste ripensarci e ricordare di non aver visto l’IA Amichevole discussa come parte della sfida. Nemmeno io ho visto l’IA Amichevole discussa nella letteratura tecnica come problema tecnico. La mia ricerca bibliografica tentata ha prodotto principalmente brevi articoli non tecnici, non collegati tra loro, senza un riferimento importante in comune se non le “Tre Leggi della Robotica” di Isaac Asimov (Asimov 1942).

Dato che siamo nel 2006, perché non ci sono più ricercatori di IA che parlano di sicurezza? Non ho accesso privilegiato alla psicologia altrui, ma speculerò brevemente sulla base di discussioni personali.

Il campo dell’Intelligenza Artificiale si è adattato alle proprie esperienze degli ultimi cinquanta anni: in particolare, al modello di grandi promesse, soprattutto di capacità a livello umano, seguite da imbarazzanti fallimenti pubblici. Attribuire questo imbarazzo all’”IA” è forse ingiusto; i ricercatori più saggi che non avevano fatto promesse non videro il loro conservatorismo proclamato sui giornali. Eppure le promesse mancate vengono subito in mente, sia dentro che fuori dal campo dell’IA, quando si menziona un’IA avanzata. La cultura della ricerca sull’IA si è adattata a questa condizione: c’è un tabù contro il parlare di capacità a livello umano. C’è un tabù ancora più forte contro chiunque sembri rivendicare o prevedere una capacità che non ha dimostrato con codice funzionante. La percezione che ho incontrato è che chiunque affermi di fare ricerca sull’IA Amichevole stia implicitamente affermando che il proprio progetto di IA è abbastanza potente da aver bisogno di essere Amichevole.

Dovrebbe essere ovvio che questo non è né logicamente vero, né praticamente una buona filosofia. Se immaginiamo qualcuno che crea un’IA reale e matura, abbastanza potente da aver bisogno di essere Amichevole, e inoltre, come è il nostro risultato desiderato, questa IA è davvero Amichevole, allora qualcuno deve aver lavorato sull’IA Amichevole per anni e anni. L’IA Amichevole non è un modulo che puoi inventare all’istante nel momento esatto in cui serve per la prima volta, e poi fissare a un progetto esistente e rifinito che per il resto è completamente invariato.

Il campo dell’IA ha tecniche, come le reti neurali e la programmazione evolutiva, che sono cresciute in potenza con la lenta messa a punto di decenni. Ma le reti neurali sono opache—l’utente non ha idea di come la rete neurale prenda le sue decisioni—e non possono essere facilmente rese non opache; le persone che hanno inventato e rifinito le reti neurali non pensavano ai problemi a lungo termine dell’IA Amichevole. La programmazione evolutiva (PE) è stocastica e non preserva con precisione il target di ottimizzazione nel codice generato; la PE ti dà codice che fa ciò che chiedi, la maggior parte delle volte, nelle circostanze testate, ma il codice potrebbe anche fare qualcos’altro per conto suo. La PE è una tecnica potente, ancora in maturazione, intrinsecamente inadatta alle esigenze dell’IA Amichevole. L’IA Amichevole, come l’ho proposta io, richiede cicli ripetuti di auto-miglioramento ricorsivo che preservino con precisione un target di ottimizzazione stabile.

Le tecniche di IA attuali più potenti, così come sono state sviluppate e poi rifinite e migliorate nel tempo, hanno incompatibilità di base con i requisiti dell’IA Amichevole come li vedo attualmente. Il problema Y2K—che si è rivelato molto costoso da risolvere, sebbene non catastrofico a livello globale—è sorto analogamente dal non aver previsto i requisiti di progettazione di domani. Lo scenario da incubo è che ci troviamo bloccati con un catalogo di tecniche di IA mature, potenti e pubblicamente disponibili che, combinate, producono

IA amichevole, ma che non può essere usata per costruire un’IA amichevole senza rifare da zero gli ultimi trent’anni di lavoro nel campo dell’IA.

Nel campo dell’IA, è già abbastanza audace discutere apertamente di IA a livello umano, dopo le esperienze passate del settore con tali discussioni. C’è la tentazione di congratularsi con sé stessi per aver osato tanto, e poi fermarsi. Discutere di IA transumana sembrerebbe ridicolo e superfluo, dopo aver già osato così tanto. (Ma non c’è alcuna ragione privilegiata per cui le IA dovrebbero salire lentamente lungo tutta la scala dell’intelligenza, e poi fermarsi per sempre esattamente sul punto umano.) Osare parlare di IA amichevole, come precauzione contro il rischio catastrofico globale dell’IA transumana, sarebbe due livelli sopra il livello di audacia che è appena abbastanza per essere visto come trasgressivo e coraggioso.

C’è anche un’obiezione pragmatica che concede che l’IA amichevole sia un problema importante, ma teme che, dato il nostro attuale stato di comprensione, semplicemente non siamo in grado di affrontare l’IA amichevole: se proviamo a risolvere il problema adesso, falliremo, o produrremo anti-scienza invece di scienza.

E questa obiezione merita attenzione. Mi sembra che la conoscenza sia là fuori—che sia possibile studiare un corpo di conoscenze esistenti sufficientemente ampio, e poi affrontare l’IA amichevole senza sbattere la faccia contro un muro di mattoni—ma la conoscenza è dispersa tra molteplici discipline: teoria delle decisioni e psicologia evoluzionistica e teoria della probabilità e biologia evoluzionistica e psicologia cognitiva e teoria dell’informazione e il campo tradizionalmente noto come “Intelligenza Artificiale”… Non esiste un curriculum che abbia già preparato un ampio bacino di ricercatori esistenti per fare progressi sull’IA amichevole.

La “regola dei dieci anni” per il genio, validata in campi che vanno dalla matematica alla musica al tennis competitivo, afferma che nessuno raggiunge prestazioni eccezionali in alcun campo senza almeno dieci anni di sforzo (Hayes 1981). Mozart iniziò a comporre sinfonie a 4 anni, ma non erano sinfonie di Mozart—ci vollero altri 13 anni perché Mozart iniziasse a comporre sinfonie eccezionali (Weisberg 1986). La mia stessa esperienza con la curva di apprendimento rafforza questa preoccupazione. Se vogliamo persone che possano fare progressi sull’IA amichevole, allora devono iniziare ad addestrarsi, a tempo pieno, anni prima che siano urgentemente necessarie.

Se domani la Fondazione Bill e Melinda Gates stanziasse cento milioni di dollari in sovvenzioni per lo studio dell’IA amichevole, allora mille scienziati inizierebbero subito a riscrivere le loro proposte di sovvenzione per farle sembrare rilevanti per l’IA amichevole. Ma non sarebbero genuinamente interessati al problema—si veda che non hanno mostrato curiosità prima che qualcuno offrisse loro denaro. Mentre l’Intelligenza Artificiale Generale è fuori moda e l’IA amichevole è completamente fuori dai radar, possiamo almeno supporre che chiunque parli del problema sia genuinamente interessato ad esso. Se si getta troppo

soldi su un problema che un campo non è preparato a risolvere, l’eccesso di denaro ha più probabilità di produrre anti-scienza che scienza—un pasticcio di false soluzioni.

Non posso considerare questo verdetto una buona notizia. Saremmo tutti molto più al sicuro se l’IA Amichevole potesse essere risolta accumulando corpi caldi e denaro. Ma a partire dal 2006 dubito fortemente che sia così—il campo dell’IA Amichevole, e l’Intelligenza Artificiale stessa, è troppo in uno stato di caos. Eppure, se si sostiene che non possiamo ancora fare progressi sull’IA Amichevole, che sappiamo troppo poco, dovremmo chiederci per quanto tempo si è studiato prima di giungere a questa conclusione. Chi può dire cosa la scienza non sa? C’è fin troppa scienza perché un singolo essere umano possa impararla. Chi può dire che non siamo pronti per una rivoluzione scientifica, prima della sorpresa? E se non possiamo fare progressi sull’IA Amichevole perché non siamo preparati, questo non significa che non abbiamo bisogno dell’IA Amichevole. Queste due affermazioni non sono affatto equivalenti!

Quindi, se scopriamo di non poter fare progressi sull’IA Amichevole, allora dobbiamo capire come uscire da quel regime il più velocemente possibile! Non c’è alcuna garanzia che, solo perché non possiamo gestire un rischio, il rischio si dilegui obbligatoriamente.

Se giovani scienziati brillanti e non ancora affermati si interessano all’IA Amichevole di loro spontanea volontà, allora penso che sarebbe di grande beneficio per la specie umana se potessero richiedere una sovvenzione pluriennale per studiare il problema a tempo pieno. È necessario un certo finanziamento per l’IA Amichevole a questo scopo—considerabilmente più finanziamento di quanto ne esista attualmente. Ma temo che in queste fasi iniziali, un Progetto Manhattan aumenterebbe solo il rapporto tra rumore e segnale.

15. Conclusione
Mi è capitato di pensare che la civiltà moderna occupi uno stato instabile. L’esplosione dell’intelligenza ipotizzata da I. J. Good descrive un sistema dinamicamente instabile, come una penna in equilibrio precario sulla punta. Se la penna è esattamente verticale, può rimanere in piedi; ma se la penna si inclina anche solo di poco dalla verticale, la gravità la tira ulteriormente in quella direzione, e il processo accelera. Allo stesso modo, sistemi più intelligenti avrebbero più facilità a rendersi più intelligenti.

Un pianeta morto, che orbita senza vita attorno alla sua stella, è anch’esso stabile. A differenza di un’esplosione dell’intelligenza, l’estinzione non è un attrattore dinamico—c’è un grande divario tra quasi estinto ed estinto. Ciononostante, l’estinzione totale è stabile.

La nostra civiltà non deve forse alla fine vagare verso l’uno o l’altro modo?
Come logica, l’argomento sopra contiene dei buchi. La Fallacia della Torta Gigante, per esempio: le menti non vagano ciecamente verso gli attrattori, hanno delle motivazioni. Anche così, sospetto che, pragmaticamente parlando, le nostre alternative si riducano a diventare più intelligenti o diventare estinti.

La natura non è crudele, ma indifferente; una neutralità che spesso sembra indistinguibile dall’aperta ostilità. La realtà ti getta contro una sfida dopo l’altra, e quando incontri una sfida che non puoi gestire, subisci le conseguenze. Spesso la Natura pone requisiti grossolanamente ingiusti, anche in prove dove la penalità per il fallimento è la morte. Come potrebbe un contadino medievale del X secolo inventare una cura per la tubercolosi? La Natura non commisura le sue sfide alle tue abilità, o alle tue risorse, o a quanto tempo libero hai per pensare al problema. E quando incontri una sfida letale troppo difficile per te, muori. Può essere spiacevole pensarci, ma questa è stata la realtà per gli esseri umani, per migliaia e migliaia di anni. La stessa cosa potrebbe facilmente accadere all’intera specie umana, se la specie umana incontrasse una sfida ingiusta.

Se gli esseri umani non invecchiassero, così che i centenari avessero lo stesso tasso di mortalità dei quindicenni, non saremmo immortali. Dureremmo solo finché le probabilità non ci raggiungessero. Per vivere anche solo un milione di anni, come un umano che non invecchia in un mondo rischioso come il nostro, dovresti in qualche modo ridurre la tua probabilità annuale di incidente a quasi zero. Non potresti guidare; non potresti volare; non potresti attraversare la strada nemmeno dopo aver guardato da entrambi i lati, perché sarebbe comunque un rischio troppo grande. Anche se abbandonassi ogni pensiero di divertimento, rinunciassi a vivere per preservare la tua vita, non saresti in grado di superare un percorso a ostacoli di un milione di anni. Non sarebbe fisicamente impossibile, ma cognitivamente impossibile.

La specie umana, l’Homo sapiens, non invecchia ma non è immortale. Gli ominidi sono sopravvissuti così a lungo solo perché, nell’ultimo milione di anni, non c’erano arsenali di bombe all’idrogeno, né astronavi per deviare asteroidi verso la Terra, né laboratori di armi biologiche per produrre supervirus, né la prospettiva annuale ricorrente di una guerra nucleare o di una guerra nanotecnologica o di un’Intelligenza Artificiale canaglia. Per sopravvivere per un tempo apprezzabile, dobbiamo ridurre ogni rischio a quasi zero. “Abbastanza buono” non è abbastanza per durare altri milioni di anni.

Sembra una sfida ingiusta. Tale competenza non è storicamente tipica delle istituzioni umane, non importa quanto ci provino. Per decenni gli Stati Uniti e l’URSS hanno evitato la guerra nucleare, ma non perfettamente; ci sono stati momenti di pericolo, come la crisi dei missili di Cuba nel 1962. Se postuliamo che le menti future esibiscano la stessa miscela di follia e saggezza, la stessa miscela di eroismo ed egoismo, delle menti di cui leggiamo nei libri di storia—allora il gioco del rischio esistenziale è già finito; è stato perso dall’inizio. Potremmo sopravvivere per un altro decennio, anche per un altro secolo, ma non per un altro milione di anni.

Ma la mente umana non è il limite del possibile. L’Homo sapiens rappresenta la prima intelligenza generale. Siamo nati nell’inizio assoluto delle cose, nell’alba della mente. Con un po’ di fortuna, gli storici futuri guarderanno indietro e descriveranno il mondo attuale come un’imbarazzante fase intermedia dell’adolescenza, quando l’umanità era abbastanza intelligente da creare problemi enormi a se stessa, ma non abbastanza intelligente da risolverli.

Eppure, prima di poter superare quella fase dell’adolescenza, dobbiamo, da adolescenti, affrontare un problema da adulti: la sfida di un’intelligenza più che umana. Questa è la via d’uscita dalla fase ad alta mortalità del ciclo di vita, il modo per chiudere la finestra di vulnerabilità; è anche probabilmente il rischio più pericoloso che affrontiamo. L’Intelligenza Artificiale è una delle strade verso quella sfida; e credo che sia la strada che finiremo per prendere. Penso che, alla fine, sarà più facile costruire un 747 da zero che potenziare un uccello esistente o innestarci motori a reazione.

Non voglio sminuire la colossale audacia di cercare di costruire, con uno scopo e un progetto precisi, qualcosa di più intelligente di noi. Ma fermiamoci un attimo e ricordiamo che l’intelligenza non è la prima cosa che la scienza umana abbia mai incontrato che si sia rivelata difficile da comprendere. Le stelle un tempo erano misteri, e la chimica, e la biologia. Generazioni di ricercatori tentarono e fallirono nel comprendere quei misteri, e questi acquisirono la reputazione di essere impossibili per la mera scienza. Una volta, nessuno capiva perché certa materia fosse inerte e senza vita, mentre altra materia pulsava di sangue e vitalità. Nessuno sapeva come la materia vivente si riproducesse, o perché le nostre mani obbedissero ai nostri ordini mentali. Lord Kelvin scrisse:

L’influenza della vita animale o vegetale sulla materia è infinitamente oltre la portata di qualsiasi indagine scientifica intrapresa finora. Il suo potere di dirigere i movimenti delle particelle in movimento, nel miracolo quotidiano dimostrato del nostro libero arbitrio umano, e nella crescita di generazione dopo generazione di piante da un singolo seme, sono infinitamente diversi da qualsiasi possibile risultato della fortuita concorrenza degli atomi. (Macfie 1912)

Tutta l’ignoranza scientifica è santificata dall’antichità. Ogni singola assenza di conoscenza risale all’alba della curiosità umana; e il vuoto dura attraverso i secoli, apparentemente eterno, finché qualcuno non lo colma. Penso che sia possibile per dei semplici esseri umani fallibili riuscire nella sfida di costruire un’IA Amichevole. Ma solo se l’intelligenza cessa di essere per noi un mistero sacro, come la vita era un mistero sacro per Lord Kelvin. L’intelligenza deve cessare di essere qualsiasi tipo di mistero, sacro o no. Dobbiamo eseguire la creazione dell’Intelligenza Artificiale come l’applicazione esatta di un’arte esatta. E forse allora potremo vincere.

Riferimenti
Asimov, Isaac. 1942. “Runaround.” Astounding Science-Fiction, marzo, 94–103.
Barrett, Justin L., e Frank C. Keil. 1996. “Conceptualizing a Nonnatural Entity: Anthropomorphism

in God Concepts.” Cognitive Psychology 31 (3): 219–247. doi:10.1006/cogp.1996.0017.
Bostrom, Nick. 1998. “How Long Before Superintelligence?” International Journal of Futures Studies 2.

. 2002. “Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards.” Journal
of Evolution and Technology 9. http://www.jetpress.org/volume9/risks.html.

Bostrom, Nick, e Milan M. Ćirković, a cura di. 2008. Global Catastrophic Risks. New York: Oxford University
Press.

Brown, Donald E. 1991. Human Universals. New York: McGraw-Hill.
Deacon, Terrence W. 1997. The Symbolic Species: The Co-evolution of Language and the Brain. New York:

W. W. Norton.
Drexler, K. Eric. 1992. Nanosystems: Molecular Machinery, Manufacturing, and Computation. New York:

Wiley.
Ekman, Paul, e Dacher Keltner. 1997. “Universal Facial Expressions of Emotion: An Old Contro-

versy and New Findings.” In Nonverbal Communication: Where Nature Meets Culture, a cura di Ullica
Segerstråle e Peter Molnár, 27–46. Mahwah, NJ: Lawrence Erlbaum.

Good, Irving John. 1965. “Speculations Concerning the First Ultraintelligent Machine.” In Advances in
Computers, a cura di Franz L. Alt e Morris Rubinoff, 31–88. Vol. 6. New York: Academic Press.
doi:10.1016/S0065-2458(08)60418-0.

Hayes, John R. 1981. The Complete Problem Solver. 1a ed. Philadelphia, PA: Franklin Institute.
Hibbard, Bill. 2001. “Super-Intelligent Machines.” ACM SIGGRAPH Computer Graphics 35 (1): 13–15.

http://www.siggraph.org/publications/newsletter/issues/v35/v35n1.pdf.
Hofstadter, Douglas R. 1979. Gödel, Escher, Bach: An Eternal Golden Braid. New York: Basic Books.
Jaynes, E. T. 2003. Probability Theory: The Logic of Science. A cura di G. Larry Bretthorst. New York:

Cambridge University Press. doi:10.2277/0521592712.
Jensen, Arthur R. 1998. The g Factor: The Science of Mental Ability. Westport, CT: Praeger.
Macfie, Ronald Campbell. 1912. Heredity, Evolution, and Vitalism: Some of the Discoveries of Modern Re-

search into these Matters—Their Trend and Significance. New York: William Wood.
McCarthy, John, Marvin Minsky, Nathan Rochester, e Claude Shannon. 1955. A Proposal for the Dart-

mouth Summer Research Project on Artificial Intelligence. Formal Reasoning Group, Stanford Univer-
sity, Stanford, CA, 31 agosto.

Merkle, Ralph C., e K. Eric Drexler. 1996. “Helical Logic.” Nanotechnology 7 (4): 325–339. doi:10.
1088/0957-4484/7/4/004.

Minsky, Marvin. 1986. The Society of Mind. New York: Simon & Schuster.
Monod, Jacques L. 1975. “On the Molecular Theory of Evolution: Progress and Obstacles to Progress

in the Sciences.” In Problems of Scientific Revolution, a cura di Rom Harré. The Herbert Spencer
Lectures 1973. Oxford: Clarendon.

Moravec, Hans P. 1988. Mind Children: The Future of Robot and Human Intelligence. Cambridge, MA:
Harvard University Press.

. 1999. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
Phoenix, Chris, e Mike Treder. 2008. “Nanotechnology as Global Catastrophic Risk.” In Bostrom e

Ćirković 2008, 481–503.
Raymond, Eric S., a cura di. 2003. “DWIM.” In The On-Line Hacker Jargon File, versione 4.4.7. 29 dicembre.

http://catb.org/~esr/jargon/html/D/DWIM.html.
Rhodes, Richard. 1986. The Making of the Atomic Bomb. New York: Simon & Schuster.
Rice, Henry Gordon. 1953. “Classes of Recursively Enumerable Sets and their Decision Problems.”

Transactions of the American Mathematical Society 74 (2): 358–358. doi:10.1090/S0002- 9947-
1953-0053041-6.

Sandberg, Anders. 1999. “The Physics of Information Processing Superobjects: Daily Life Among the
Jupiter Brains.” Journal of Evolution and Technology 5. http://www.jetpress.org/volume5/
Brains2.pdf.

Schmidhuber, Jürgen. 2007. “Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers.”
In Artificial General Intelligence, a cura di Ben Goertzel e Cassio Pennachin, 199–226. Cognitive
Technologies. Berlino: Springer. doi:10.1007/978-3-540-68677-4_7.

Sober, Elliott. 1984. The Nature of Selection: Evolutionary Theory in Philosophical Focus. Bradford Books.
Cambridge, MA: MIT Press.

Tooby, John, e Leda Cosmides. 1992. “The Psychological Foundations of Culture.” In The Adapted
Mind: Evolutionary Psychology and the Generation of Culture, a cura di Jerome H. Barkow, Leda Cos-
mides, e John Tooby, 19–136. New York: Oxford University Press.

Vinge, Vernor. 1993. “The Coming Technological Singularity: How to Survive in the Post-Human Era.”
In Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace, 11–22. NASA Con-
ference Publication 10129. NASA Lewis Research Center. http://ntrs.nasa.gov/archive/
nasa/casi.ntrs.nasa.gov/19940022855_1994022855.pdf.

Wachowski, Andy, e Lana Wachowski, reg. 1999. The Matrix. 31 marzo.
Weisberg, Robert W. 1986. Creativity: Genius and Other Myths. Series of Books in Psychology. New York:

W. H. Freeman.
Williams, George C. 1966. Adaptation and Natural Selection: A Critique of Some Current Evolutionary

Thought. Princeton Science Library. Princeton, NJ: Princeton University Press.
Yudkowsky, Eliezer. 2008. “Cognitive Biases Potentially Affecting Judgment of Global Risks.” In Bostrom

e Ćirković 2008, 91–119.

 

 

Yudkowsky, Eliezer. 2008. “Artificial Intelligence as a Positive and Negative Factor in Global Risk.”
In Global Catastrophic Risks, a cura di Nick Bostrom e Milan M. Ćirković, 308–345.

New York: Oxford University Press.

Questa versione contiene modifiche minori.