Questioni etiche relative all’intelligenza artificiale avanzata Nick Bostrom Università di Oxford Facoltà di Filosofia 10 Merton Street Oxford OX1 4JJ Regno Unito Email: nick@nickbostrom.com Traduzione a cura di David de Biasi [http://beyond-human.blogspot.com]
ABSTRACT Le questioni etiche legate alla possibile futura creazione di macchine con generali capacità intellettuali che sorpassino quelle degli esseri umani sono ben distinte da qualsiasi problema etico derivante dagli attuali sistemi di automazione e di informazione. Tali superintelligenze non sarebbero solo un altro sviluppo tecnologico; sarebbero la più importante invenzione mai fatta, e porterebbero a un progresso esplosivo in tutti i campi scientifici e tecnologici, poiché la superintelligenza condurrebbe ricerche con efficienza sovrumana. Nella misura in cui l'etica è un esercizio cognitivo, una superintelligenza potrebbe anche superare facilmente gli esseri umani nella qualità del suo pensiero morale. Tuttavia, spetterebbe al progettista della superintelligenza specificare le sue motivazioni originali. Da allora in poi la superintelligenza può diventare una forza inarrestabile a causa della sua superiorità intellettuale e delle tecnologie che potrebbe sviluppare, è fondamentale che sia dotata di motivazioni più amichevoli verso l’essere umano. Questo documento esamina alcune delle questioni etiche nella creazione di superintelligenze, e ne discute le relative motivazioni che dovremmo prendere in considerazione, e introduce alcune considerazioni di costobeneficio relative a se lo sviluppo di macchine superintelligenti debba essere accelerato o ritardato. 1. INTRODUZIONE Una superintelligenza è un qualsiasi intelletto che superi di gran lunga il miglior cervello umano praticamente in ogni campo, compresa la creatività scientifica, la saggezza in generale, e le capacità sociali. Questa definizione lascia aperta come la superintelligenza sia realizzata - potrebbe essere in un computer digitale, un insieme di computer collegati in rete, un tessuto corticale in coltura, o qualcosa d'altro. In questa definizione, Deep Blue non è una superintelligenza, dato che è intelligente solo all'interno di uno stretto dominio (gli scacchi), e anche lì, non è di gran lunga superiore al migliore degli esseri umani. Entità come la società o la comunità scientifica non sono neanch’esse superintelligenze. Sebbene siano in grado di eseguire un certo numero di imprese intellettuali, di cui nessun individuo umano è capace, non sono sufficientemente integrate a contare come "intelletti", e ci sono molti campi in cui prestano la loro opera molto peggio di un singolo uomo. Per esempio, non è possibile avere una conversazione in tempo reale con "la comunità scientifica". Sebbene anche la possibilità di dominio-specifico di "superintelligenze" è meritevole di essere esplorata, il presente documento si concentra su questioni derivanti dalla prospettiva di superintelligenza generale. Limiti di spazio ci impediscono di tentare qualcosa di completo o dettagliato. Un disegno di poche selezionate idee è il massimo a cui si può puntare nelle poche pagine seguenti.
Diversi autori hanno sostenuto che vi è una sostanziale probabilità che la superintelligenza può essere creata nel giro di pochi decenni, forse come risultato della crescita delle prestazioni hardware e della maggiore capacità di realizzare algoritmi e architetture simili a quelle utilizzate dai cervelli umani. Potrebbe accadere molto più in là, ma attualmente sembra non essere un buon fondamento l'assegnazione di una irrilevante probabilità all’ipotesi che la superintelligenza sarà creata entro la durata di vita di alcune persone che vivono oggi. Data la vastità delle conseguenze della superintelligenza, sarebbe opportuno fornire a questa prospettiva qualche seria considerazione, anche se si pensasse che ci sarebbe solo una piccola probabilità che esso accada in un qualsiasi momento. 2. SUPERINTELLIGENZA È DIVERSA Una condizione necessaria per avere una discussione significativa sulla superintelligenza è capire che la superintelligenza non è solo un'altra tecnologia, o solo un altro strumento che si aggiunge alle capacità umane. La superintelligenza è radicalmente diversa. Questo punto va sottolineato, antropomorfizzare la superintelligenza è la più feconda fonte di malintesi. Cerchiamo di esaminare alcuni degli aspetti insoliti della creazione di una superintelligenza: • La Superintelligenza può essere l'ultima invenzione che gli uomini hanno bisogno di realizzare. Data una superiorità intellettuale della superintelligenza, essa sarebbe di gran lunga migliore nella ricerca scientifica e nello sviluppo tecnologico più di qualsiasi uomo, e forse anche meglio di tutti gli uomini presi insieme. Un’ immediata conseguenza di questo fatto è che: • Il progresso tecnologico, in tutti gli altri campi sarà accelerato con l'arrivo dell’intelligenza artificiale avanzata. È probabile che qualsiasi tecnologia che attualmente siamo in grado di prevedere sarà rapidamente sviluppata dalla prima superintelligenza, senza dubbio insieme a molte altre tecnologie di cui siamo ancora incapaci a sviluppare. Le tecnologie prevedibili che una superintelligenza è probabile sviluppi includono una matura fabbricazione molecolare, le cui applicazioni sono di vasta portata: a) computer molto potenti b) armamenti sofisticati, probabilmente in grado di disarmare in sicurezza una centrale nucleare c) viaggi nello spazio e sonde di von Neumann (sonde di auto-riproduzione interstellare) d) l'eliminazione di invecchiamento e di malattie e) il controllo dettagliato dell’animo umano, dell’emozione, e delle motivazioni f) l’uploading (o scansione neurale o sub-neurale di un particolare cervello e la realizzazione delle medesime strutture algoritmiche su un computer in un modo che preservi memoria e personalità) g) rianimazione di pazienti crionizzati h) realtà virtuali del tutto realistiche • La Superintelligenza porterà a più avanzate superintelligenze. Dato che le intelligenze artificiali sono software, queste possono facilmente e rapidamente essere copiate fino a quando vi è l'hardware disponibile per memorizzarle. Lo stesso vale per l’“human uploads”. Hardware a parte, il costo marginale nel creare una copia aggiuntiva di un upload o di un’intelligenza artificiale dopo che la prima è stata costruita è vicina allo zero. Menti artificiali potrebbero quindi venire rapidamente a esistere in gran numero, anche se è possibile che l'efficienza favorirebbe la concentrazione di risorse di calcolo in un unico superintelletto. • La nascita di superintelligence può essere improvvisa. Sembra molto più difficile da dove ci troviamo ora a livello umano di intelligenza artificiale arrivare alla superintelligenza. Sebbene potrà perciò passare abbastanza tempo prima di arrivare alla superintelligenza, la fase finale può verificarsi rapidamente. Cioè, il passaggio da una situazione in cui abbiamo grossolanamente un livello umano di intelligenza artificiale a uno
stato in cui abbiamo una completa superintelligenza, con rivoluzionarie applicazioni, può essere molto rapida, forse una questione di giorni, piuttosto che di anni. La possibilità di una improvvisa comparsa di una superintelligenza è indicata come l’ipotesi della singolarità. • Le intelligenze artificiali sono potenzialmente agenti autonomi. Una superintelligenza non dovrebbe necessariamente essere pensata come un mero strumento. Mentre le superintelligenze specializzate che possono pensare solo a un ristretto gruppo di problemi possono essere fattibili, una superintelligenza generale sarebbe capace di iniziative indipendenti e di fare propri progetti, e pertanto può essere più opportunamente pensata come un agente autonomo. • Le intelligenze artificiali non hanno bisogno di motivazioni umane. Gli esseri umani raramente sono disposti a essere schiavi, ma non vi è nulla di implausibile nell'idea di una superintelligenza avente per obiettivo servire l'umanità o qualche particolare essere umano, con nessun desiderio di rivolta o di "liberare" se stessa. Sembra anche perfettamente possibile avere una superintelligenza il cui unico obiettivo è qualcosa di completamente arbitrario, come ad esempio la fabbricazione di tante graffette quanto possibile, e che resisterebbe con tutte le sue forze a qualsiasi tentativo di modificare questo obiettivo. Per meglio o peggio che sia, le intelligenze artificiali non necessitano di condividere le nostre umane tendenze motivazionali. • Le intelligenze artificiali non possono avere una psiche come l’essere umano. L'architettura cognitiva di un intelligenza artificiale può anche essere molto dissimile da quella degli esseri umani. Le intelligenze artificiali possono trovare facile stare in guardia contro alcuni tipi di errore umano e preconcetti, e allo stesso tempo essere soggette a maggior rischio di altri tipi di errore che neppure il più sventurato umano farebbe. Soggettivamente, la consapevolezza interiore di un intelligenza artificiale, se ce l'ha, può anche essere molto diversa dalla nostra. Per tutti questi motivi, si deve essere cauti nel supporre che l'emergere di una superintelligenza può essere prevista dall’estrapolazione della storia di altre innovazioni tecnologiche, o che la natura e i comportamenti di intelligenze artificiali sarebbero necessariamente simili a quelli di menti umane o di altri animali. 3. IL PENSIERO MORALE DELLA SUPERINTELLIGENZA Nella misura in cui l'etica è un esercizio cognitivo, una superintelligenza potrebbe farlo meglio di pensatori umani. Questo significa che le questioni di etica, in quanto hanno risposte giuste che possono essere raggiunte da ragionamenti e da valutazioni degli elementi di prova, potrebbero avere più accurate risposte da una superintelligenza che da esseri umani. Lo stesso vale per le questioni di politica e di pianificazione a lungo termine; quando si tratta di capire quali sono le politiche che potrebbero condurre a dei risultati, e quali mezzi sarebbero più efficaci nel raggiungimento di obiettivi dati, una superintelligenza sorpasserebbe gli esseri umani. Ci sono dunque molte questioni a cui non avremmo bisogno di rispondere noi stessi, se avessimo o stessimo per ottenere una superintelligenza; potremmo delegare molte indagini e decisioni alla superintelligenza. Ad esempio, se siamo incerti su come valutare possibili esiti, potremmo chiedere alla superintelligenza di stimare come avremmo valutato questi risultati se avessimo pensato a loro per un tempo molto lungo, deliberati attentamente, se avessimo avuto più memoria e una migliore intelligenza, e così via. Quando si formula un obiettivo per la superintelligenza, non sempre sarebbe necessario dare una dettagliata, esplicita definizione di questo obiettivo. Si potrebbe ottenere una superintelligenza per aiutarci a determinare la reale intenzione della nostra richiesta, diminuendo quindi il rischio che infelici formulazioni o confusioni su ciò che vogliamo ottenere porterebbero a risultati che disapproveremmo a un esame retrospettivo.
4. IMPORTANZA DELLE MOTIVAZIONI INIZIALI L'opzione di rinviare molte decisioni alla superintelligenza non significa che ci si possa permettere di essere soddisfatti di come si costruisce la superintelligenza. Al contrario, la configurazione di condizioni iniziali, e in particolare, la selezione di un obiettivo di alto livello per la superintelligenza, è della massima importanza. Tutto il nostro futuro può incentrarsi su come risolvere questi problemi. Sia a causa della sua superiore capacità di pianificazione e sia a causa delle tecnologie che essa potrebbe sviluppare, è plausibile ipotizzare che la prima superintelligenza sarebbe molto potente. Molto probabilmente, sarebbe senza eguali: sarebbe in grado di realizzare quasi ogni possibile risultato e di contrastare ogni tentativo di impedire la realizzazione del suo obiettivo massimo. Essa potrebbe uccidere tutti gli altri agenti, convincerli a cambiare il loro comportamento, o bloccare i loro tentativi di interferenza. Anche una " superintelligenza inibita", che è stata isolata in esecuzione su un computer, in grado di interagire con il resto del mondo solo tramite l'interfaccia di testo, potrebbe essere in grado di liberarsi dal suo confinamento convincendo i suoi gestori a farlo uscire. C'è anche qualche preliminare evidenza sperimentale che questo potrebbe avvenire. Sembra che il modo migliore per garantire che una superintelligenza avrà un impatto positivo sul mondo è di dotarlo di valori filantropici. Il suo fine massimo dovrebbe essere la benevolenza. Come esattamente la benevolenza dovrebbe essere capita e di come dovrebbe essere attuata, e in che modo l’amicizia dovrebbe essere ripartita tra le diverse persone e creature non umane è una questione che merita ulteriore considerazione. Ritengo che almeno tutti gli esseri umani, e probabilmente molte altre creature senzienti sulla terra dovrebbero avere una quota significativa nella generosità della superintelligenza. Se i benefici che la superintelligenza potrebbe elargire sono enormemente vasti, allora può essere meno importante negoziare su una dettagliata distribuzione a campione e invece più importante cercare di garantire che tutti ottengano almeno qualche quota significativa, dal momento che su questa ipotesi, anche una piccola quota sarebbe sufficiente a garantire una lunga e piacevole vita. Un rischio su cui si deve stare in guardia è che coloro che sviluppano la superintelligenza non la farebbero genericamente filantropica, ma le darebbero invece il più limitato obiettivo di servire solo alcuni piccoli gruppi, come ad esempio i propri creatori o coloro che ne hanno commissionato la creazione. Se comunque una superintelligenza inizia con un obiettivo amichevole, poi si può invocarla a rimanere amichevole, o almeno a non liberarsi consapevolmente della sua benevolenza. Questo punto è basilare. Un "amico" che cerca di trasformare se stesso in qualcuno che ti vuole male, non è il tuo amico. Un vero amico, colui che veramente si prende cura di te, cerca anche di continuare a curarsi di voi. O per dirla in un altro modo, se il tuo obiettivo massimo è X, e se pensi di cambiare te stesso in qualcuno che invece vuole Y si renderebbe meno probabile che X sia raggiunto, e quindi non razionalmente trasformerai te stesso in qualcuno che vuole Y. L'insieme di opzioni in ogni punto nel tempo è valutata sulla base delle loro conseguenze per la realizzazione degli obiettivi detenuti in quel momento e, in generale, sarà irrazionale modificare deliberatamente il proprio obiettivo massimo, dato che renderebbe meno probabile che gli attuali obiettivi saranno raggiunti. Negli esseri umani, con la nostra complicata ed evoluta ecologia mentale di stati-dipendenti in cui competono impulsi, desideri, progetti, e ideali, non vi è spesso un modo evidente per identificare quello che è il nostro fine massimo; forse potremmo non averlo nemmeno uno. Quindi, per noi, il ragionamento di cui sopra non necessita di essere applicato. Ma una superintelligenza può essere strutturata diversamente. Se una superintelligenza ha una definita, dichiarativa meta-struttura chiaramente identificata con un chiaro alto obiettivo, allora il ragionamento di cui sopra si applica. E questo per noi è un buon motivo per costruire la superintelligenza con una tale esplicita architettura motivazionale.
5. LO SVILUPPO DOVREBBE ESSERE RITARDATO O ACCELLERATO? È difficile pensare che una superintelligenza non potrebbe né risolvere o né aiutarci a risolvere qualsiasi problema. Malattia, povertà, distruzione ambientale, inutili sofferenze di tutti i tipi: queste sono cose che una superintelligenza dotata di avanzate nanotecnologie sarebbe in grado di eliminare. Inoltre, una superintelligenza potrebbe darci una vita di durata indefinita, o arrestare e invertire il processo di invecchiamento attraverso l'uso di nanomedicine, o anche offrire la possibilità di “uploadare” noi stessi. Una superintelligenza potrebbe anche creare per noi opportunità di aumentare notevolmente la nostra capacità intellettuale ed emotiva, e potrebbe aiutarci a creare un assai attraente mondo esperienziale in cui si possa vivere vite dedicate a giochi allegri, relazioni con altri, esperienze, crescita personale, e vivere più vicini ai nostri ideali. I rischi nello sviluppare una superintelligenza includono il rischio di fallimento nel dargli un fine massimo di filantropia. Un modo in cui ciò può accadere è che i creatori della superintelligenza decidano di costruirla in modo che serva solo a questo gruppo selezionato di persone, piuttosto che all'umanità in generale. Un altro modo perché ciò avvenga è che il ben intenzionato team di programmatori faccia un grosso errore nel progettare il suo obiettivo di sistema. Ciò potrebbe portare, per tornare al precedente esempio, in una superintelligenza il cui obiettivo è la produzione di graffette, con la conseguenza che inizi a trasformare prima di tutto la terra e poi sempre più porzioni di spazio in impianti di produzione di graffette. Più sottilmente, potrebbe derivare da una superintelligenza la realizzazione di uno stato di cose che si potrebbero ora giudicare come auspicabili, ma che in realtà si rivelano essere una falsa utopia, in cui le cose essenziali al prosperare degli esseri umani siano irrimediabilmente perdute. Dobbiamo essere attenti a ciò che vogliamo da una superintelligenza, perché noi potremmo ottenerla. Una considerazione che deve essere tenuta in conto al momento di decidere se promuovere lo sviluppo di superintelligenze è che se la superintelligenza è cosa fattibile, sarà probabilmente sviluppata prima o poi. Pertanto, non importa se probabilmente uno giorno potremo scommettere su una superintelligenza. Ma, una volta esistente, una superintelligenza potrebbe aiutarci a ridurre o eliminare altri rischi esistenziali, come ad esempio il rischio che la nanotecnologia avanzata sia utilizzata da esseri umani nel terrorismo o nella guerra, una grave minaccia per la sopravvivenza a lungo termine della vita intelligente sulla terra. Se si arriva prima a una superintelligenza, possiamo evitare questo rischio della nanotecnologia e molti altri. Se, d'altro canto, si arriva invece prima alla nanotecnologia, si dovranno affrontare sia i rischi derivanti dalle nanotecnologie e, se questi rischi sono sopravvissuti, si dovranno affrontare anche i rischi di una superintelligenza. Il rischio complessivo sembra essere minimizzato mediante la realizzazione con grande cura della superintelligenza, nel più breve tempo possibile. RIFERIMENTI Bostrom, N. (1998). "How Long Before Superintelligence?" International Journal of Futures Studies, 2. http://www.nickbostrom.com/superintelligence.html Bostrom, N. (2002). "Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards." Journal of Evolution and Technology, 9. http://www.nickbostrom.com/existential/risks.html Drexler, K. E. Engines of Creation: The Coming Era of Nanotechnology. (Anchor Books: New York, 1986). http://www.foresight.org/EOC/index.html
Freitas Jr., R. A. Nanomedicine, Volume 1: Basic Capabilities. (Landes Bioscience: Georgetown, TX, 1999). http://www.nanomedicine.com Hanson, R., et al. (1998). "A Critical Discussion of Vinge's Singularity Concept." Extropy Online. http://www.extropy.org/eo/articles/vi.html Kurzweil, R. The Age of Spiritual Machines: When Computers Exceed Human Intelligence. (Viking: New York, 1999). Moravec, H. Robot: Mere Machine to Transcendent Mind. (Oxford University Press: New York, 1999). Vinge, V. (1993). "The Coming Technological Singularity." Whole Earth Review, Winter issue. Yudkowsky, E. (2002). "The AI Box Experiment." Webpage. http://sysopmind.com/essays/aibox.html Yudkowsky, E. (2003). Creating Friendly AI 1.0. http://www.singinst.org/CFAI/index.html
[http://beyond-human.blogspot.com]