Nell’ultimo mese e mezzo, esattamente dal 23 agosto data in cui è uscito nelle sale italiane il nuovo film di Christopher Nolan “Oppenheimer”, abbiamo assistito a un susseguirsi di recensioni per lo più osannanti ma anche critiche. Tra queste ultime non è mancato chi ha accusato il regista inglese di non aver approfondito a sufficienza il tema politico piuttosto che quello scientifico, di aver inutilmente complicato il piano narrativo, di aver utilizzato un commento sonoro eccessivo e troppo invadente, persino di aver girato una delle scene di sesso più imbarazzanti della storia del cinema.
In realtà il film pone l’accento sul senso di colpa che assale il fisico statunitense all’indomani del test “Trinity” svoltosi nel deserto di Los Alamos (New Mexico) quando Oppenheimer si rende conto di aver contribuito a mettere in moto un processo irreversibile che lo fa sentire “responsabile” dell’uccisione di centinaia di migliaia di persone civili a conflitto ormai terminato. “Mi sento responsabile” lo ascoltiamo dire infatti nel film e il presidente Truman, magistralmente interpretato da un Gary Oldman irriconoscibile, gli fa notare che la colpa di ciò che sta per accadere non ricadrà su di lui ma sul potere politico e quindi di non preoccuparsi. Eppure Oppenheimer non riesce ad allontanare da sé il quesito etico che la scienza ha il dovere di porsi su come debbano essere utilizzate le scoperte scientifiche. Altri al suo posto non hanno alcuno scrupolo nell’affermare che la scienza non può e non deve porsi il problema di cosa la società civile farà delle loro scoperte. Tra questi Edward Teller, fisico ungherese già parte del team di Los Alamos, considerato il padre della Bomba all’idrogeno. Teller prenderà il posto di Oppenheimer ultimando il suo progetto in piena guerra fredda e il cinema si occuperà del tema già nel 1964 con “Il Dottor Stranamore” di Kubrik, film nel quale in molti hanno voluto riconoscere proprio Edward Teller: l’inventore della bomba H.
Nel contributo che qui proponiamo, tratto dal volume di Francesco Varanini “Le cinque leggi bronzee dell’era digitale. E perché conviene trasgredirle” (Edizioni Guerini e Associati, 2020) l’autore in tempi non sospetti riflette sul diverso comportamento assunto da Oppenheimer e Teller ponendoli a confronto e, di fatto, scrivendo quella che a nostro giudizio potrebbe essere la ‘recensione’ più corretta del film di Nolan. (N.d.r.)
Resta atroce la scelta umana di costruire e lanciare su due città, Hiroshima e Nagasaki, una bomba atomica. E poi di costruire la più potente bomba all’idrogeno. Sterminata ogni forma di vita; il mondo reso un deserto, contaminato, inabitabile.
Ma forse ancora più spaventosa appare la scelta di controllare ogni cittadino del pianeta in ogni istante della sua vita; la scelta di appropriarsi dei frutti del suo ingegno; la scelta poi di sostituire l’essere umano con una macchina; la scelta di sostituire la natura con un’imitazione, la vita con una simil-vita, una vita artificiale. Si succhiano tramite macchine le conoscenze che i cittadini possiedono; e queste conoscenze sono poi usate per opprimerli.
Se c’è motivo di interrogarsi a proposito della ricerca finalizzata alla costruzione di armi di distruzione di massa, c’è ancor più motivo di interrogarsi in merito a ciò che viene detto ‘Intelligenza Artificiale’.
Nell’agosto del 1939 una lettera firmata da Albert Einstein viene recapitata a Franklin Delano Roosevelt. L’eminente scienziato, a nome di vari membri della comunità scientifica, invita il presidente degli Stati Uniti a procedere celermente per dar vita a un progetto teso alla costruzione di un ordigno nucleare. La lettera è ispirata da quattro giovani matematici e scienziati ungheresi, compagni di scuola già al liceo, ora emigrati negli Stati Uniti. Leo Szilard, l’estensore della lettera, Ede Teller, Jenő Pál Wigner, Janos von Neumann.
Roosevelt aderisce alla proposta. Il Progetto Manhattan prende il via il 9 ottobre 1941, due mesi prima dell’entrata in guerra degli Stati Uniti. A capo del laboratorio di Los Alamos, dove si costruirà l’arma, è posto – per le sue conoscenze tecniche, ma anche per l’apertura interdisciplinare e la capacità di leadership – il fisico statunitense Robert Oppenheimer. Lavorano al laboratorio tra gli altri anche Szilard, Teller, Wigner, von Neumann – che proprio in quel periodo descrive l’architettura fisica del computer, completando il lavoro teorico di Turing.
Roosevelt muore il 12 aprile 1945. Prende il suo posto il vicepresidente Harry Truman. Nell’estate 1945, il 6 e il 9 agosto – quando la Seconda guerra mondiale è giunta al termine sul fronte occidentale, ed è ormai praticamente vinta anche sul fronte orientale – una sofferta decisione porta a lanciare la bomba atomica su Hiroshima e Nagasaki.
Tre mesi dopo Oppenheimer parla agli scienziati di Los Alamos, in occasione del suo abbandono della guida del laboratorio1. Le sue parole sono un esame di coscienza. La scoperta della relatività e della teoria atomica ci hanno obbligato a riconsiderare la relazione tra scienza e common sense. Siamo costretti a osservare la nostra inadeguatezza, la nostra capacità di intendere pienamente ciò che abbiamo fatto in questi tre anni. Speriamo che la traumatica esperienza che noi scienziati anche a malincuore siamo stati costretti a vivere possa essere utile anche a tutti coloro che nulla sapevano di ciò che stavamo facendo. Forse, per capire l’impatto di ciò che ci siamo trovati a fare, dobbiamo tornare al Rinascimento, quando la scienza nel mondo cristiano era vissuta come grave minaccia. E così dobbiamo ammettere che oggi, di fronte a ciò che abbiamo fatto, il valore stesso della scienza è minacciato. Dobbiamo prendere atto della straordinaria velocità con cui ciò che gli scienziati fanno tocca persone viventi.
Oppenheimer prosegue interrogandosi sulle ragioni politiche per cui la bomba è stata costruita e lanciata. Costruita e lanciata da noi. Cerca giustificazione nel fatto che non c’era posto al mondo in cui lo sviluppo di armi atomiche avrebbe avuto maggiori possibilità di portare a una soluzione ragionevole, una minore possibilità di condurre al disastro. Ma il disastro c’è stato. Il lancio della bomba atomica su esseri umani è una catastrofe.
È qui che Oppenheimer giunge a parlare nel modo più crudo del ruolo dello scienziato. Per un verso appare arrogante, ma per l’altro è profondamente autocritico. «Se sei uno scienziato credi che sia bene scoprire come funziona il mondo; che sia bene scoprire quali sono le realtà; che sia bene consegnare all’umanità in generale [mankind at large] il più grande potere possibile per controllare il mondo e per rapportarsi ad esso secondo la luce della propria coscienza e i propri valori [according to its lights and its values]».
Ma ogni volta che Oppenheimer sale a parlare di valori, di etica in senso generale, subito si sente nella necessità di tornare su un terreno più concreto, costellato di dubbi. Non è possibile essere uno scienziato, dice, se non si crede che sia bello [good] imparare. Ma allora essere scienziato significa condividere le conoscenze, condividerle con chiunque sia interessato – mentre oggi tutto ciò che riguarda l’energia atomica resta segreto di Stato. E poi si ritrova di nuovo a parlare delle bombe su Hiroshima e Nagasaki. Scienziati affermano che l’energia atomica porterà grandi vantaggi all’umanità – ma intanto abbiamo gettato queste bombe. Altri cercano di sfuggire all’immediatezza di questa situazione dicendo che, dopo tutto, la guerra è sempre stata davvero terribile; e che le armi sono diventate via via più dannose [have always gotten worse and worse]. Ma, sostiene Oppenheimer, questi sforzi per sminuire la gravità della crisi finiscono per renderla più pericolosa [dangerous].
La parola crisi, a very grave crisis, torna più volte. E torna l’aggettivo terrible: «queste armi atomiche che abbiamo cominciato a fare sono molto terribili» e dobbiamo farci carico delle conseguenze. Torna l’aggettivo dangerous: dobbiamo ammettere che la scienza sta diventando una cosa piuttosto pericolosa. Torna il sostantivo peril: «le armi atomiche sono un pericolo che tocca ognuno nel mondo». Oppenheimer si rivolge ai colleghi scienziati presenti, ma anche alla comunità universale degli scienziati. Dice: non possiamo toglierci dalle spalle la responsabilità di aver creato questa potenza distruttiva. E critica esplicitamente due posizioni elusive.
La prima è la posizione degli scienziati che dicono: «Sappiamo cosa è giusto e vorremmo usare la bomba atomica per convincerti ad essere d’accordo con noi».
La bomba atomica usata come arma politica. Lo scienziato, qui, fonda sulla propria competenza tecnica una pretesa competenza politica: avendo conseguito successi nel proprio campo di ricerca, si considera esperto universale, punta di diamante dell’élite di governo. Noi sappiamo cosa è giusto e cosa è sbagliato. La seconda è la posizione degli scienziati che dicono: «Oh, diamo le bombe alle Nazioni Unite per scopi di polizia, e torniamocene alla fisica e alla chimica».
Ma la bomba atomica non è affidata alle Nazioni Unite. Il 29 agosto 1949 l’Unione Sovietica sperimenta la propria bomba atomica. Il presidente Truman risponde con il varo del programma per lo sviluppo della bomba all’idrogeno. Anche Edward Teller aveva lasciato Los Alamos. Ma ora vi torna, per guidare il nuovo progetto. Nel 1952 è sperimentata la prima bomba all’idrogeno, quasi mille volte più potente della bomba lanciata su Hiroshima.
Un ruolo importante è svolto anche da von Neumann. Oltre a lavorare alla bomba all’idrogeno, è membro della Atomic Energy Commission, e guida il progetto per lo sviluppo dei missili balistici intercontinentali. Ed è – in quanto fine matematico, studioso di giochi a somma zero – il più acuto teorico dell’equilibrio del terrore, Mutual Assured Distruction2. La pace si fonda sulla paura dell’altro; e anche sul vivere nella paura a casa propria: lo scenario di un conflitto nucleare, infatti, implica la ritorsione da parte del nemico.
Dove Oppenheimer sceglie di fermarsi, Edward Teller prende il suo posto. In linea di principio la loro posizione coincide: il lavoro dello scienziato, dice anche Teller, consiste nello «scoprire come funzionano queste leggi. È compito dello scienziato trovare i modi in cui queste leggi possono servire la volontà umana». Risuona qui in modo preciso il pensiero kantiano.
Kant nel 1774, nella Risposta alla domanda: Che cos’è l’Illuminismo?, aveva affermato la separazione: da un lato il sovrano illuminato, i professionisti della funzione pubblica, e i guardiani che si accodano3. Dall’altro i sudditi chiamati a obbedire. Tre anni dopo pubblica una seconda edizione della Critica della ragion pura, con una nuova Prefazione. Qui tenta di far chiarezza sul problema centrale dell’opera: fin dove può spingersi la ragione? Kant afferma che «la ragione vede solo ciò che lei stessa produce secondo il proprio progetto», e «deve procedere con i principi dei propri giudizi secondo leggi immutabili, costringendo la natura a rispondere alle proprie domande, senza lasciarsi guidare da lei». Bisogna imporre alla natura il proprio piano. «Perché altrimenti le nostre osservazioni, fatte a caso e senza un Piano precedentemente progettato, non giungerebbero a formulare la necessaria legge, che pure la ragione cerca e di cui ha bisogno»4. Lo scienziato moderno non solo osserva la natura e ne comprende le leggi, ma detta leggi alla natura.
Asservire la natura alla volontà umana. Così lo scienziato arriva a dedicarsi alla costruzione della bomba atomica e della bomba all’idrogeno. Ma anche: è così che lo scienziato arriva a dedicarsi a insegnare a una macchina il modo per sostituirsi all’essere umano. In entrambi i casi, è imposizione alla natura di nuove leggi. La sudditanza nei confronti della natura è terminata; e questa è una cosa buona. Ma è anche venuto meno il rispetto. La natura è intesa come nient’altro che materia prima. Si rimuove qui il fatto che l’essere umano stesso appartiene alla natura. Lo scienziato si pone fuori dalla natura – nell’atteggiamento di chi intende dominarla.
Oppenheimer, scienziato, vede il pericolo implicito in questo atteggiamento. Non allontana da sé l’amaro calice: sto procurando danno all’umanità, quindi anche a me stesso. Teller, al contrario, non deflette. Dirime il dilemma etico separando il ricercatore scientifico dal cittadino. «Non è compito dello scienziato determinare se debba essere usata una bomba all’idrogeno. Questo spetta al popolo americano e ai rappresentanti da lui scelti». Altre sono le responsabilità dello scienziato. Dice: «torniamo ai laboratori», dove «come scienziato sono turbato da altre domande, più limitate, più specifiche, ma non meno urgenti e non meno moleste»5. Lo scienziato e il tecnico si chiamano fuori. Loro non appartengono alla società civile.
Tra i computer scientist godono di pubblica ammirazione coloro che si occupano di Machine Learning: basta citare Geoffrey Hinton, John Giannandrea, Fei-Fei Li, Yann LeCun, Ralf Herbrich. Insegnano a macchine come svolgere attività prima svolte da esseri umani; come apprendere ed evolversi autonomamente. Mercenari di successo, si trasferiscono da un laboratorio all’altro: Google, Facebook, Amazon, Apple.
Non cessano di dire ai cittadini che ci vuole più Intelligenza Artificiale, non meno. Può darsi. Ma possiamo credere loro? Possiamo fidarci di loro? La loro ricerca è asservita a interessi economici e finanziari. Il valore di Borsa del titolo di Google e Facebook dipende dal loro lavoro. Per questo sono remunerati6.
Fei-Fei Li, giovane ricercatrice cinese-americana, appartenente a una minoranza etnica, sembra disposta, nelle sue apparizioni sui mass media, a un atteggiamento critico. Parla di come sia importante annoverare, tra i ricercatori, consapevoli esponenti di minoranze sociali e consapevoli madri. Dice di come abbia i figli e la famiglia sempre in mente. Ma non dice come questa consapevolezza si manifesta nel lavoro. Come il suo essere madre e la sua appartenenza a una minoranza si traducono in scelte progettuali, cosa sceglie di fare o si rifiuta di fare nel suo lavoro di ricerca. Perché avrà pure in mente la propria storia personale e i propri figli, ma non progetta per i propri figli o per minoranze etniche. Agisce sempre restando nei confini di un programma di ricerca il cui senso è discusso esclusivamente all’interno della comunità professionale7.
Sono consapevole che la mia ricerca può provocare gravi danni ai cittadini, ammette Geoffrey Hinton. E allora, gli chiedono, perché continui le tue ricerche? «Potrei risponderti nei soliti modi», dice allora Hinton. «Ma la verità è che la prospettiva della scoperta è troppo allettante [is too sweet]»8.
Per i guru del Machine Learning vale la lezione di Teller: noi siamo ricercatori; delle conseguenze della nostra ricerca si occupi qualcun altro. Doppio standard.
Oppenheimer argomenta diversamente: «non siamo solo scienziati; siamo anche uomini». «Il valore della scienza deve risiedere nel mondo degli uomini»; «tutte le nostre radici stanno lì». C’è un legame più profondo di quello che lega i membri della comunità scientifica, un deepest bond, «that bind us to our fellow men». Fellow: ‘compagno’, ‘socio’, ‘partner’. Fellow men: io, tu, noi, innanzitutto apparteniamo alla comunità degli umani. Le posizioni di Teller e di Oppenheimer si oppongono. Ma vediamo purtroppo prevalere di gran lunga la posizione di Teller.
Oggi la situazione è peggiore di com’era rispetto all’uso della bomba atomica, perché la bomba atomica restava sotto il controllo di poteri statali. La potenza implicita nel Machine Learning, nell’Intelligenza Artificiale, è invece in mano a imprese private orientate a scopo di lucro. La ricerca è asservita a questi interessi.
Oppenheimer criticava anche la pretesa dei ricercatori di sapere cosa è giusto e cosa e sbagliato, e usavano quindi la bomba come strumento politico. Così l’umanità nella seconda metà del XX secolo visse nell’equilibrio del terrore. La pace si fonda sulla paura di una bomba che può colpire ogni cittadino del pianeta. Si vive nella paura anche a casa propria. La paura fa soffrire, ma insegna cautela, e può essere trasformata in senso di responsabilità: l’attenzione sociale, lo spirito critico del cittadino si mantengono desti.
Lo scenario dell’Era Digitale è sotto questo aspetto più inquietante. La propaganda presenta ogni forma di Intelligenza Artificiale come confortante aiuto, protezione, accompagnamento. La paura è celata, anzi: è rimossa. Siamo invitati a fidarci e ad affidarci. E ci affidiamo volentieri.
Ogni cittadino risponde ai consigli emanati dal sistema operativo del suo computer, fa ciò che le app gli suggeriscono. Ognuno è rassicurato e guidato da Siri o Alexa, Assistenti Personali Intelligenti. Ma Siri e Alexa non sono strumenti nelle mani dei cittadini, ma strumenti tramite i quali i tecnici programmano le esperienze che ai cittadini sarà concesso vivere. I cittadini sono ridotti a utenti.
La mitologia greca ci presenta una coppia di figure. Prometeo è colui che ‘pensa prima’, ‘sa prevedere’. Epimeteo è colui che ‘pensa dopo’, che ‘si rende conto dopo’. Prometeo è lo scienziato impegnato a progettare. Lo scienziato che mosso dalla ragione impone leggi alla Natura. Epimeteo è l’essere umano che saggiamente si rende conto delle conseguenze delle proprie azioni; che osserva con ponderazione ciò che l’arrogante ragione ha prodotto. Teller è Prometeo, Oppenheimer è Epimeteo.
L’umanità ha in sé l’attitudine a progettare, a esplorare nuovi territori, a innovare. Si può anche ritenere che pensare troppo alle conseguenze dell’agire inibisce l’azione. Dunque non c’è da vergognarsi per non essere stati capaci di immaginare in anticipo le conseguenze, per non aver saputo valutare i pericoli. Ma quando i pericoli si manifestano è giusto, come fa Oppenheimer, prenderli in considerazione. Ri-considerare.
NOTE:
1Robert Oppenheimer, «Speech to the Association of Los Alamos Scientists», Los Alamos, New Mexico, November 2, 1945,
(original document in the Papers of the Federation of American Scientists. Box 21, Folder 4, Department of Special Collections, University of Chicago Library).
2John von Neumann, Oskar Morgenstern, Theory of Games and Economic Behavior, Princeton University Press, Princeton 1944.
3Immanuel Kant, «Beantwortung der Frage: Was ist Aufklärung?».
4Immanuel Kant, Critik der reinen Vernunft, Johann Friedrich Hartknoch, Riga 1787 (2a ed.), Vorrede [Prefazione]; 1a ed. Critik der reinen Vernunft. Johann Friedrich Hartknoch, Riga, 1781; trad. it. Critica della Ragion Pura di Manuele Kant, versione di Vincenzo Mantovani, I Collettori, Pavia 1820-1822; vedi Critica della ragione pura, a cura di Costantino Esposito, Bompiani, Milano 2004.
5Immanuel Kant, Critik der reinen Vernunft. cit., ed. 1787, Vorrede (Prefazione).
6Edward Teller, «Back to Laboratories», Bulletin of Atomic Scientists, VI, 2, 1950, pp. 71-72.
7Yann LeCun, «Le ‘Deep learning’, une révolution en Intelligence artificielle», Collège de France, Leçon Inaugurale le 4 février 2016; Alexis C. Madrigal, «Inside Google’s plan to build a catalog of every single thing, ever», The Atlantic, June 2012 (Intervista a John Giannandrea); Christoph Auer-Welsbach, «Inside the mind of Amazon’s machine learning innovator, Ralf Herbrich», City.AI, Medium, Feb 9, 2018, Bjorn Carey, «Russ Altman and Fei-Fei Li: what is the future of artificial intelligence?», Stanford Engineering, Research & Ideas, June 21, 2016,
8Will Knight, «Put humans at the center of AI», in «The Artificial Intelligence», MIT Technology Review, November-December 2017 (intervista a Fei-Fei Li); Fei-Fei Li, «How to make A.I. that’s good for people», New Yor Times, March 7, 2018.