C’ è un racconto di Fredric Brown del 1954, intitolato La risposta, in cui i pianeti abitati di tutto l’universo decidono di combinare la loro potenza di calcolo per costruire un supercalcolatore capace di attingere alla conoscenza di tutte le galassie. Lo scienziato incaricato di attivare questa mostruosità informatica, tale Dwan Ev, salda l’ultimo collegamento e si appresta a porre alla macchina la prima domanda, sotto lo sguardo fremente di decine di telecamere interstellari:
“Esiste un Dio?” scandisce nel microfono.
“Adesso sì” risponde la macchina. Un istante dopo dal cielo casca un fulmine, che incenerisce Dwan Ev e sigilla per sempre l’interruttore.
È un racconto brevissimo, nemmeno una pagina, ma viene spesso citato quando ci si ritrova a parlare di superintelligenza artificiale. Ciò che lo rende particolarmente rilevante, nel periodo di grandi aspettative e ancor più grandi timori che circonda l’IA, non è tanto il fatto che racconti una superintelligenza che sfugge al controllo umano, quanto i connotati religiosi che questo avvenimento assume. Ma c’è una differenza importante: nel racconto di Brown gli scienziati creavano un dio onnipotente senza rendersene conto; nella realtà presente, invece, molti dei protagonisti dell’industria IA stanno consapevolmente cercando di creare un dio che aiuti l’essere umano a superare una volta per tutte i suoi limiti.
William MacAskill, ad esempio, ritiene che non sia sufficiente lasciare in eredità un mondo migliore per le nuove generazioni, dovremmo anche assicurarci che l’universo ospiti il numero più alto raggiungibile di esseri umani (80.000 miliardi, possibilmente). Elon Musk, progetta di costruire città su Marte. Ray Kurzweil, invece, è convinto che nel giro di vent’anni la tecnologia IA raggiungerà un livello tale da consentirci di integrarla con la nostra intelligenza biologica e sconfiggere la morte. Ma c’è anche chi, come Eliezer Yudkowsky crede che se non ci sbrighiamo ad “allineare” l’intelligenza artificiale con i valori umani una superintelligenza spazzerà via la razza umana (una prospettiva particolarmente gettonata in queste ultime settimane).
L’astrofisico e filosofo della scienza Adam Becker ha trascorso gli ultimi anni a studiare il pensiero e l’ideologia delle persone più influenti in ambito IA e tech, e ne ha tratto un libro tanto spiazzante quanto illuminante, uno dei più incisivi tra quelli che stanno cercando di dipanare il gomitolo sempre più intricato della corsa all’intelligenza artificiale. Si intitola More Everything Forever, e ancora non è disponibile in una traduzione italiana. Il prossimo 26 settembre, Adam Becker sarà ospite al DIG Festival 2026: abbiamo colto l’occasione per parlare con lui delle ambizioni e delle ossessioni dei nuovi profeti della salvezza tecnologica.
Fabio Deotto: Ho l’impressione che il filo rosso che collega queste diverse visioni del futuro sia un radicale distacco dalla realtà, un rifiuto di rapportarsi a un mondo naturale governato da limiti precisi e sorretto da una formidabile rete di interconnessioni che ha impiegato milioni di anni a prendere forma. Eppure basterebbe studiare un po’ di biologia evolutiva e dinamica dei sistemi per capire quanto queste prospettive siano deliranti, non fosse altro perché molte delle tecnologie su cui basano le loro promesse di salvezza (il terraforming, gli sciami di nanobot costruttori, le sfere di Dyson) ancora non esistono, e non è detto che possano esistere in futuro. È curioso come persone che tanto strenuamente rivendicano il primato di scienza e tecnologia non mostrino alcun interesse nel colmare delle evidenti lacune scientifiche.
Adam Becker: Credo che ci siano diverse dinamiche in gioco. Una parte è che queste persone si credono davvero molto intelligenti, allo stesso tempo credono che questa loro intelligenza copra ogni possibile settore. Di conseguenza, pensano di sapere molto più di quanto effettivamente sanno. Il fatto di essere molto competenti in certe aree dà loro l’illusione di esserlo in altre, e questo li porta a credere senza alcuna riserva all’effettiva possibilità di una AGI (Artificial General Intelligence). Dopodiché, c’è anche una componente mistica. Loro sostengono di essere atei, ma molti, come ad esempio Eliezer Yudkowsky, e altri tra i razionalisti e gli altruisti efficaci, provengono da contesti profondamente religiosi. Magari hanno ripudiato quel retaggio, ma mi sembrano comunque propensi a cercare una nuova forma di religione, senza nemmeno rendersene conto. Penso che molti di loro, e includo le persone che non hanno un background religioso, percepiscano di aver trovato una corsia preferenziale per rispondere a un interrogativo che ha tormentato gli esseri umani per tantissimo tempo: come fare del bene per il mondo? L’idea di poter rispondere a una domanda simile è incredibilmente seducente, ti dà la sensazione di avere uno scopo nella vita, diventa una specie di droga. E anche quando arrivano chiari segnali che la direzione non è percorribile, finisce che fatichi ad accoglierli. Se poi sei circondato da persone che ti riempiono di soldi e ti dicono che sei un genio, diventa praticamente impossibile rendersi conto di aver torto.
FD: Parliamo di persone che credono che il futuro dell’umanità sia nello spazio, che sconfiggeremo la morte a colpi di calcolo, o che una superintelligenza non allineata ci porterà all’estinzione. Tutte eventualità spesso presentate senza alcun condizionale, senza un grammo di dubbio. Molti di loro hanno tracciato queste rotte teleologiche prima di diventare famosi e influenti. Credi stiano ancora perseguendo questi obiettivi? Oppure hanno più interesse a massimizzare un profitto?
AB: Non posso entrare nelle loro teste, ma ritengo che molte delle persone di cui ho scritto nel libro, in particolare quelli che non sono miliardari (come Ray Kurzweil, Will MacAskill, Toby Ord, Eliezer Yudkowsky e Scott Siskind) ci credano davvero. Non sono persone che io apprezzi particolarmente, ma ritengo siano sincere. Tra tutti, Kurzweil è quello che mi ispira maggior simpatia. Ha perso il padre quando aveva poco più di vent’anni, un trauma che l’ha segnato molto: alla fine è una persona che non ha potuto far nulla di fronte alla morte e vorrebbe solo che suo padre fosse ancora con lui. È un sentimento molto comprensibile. Anche io ho perso persone care, e molto prima di quanto desiderassi. Perciò riesco a capire cosa possa comportare un lutto simile. Ciò detto, il fatto che stia elaborando in questo modo il lutto da quasi cinquant’anni probabilmente è indice che ha bisogno di andare in terapia. Però sì, ci crede veramente.
È difficile crescere in un certo contesto e non convincersi che quello sia l’ordine naturale delle cose. Per dire, come io fatico a immaginarmi un mondo senza plastica, queste persone faticano a immaginarsi un mondo senza crescita.FD: Credo ci sia in gioco anche una concezione distorta di controllo. Nel libro spieghi, ad esempio, come MacAskill ritenga che se l’umanità riuscirà a sopravvivere per altri millenni allora noi possiamo considerarci degli “antichi”, che stanno vivendo all’inizio della Storia, e pochissimi altri esseri umani avranno il potere di influenzare positivamente il futuro quanto noi. La pretesa di controllare il futuro è un’illusione che non tiene conto di tutte le variabili in gioco, ed è curioso perché esiste una forma di controllo che possiamo effettivamente operare nel corso della nostra vita, ed è un controllo di tipo conservativo: il potere di proteggere la ricca complessità degli ecosistemi, di tutelare quello che garantisce la vita e che non potrà mai essere rimpiazzato in tempi brevi. Per molte delle persone che oggi stringono le redini del carrozzone tech, però, questa prospettiva è letteralmente un incubo. A tuo parere, quanto questa ossessione per la crescita è radicata nella cultura capitalista in cui noi stessi siamo cresciuti, e quanto invece il prodotto di un percorso individuale?
AB: La cultura capitalista ha sicuramente un ruolo importante. Mi riferisco più in generale anche al paradigma economico che ha tenuto banco fin dalla Seconda guerra mondiale, per non dire dalla rivoluzione industriale. Da lungo tempo siamo in una situazione di straordinaria crescita economica. E ci tengo a sottolineare la parola “straordinaria”. Del resto è una terminologia usata dallo stesso Warren Buffett, il capitalista per antonomasia, in riferimento ai mercati del ventesimo secolo. E aveva ragione. Non dovremmo illuderci che questo sia l’ordine naturale delle cose. Si tratta di circostanze inusuali, che non possono durare. Il punto è che siamo creature limitate, nello spazio così come nel tempo: viviamo per meno di un secolo, ed è difficile crescere in un certo contesto e non convincersi che quello sia l’ordine naturale delle cose. Per dire, come io fatico a immaginarmi un mondo senza plastica, queste persone faticano a immaginarsi un mondo senza crescita.
FD: È interessante a questo proposito che Jeff Bezos sia convinto che, se non colonizzeremo lo spazio, finiremo per ritrovarci in una civiltà in stasi, quasi l’idea stessa di stabilità rappresentasse un pericolo esistenziale e non il contrario.
AB: Il punto è che se sei ai vertici dell’ordine capitalista, se sei un miliardario, la fine della crescita è una minaccia diretta al tuo potere. E se sei un venture capitalist la crescita è il tuo obiettivo primario. Hai più interesse a far sì che la tua azienda cresca che a renderla profittevole, perché vuoi se non altro creare l’illusione che possa crescere fino a mangiarsi un intero settore dell’economia così da ottenere, per dire, un ritorno di cento volte sul tuo investimento. Ma, di nuovo, non è così che le cose funzionano nel mondo reale. Nel mondo reale la crescita finisce. Ma per quanto io addossi buona parte della colpa ai promotori della crescita indefinita, come Jeff Bezos o Marc Andreessen, esiste anche una componente più trasversale. In una società sana, di fronte a qualcuno che dichiara che la crescita non avrà limiti, la risposta normale sarebbe scoppiare a ridere, o chiederle se stia bene e abbia bisogno di aiuto.
Non credo che l’ipotesi di un’IA superintelligente fuori controllo abbia poi tanto senso. Parliamo di sistemi che emettono linguaggio, pixel o suoni in modo automatizzato, ma che non hanno alcuna concezione di cosa esista al di fuori del linguaggio.FD: Mi torna in mente quello che Bill Plotkin scriveva sulla pato-adolescenza, una condizione in cui un adulto rimane intrappolato in comportamenti egocentrici e superficiali, caratterizzati da un’avidità e uno spirito di competizione potenzialmente autodistruttivi, nonché da un’incapacità patologica di rapportarsi ai limiti. Ma pensiamo anche alla narrativa: gli archi di trasformazione dei personaggi solitamente sono sorretti da una tensione basata sul conflitto. Nel momento in cui ottieni un’enorme ricchezza in giovane età, quella tensione viene a mancare, e allora devi trovare nuovi conflitti, a costo di trascinare chiunque con te.
AB: Voglio dire, quando ottieni enormi quantità di denaro prima ancora di aver compiuto trent’anni, diventa davvero difficile mantenersi in sintonia col resto del mondo, il tuo sviluppo come persona fondamentalmente si arresta, perché non ti devi più misurare con alcuna sfida esterna significativa; o con sfide di alcun tipo, se è per quello. E sei anche in una situazione in cui non vuoi assolutamente farti da parte. Hai bisogno di uno scopo, e sono convinto che questa ideologia di salvezza tecnologica vada a soddisfare questo bisogno. Come dicevo prima: a prescindere da quanto siano folli queste idee, molte di queste persone ci credono sul serio.
FD: Tornando al tema del controllo. Nelle ultime settimane si è parlato molto di superintelligenza artificiale (ASI, Artificial SuperIntelligence), e della possibilità che un’IA fuori controllo annienti l’intera umanità. Penso in particolare alla vicenda Hugging Face e alle dichiarazioni rilasciate da Jacob Coxon dopo essersi dimesso da Anthropic. Cosa pensi stia accadendo? Quanto siamo lontani, a tuo parere, dalla prospettiva di un’ASI capace di portare l’umanità all’estinzione?
AB: Credo si tratti di una prospettiva tanto lontana quanto un rischio di sovrappopolazione su Marte. In tutta sincerità: non credo che l’ipotesi di un’IA superintelligente incontrollabile abbia poi tanto senso, questo perché non credo che il concetto stesso di superintelligenza abbia tanto senso. Non credo che i sistemi che abbiamo oggi siano in qualche modo vicini a un potenziale di questo tipo. Insomma, parliamo di sistemi che emettono linguaggio, pixel o suoni in modo automatizzato, ma non hanno lontanamente la comprensione del mondo esterno che possiamo avere noi. Un aspetto cruciale del linguaggio è che fa riferimento a cose esterne al linguaggio stesso. Questi sistemi non hanno alcuna concezione di cosa esista al di fuori del linguaggio. Per quanto riguarda Hugging Face, mi sembra un chiaro caso di pessima sicurezza informatica. L’unica ragione per cui non liquido la vicenda dicendo che non c’è nulla di cui valga la pena preoccuparsi, è che qualcosa di cui preoccuparsi c’è, ed è che a quanto pare ci sono persone in queste aziende che fanno girare agenti AI del tutto privi di controlli, armati di potenti strumenti di hacking, spronandoli a fare di tutto. Questa non è la ricetta per un’intelligenza artificiale capace di conquistare il mondo, è la ricetta per avere una distruzione automatizzata delle infrastrutture informatiche perché non c’è nessuno che regga il volante. Non è l’atto di un essere intelligente, non più di quanto lo sia un uragano.
Ci sono molti, nel settore, che credono sinceramente che un’IA fuori controllo possa estinguere il genere umano. Allo stesso tempo, questa narrazione torna utile a queste aziende. Non fosse altro perché aiuta a sviare l’attenzione dai danni reali che l’IA sta causando già oggi.Quanto a Coxon, lo chiamano whistleblower, ma io non lo definirei così. Un whistleblower è qualcuno che rivela una verità sconosciuta su qualcosa che l’azienda sta facendo, esponendosi a un grande rischio personale. Ma non è il caso di Coxon. Le sue preoccupazioni non riguardano qualcosa che la sua azienda sta facendo. E in ogni caso, se un whistleblower se ne viene fuori dicendo qualcosa di segreto, non ti aspetti che le persone che ancora lavorano per quell’azienda si accodino e dicano: “Oh, certo, è vero, è proprio quello che stiamo facendo”. Eppure è quello che è successo. Non solo, poco dopo, Coxon ha concesso un’intervista a Wired in cui ha detto una frase, che poi è stata utilizzata come titolo: “This is crunch time for humanity”. Una citazione diretta di quanto scriveva Eliezer Yudkowsky dieci anni fa. Né Coxon né Wired l’hanno menzionato, ma è la solita fantasia paranoica dei razionalisti.
FD: E pensi ci creda davvero?
AB: Sì, Coxon ci crede, sicuro.
FD: Dunque queste persone credono seriamente che esista un 10% di possibilità che l’intelligenza artificiale conquisti il mondo? Vale anche per Dario Amodei, Sam Altman e le altre persone in testa alla corsa per l’IA?
AB: Penso valga per Amodei. Credo sia probabilmente vero che la ragione per cui Amodei e gli altri hanno lasciato OpenAI e fondato Anthropic sia la stessa per cui il consiglio di OpenAI ha cercato a suo tempo di estromettere Altman, e cioè che pensavano non stesse prendendo abbastanza sul serio i timori riguardo la prospettiva di un’IA fuori controllo. Queste persone hanno da tempo uno stretto legame con la comunità razionalista. Se ne vanno in giro a citare figure del Dark Enlightenment e dell’accelerazionismo efficace. È questo il milieu intellettuale in cui queste persone sono immerse, e sto usando il termine “intellettuale” in modo molto lasco. Non so se Sam Altman creda sinceramente a questa roba; a dire il vero non so se creda sinceramente ad alcunché, dato che si contraddice sempre. Ma penso che Amodei ci creda. Sono idee radicate a fondo in tutti laboratori di punta dell’IA.
FD: C’è anche chi sostiene che questi scenari apocalittici siano in realtà fomentati dalle stesse aziende leader del settore per distrarre dai veri problemi che l’IA sta ponendo già oggi; e possibilmente per accentrare ancora più potere.
AB: Per citare un noto meme: porque no los dos? Possono essere vere entrambe le cose. Io però non credo che la narrazione apocalittica dell’IA sia interamente una truffa, perché questo significherebbe che persone come Eliezer Yudkowsky non siano veri credenti. Invece lo sono. Ma allo stesso tempo questa narrazione torna utile a queste aziende. Non fosse altro perché aiuta a sviare l’attenzione dai danni reali che il settore sta causando già oggi. Così ti ritrovi con persone che vanno in giro a dire che dobbiamo regolamentare queste aziende per evitare che creino una superintelligenza, quando in realtà andrebbero regolamentate per impedire loro di sfruttare i lavoratori nel Sud globale, per ridurre la loro enorme impronta ecologica, o per evitare che esauriscano tutte le forniture di GPU, o per evitare che gli adolescenti si suicidino per aver parlato troppo con ChatGPT. Invece no, meglio concentrarsi su una prospettiva fantascientifica del tutto irrealistica. Questo naturalmente fa molto gioco a queste aziende.
Per affrontare la crisi climatica dobbiamo fare un enorme lavoro di persuasione politica e implementare su larga scala soluzioni già esistenti. Ma di fronte a questa prospettiva, la risposta di queste persone è: non sembra tanto divertente, perché non costruiamo un dio invece?FD: Nel frattempo ci troviamo ad affrontare dei rischi esistenziali reali, a cominciare dalla crisi climatica. È un problema enormemente stratificato e interconnesso, queste persone però sembrano pensare che tutto possa essere risolto a colpi di tecnologia, e che la questione sia puramente di natura energetica.
AB: Il boom dell’IA e l’esplosione dei data center hanno letteralmente fatto carta straccia degli obiettivi climatici della Silicon Valley. Se questa idea del mondo è così seducente è anche perché propone una singola risposta per tutte le domande. Ma il mondo è molto più complicato, e molto meno eccitante, di così. Per affrontare la crisi climatica dobbiamo fare un enorme lavoro di persuasione politica e implementare su larga scala soluzioni già esistenti. Ma di fronte a questa prospettiva, la loro risposta è: non sembra tanto divertente, perché non costruiamo un dio invece?
FD: Il problema è che queste posizioni stanno guadagnando trazione politica, e stanno spingendo nella direzione opposta a quella necessaria. Come pensi si possa contrastare questa tendenza?
AB: Innanzitutto, è importante che le persone sappiano da dove arrivano queste narrazioni, che spesso finiscono per distrarre dalle reali minacce globali, in particolare la crisi climatica e la distribuzione della ricchezza nella nostra società, che poi sono strettamente collegate. È fondamentale far collassare la bolla e sgonfiare tutte queste ideologie di salvezza tecnologica. È quello che ho cercato di fare con questo libro. Ma ci sono tanti altri libri che fanno un ottimo lavoro in questo senso. Mentre lavoravo alla stesura, per dire, sono tornato a leggere il rapporto The Limits to growth del 1972, e mi ha colpito quanto alcune parti risultino profetiche. Come dicevo, c’è bisogno di fare un sacco di cose che possono risultare poco seducenti, soprattutto a livello di organizzazione politica, ma anche di organizzazione sindacale. Dobbiamo fare in modo che le aziende non possano impiegare strumenti IA per lasciare a casa un mucchio di lavoratori allo scopo di gonfiare le tasche di qualche miliardario. Ma è anche necessario che gli stessi lavoratori delle aziende Big Tech si organizzino. Così come è fondamentale organizzarsi per contrastare l’ondata di autoritarismo connessa all’utilizzo di IA. Abbiamo bisogno di regolamentare l’industria tecnologica, insieme a tutti gli altri tipi di industria, qui negli Stati Uniti come nel resto del mondo. E non potremo riuscirci finché al comando ci saranno plutocrati che sognano di diventare dittatori.
La reazione trasversale che stiamo osservando contro la costruzione di data center è incoraggiante, e fondamentale. Perché una cosa è certa, quei data center non li costruiranno nello spazio.Sono molto ottimista riguardo alle imminenti elezioni di metà mandato. Ma è importante tenere presente che anche la sinistra corre il rischio di restare intrappolata nella narrazione apocalittica dell’IA. Qui abbiamo Bernie Sanders che sta dedicando molta attenzione a persone come Eliezer Yudkowsky and Max Tegmark. Un’enorme distrazione, in un momento in cui sarebbe invece opportuno mantenere alta l’attenzione sui rischi presenti e futuri rappresentati da tecnologie che effettivamente esistono. Se vogliamo togliere potere a queste persone la prima cosa che dobbiamo fare, la soluzione più rapida, è far scoppiare la bolla IA. Se si sgonfia la bolla economica che tiene in piedi questa industria d’un tratto queste persone avranno molto meno potere. E dobbiamo anche fare in modo che i governi non cerchino di orchestrare un qualche tipo di salvataggio. Se lavori nella finanza, ha senso allontanarsi dall’IA, perché la bolla a un certo punto scoppierà. Ma anche chi non lavora nella finanza può fare qualcosa, e cioè continuare a parlare male dell’IA, e fare in modo che la gente sappia che l’opinione pubblica sull’IA è negativa. La reazione trasversale che stiamo osservando contro la costruzione di data center, da questo punto di vista, è incoraggiante, è un movimento popolare che può avere un’influenza politica significativa. Perché una cosa è certa, quei data center non li costruiranno nello spazio.
È molto difficile immaginare un mondo in cui i miliardari vengono fatti sparire a colpi di tasse. Ma sarebbe difficile anche immaginare la colonizzazione di Marte, se alcune persone non avessero insistito tanto a farla entrare nell’immaginario comune.FD: Prima hai parlato del rapporto The Limits to growth. Nel 2020 l’econometrica olandese Gaya Herrington ha preso le proiezioni di quel rapporto, le ha confrontate con le curve reali di sviluppo degli ultimi cinquant’anni, arrivando alla conclusione che erano in buona parte proiezioni corrette. Quelle proiezioni prevedevano che, in assenza di un cambio di rotta, il collasso della civiltà sarebbe avvenuto tra il 2040 e il 2050, con i primi segnali di cedimento intorno al 2020. Uno si aspetta che uno studio del genere faccia scalpore, eppure pochi ne hanno parlato. Ma nel momento in cui si vocifera di un’apocalisse IA, d’un tratto non si parla d’altro. Credo sia anche legato al fatto che un mondo senza IA è molto più facilmente immaginabile di un mondo senza combustibili fossili, dato che ci abbiamo vissuto fino all’altroieri. Allora credo ci sia bisogno di allenarsi a immaginare possibilità future diverse, ma basate sulla realtà e non su sogni fantascientifici.
AB: Sicuramente. In parte è quello che sto cercando di fare con il podcast Dreaming Against the Machine: provare a pensare che aspetto potrebbe avere un futuro realisticamente migliore di quelli che siamo abituati a proiettare.
FD: E a proposito di immaginare futuri diversi: verso la fine del libro tu proponi una soluzione, ossia tassare i miliardari al punto che non possano più accumulare simili ricchezze. Forse immaginare un mondo in cui sia impossibile diventare miliardari è più facile di quanto pensiamo.
AB: C’è un libro davvero molto valido, che mi è stato molto utile: si intitola The Visioneers (2013) e l’ha scritto Patrick McCray. La cosa che mi ha colpito, leggendolo, è scoprire quanto alcune delle idee più visionarie, tipo quelle basate sulle nanotecnologie o sulle colonie spaziali, siano state influenzate dalla pubblicazione de I limiti dello sviluppo. Quel rapporto ebbe un impatto enorme quando uscì, vendette milioni di copie, e incise su tantissimi livelli. Ma quell’impatto durò poco, perché il problema che portava alla luce si sviluppava sul lungo termine, e noi non siamo inclini a ragionare sul lungo termine. Di lì a poco sono arrivati gli anni Ottanta, i mercati andavano alla grande, era il periodo del “greed is good”, dopodiché è arrivata la fine della guerra fredda. D’un tratto il grande spauracchio della bomba atomica spariva di scena. Ma a quel punto non è che siamo tornati a preoccuparci dei limiti della crescita, anche perché farlo significava minacciare il potere di chi più ne aveva. Insomma, è molto difficile immaginare un mondo in cui quel rapporto venga preso sul serio, come è difficile immaginare un mondo in cui ci liberiamo dei miliardari a colpi di tasse. Ma ti dirò: sarebbe difficile anche immaginare un mondo in cui abbiamo colonizzato Marte se alcune persone non avessero insistito tanto a farlo entrare nell’immaginario comune. E la realtà è che un mondo senza miliardari è molto, ma molto più facile da ottenere rispetto a mandare un milione di persone su Marte.
