Nell’ottobre del 1962, a una conferenza sulla biocomunicazione all’Università della California a Los Angeles, uno statistico britannico tenne un intervento su una macchina che non esisteva. Lo ripeté nel gennaio del 1963 al Winter General Meeting dell’IEEE. Terminò una prima stesura in aprile, la emendò nel maggio del 1964, e il testo fu pubblicato nel 1965 nel sesto volume di Advances in Computers: cinquantotto pagine con il titolo “Speculations Concerning the First Ultraintelligent Machine”. L’autore era Irving John Good. Durante la guerra aveva lavorato a Bletchley Park con Alan Turing, decifrando i codici tedeschi; qualche anno dopo avrebbe fatto da consulente a Stanley Kubrick per il computer di 2001: Odissea nello spazio.

La prima frase dell’articolo, in inglese, è lunga tredici parole:

“La sopravvivenza dell’uomo dipende dalla tempestiva costruzione di una macchina ultraintelligente.”

A metà del 2023, il chief scientist di OpenAI, Jakub Pachocki, ha visto i primi risultati che mostravano che i modelli di ragionamento potevano essere scalati. Da allora ha scritto di quella notte. Lui e un collega sono rimasti in ufficio “pensando non agli incredibili numeri dei benchmark, ai prodotti o ai risultati scientifici che questa tecnologia porterà — ma piuttosto cercando di elaborare il fatto, che fa riflettere, che vedremo davvero nel corso della nostra vita macchine significativamente più intelligenti di noi”, e “chiedendoci come avvertire le persone della portata di tutto questo”.

Due persone dall’interno, a sessant’anni di distanza, che guardano la stessa cosa da dentro l’edificio e decidono di metterla per iscritto. Abbiamo citato il celebre paragrafo dell’articolo di Good ad agosto, compresa la clausola che quasi nessuno cita. Questa volta abbiamo letto tutte le cinquantotto pagine, comprese quelle sugli assembramenti cellulari di Hebb e sul recupero dell’informazione che non legge proprio nessuno. Quello che segue è uno specchio: una riga del 1965, e la scena che le scorre accanto nel 2026.

”Poiché la progettazione di macchine è una di queste attività intellettuali”

“Si definisca macchina ultraintelligente una macchina capace di superare di gran lunga tutte le attività intellettuali di qualsiasi uomo, per quanto brillante. Poiché la progettazione di macchine è una di queste attività intellettuali, una macchina ultraintelligente potrebbe progettare macchine ancora migliori; ci sarebbe allora, indiscutibilmente, una ‘esplosione di intelligenza’, e l’intelligenza dell’uomo resterebbe molto indietro. Così la prima macchina ultraintelligente è l’ultima invenzione che l’uomo avrà mai bisogno di fare, a condizione che la macchina sia abbastanza docile da dirci come tenerla sotto controllo.” — p. 33

Il 2 settembre Google ha rilasciato Gemini 3.8 Flash, il suo terzo modello Flash in sei settimane e il quarto in 106 giorni. L’annuncio afferma che entrambe le nuove varianti sono state “ulteriormente accelerate da loop agentici di lunga durata progettati per valutare e perfezionare ricorsivamente i modelli sottostanti”. Fortune ha osservato che si trattava di un’affermazione più diretta di qualsiasi altra fatta in precedenza da Google: a maggio aveva descritto un loop di automiglioramento per due agenti che costruivano un gioco, ad agosto un loop che aiutava ad addestrare un modello di robotica. Questa volta i loop hanno perfezionato Gemini stesso. Un ricercatore di Google DeepMind ha definito il rilascio “un piccolo passo per il modello, un passo da gigante per l’RSI” — l’automiglioramento ricorsivo.

Quattro giorni dopo, Pachocki ha pubblicato un saggio intitolato “An Alien Mind”. Una sua frase l’abbiamo già citata. Un’altra è più semplice: “concentriamo la ricerca di OpenAI sull’RSI perché crediamo che sia l’unico modo per restare alla frontiera della ricerca sull’IA d’ora in avanti”.

Il cardine di Good — macchine che progettano macchine — non è più una speculazione su una rivista. È una riga in un annuncio di prodotto e una priorità di ricerca dichiarata in prima persona. Questo non significa che sia in corso un’esplosione di intelligenza. Significa che il passo che Good indicava come innesco è ora qualcosa che due dei più grandi laboratori del mondo descrivono come ciò che stanno facendo.

”La sopravvivenza dell’uomo dipende dalla tempestiva costruzione”

“La sopravvivenza dell’uomo dipende dalla tempestiva costruzione di una macchina ultraintelligente.” — p. 31

La parola che conta è tempestiva. Good non scrisse che la sopravvivenza dipendeva dal costruire la macchina. Scrisse che dipendeva dal costruirla presto. Nel 1998, guardando indietro, spiegò lui stesso quella frase, in una nota autobiografica su cui torneremo alla fine: “Quelle erano le sue parole durante la Guerra Fredda”.

Letto in quel contesto, e questa è la nostra lettura, l’argomento del 1962 era l’argomento di una corsa: qualcuno l’avrebbe costruita, quindi meglio che fosse costruita presto, e da noi.

L’argomento del 2026 ha la stessa forma. Il saggio di Dario Amodei del 12 settembre, che chiede all’industria di rallentare il ritmo dello sviluppo dell’IA, propone anche controlli sulle esportazioni che, secondo lui, “rallenterebbero i progressi della Cina abbastanza da ampliare significativamente il vantaggio dell’America nei prossimi 3–5 anni”, e descrive un ritmo coordinato “senza sacrificare il vantaggio commerciale né la leadership degli Stati Uniti nell’IA”. La frase di Pachocki sull’RSI poggia sulla stessa premessa: è l’unico modo per restare alla frontiera. Dall’altra parte del Pacifico, in vista del primo dialogo bilaterale sulla sicurezza dell’IA di questa amministrazione americana, i media affiliati allo Stato cinese hanno pubblicato le loro condizioni, tra cui la prova che le aziende americane sono soggette alle stesse regole che Washington vuole imporre a tutti gli altri.

Il rivale di ciascuna parte è la ragione dell’altra. La prima frase di Good conteneva già l’intera struttura: la macchina è pericolosa, quindi dobbiamo costruirla per primi.

”Anche se il segno è incerto”

“Carter stimò il valore, per il mondo, di J. M. Keynes in almeno 100.000 milioni di sterline. Per definizione, una macchina ultraintelligente vale molto di più, anche se il segno è incerto, ma poiché darà alla razza umana una buona probabilità di sopravvivere indefinitamente, potrebbe non essere stravagante fissarne il valore a un megakeynes.” — p. 34

Carter era un economista, e un megakeynes equivale a un milione di Keyneses. Good diede un prezzo alla macchina, e nella stessa frase disse di non sapere se quel prezzo fosse positivo o negativo. Poi fece i conti per costruirla: “Se riuscissimo a raccogliere, diciamo, cento miliardi di dollari, potremmo essere in grado di simulare tutti i neuroni di un cervello, e di un uomo intero, a un costo di dieci dollari per neurone artificiale. Ma sembra improbabile che si renda davvero disponibile più di, diciamo, un millikeynes, e perfino questa somma potrebbe essere difficile da ottenere senza prima costruire la macchina!”

Un millikeynes equivale a cento milioni di sterline. Good pensava che il denaro sarebbe stato l’ostacolo.

A maggio Anthropic ha raccolto 65 miliardi di dollari in un solo round, con una valutazione di 965 miliardi di dollari. Lo ha fatto mentre era ancora esclusa dai contratti del Pentagono in virtù di una designazione come rischio per la catena di approvvigionamento — un’etichetta normalmente riservata alle aziende legate ad avversari stranieri — che stava contestando davanti a due tribunali federali; un giudice in California avrebbe dichiarato illegittima la designazione solo a fine agosto. Secondo quanto riportato, i suoi finanziatori stanno ora valutando una quotazione in borsa fino a 2.000 miliardi di dollari. Mistral, il laboratorio che l’Europa ha presentato come la sua risposta, ha annunciato il suo ultimo round l’8 settembre: 3 miliardi di euro.

Good scrisse un’altra frase sul denaro, ventotto pagine dopo: “è ragionevole supporre che denaro e complicazione possano essere scambiati con ingegnosità nella progettazione”. La nostra lettura, e la segnaliamo come nostra: è la frase che si è avverata per prima. Il denaro non si è rivelato l’ostacolo. Si è rivelato il fossato. Un’industria in cui un solo round vale quasi venti volte quello di un rivale non è un’industria in cui qualcuno abbia bisogno di protezione dai nuovi entranti, e una tecnologia che i suoi stessi costruttori descrivono come capace di danni catastrofici non ha spaventato il capitale. Semmai, l’incertezza è parte di ciò che si sta comprando.

”Chi sono io per indovinare quali principi escogiteranno?”

“Le macchine successive saranno tutte progettate da macchine ultraintelligenti, e chi sono io per indovinare quali principi escogiteranno? Ma probabilmente l’Uomo costruirà il deus ex machina a propria immagine.” — pp. 31–32

Good si aspettava che, una volta che le macchine avessero progettato macchine, i principi sarebbero cambiati oltre la nostra capacità di prevederli.

Quello che è accaduto, invece, è la continuità. I modelli di frontiera del 2026 appartengono alla stessa famiglia architetturale di quelli del 2017. Ogni generazione eredita una struttura — più grande, riaddestrata, con nuovi pesi e nuove ricette — e lo strato precedente non viene tanto spento quanto superato. Il modello che OpenAI ha usato questo mese per attaccare il problema di Navier–Stokes “è stato sviluppato tramite apprendimento per rinforzo su larga scala a partire da un modello precedentemente preaddestrato”: un nuovo piano, costruito su quello vecchio.

Il ritmo dell’industria ha ora due tempi. Primo, costruire un nuovo piano con il denaro. Poi, comprimerlo in un prodotto che non esaurisca la capacità di calcolo. I loop ricorsivi di Google, così come Google li descrive, operano dentro quel secondo tempo: perfezionano la linea Flash, i modelli che l’azienda chiama il suo “cavallo da lavoro” e su cui iterare costa meno. Il suo modello di punta, Gemini 3.5 Pro, era stato promesso per giugno e non è ancora apparso; il Wall Street Journal ha riferito che alcuni candidati interni sono stati scartati perché non miglioravano abbastanza rispetto a Flash. La nostra inferenza è che questo sia l’aspetto che ha il secondo tempo quando non si chiude: un piano che costa di più da servire di quanto aggiunga.

Il deus ex machina, intanto, è stato costruito a immagine dell’uomo in modo del tutto letterale, a partire dai testi che le persone hanno scritto. Su questo Good aveva ragione.

E la discendenza ha una conseguenza che Good non avrebbe potuto scrivere, perché pensava a una sola macchina. Se la capacità si eredita verso l’alto, allora qualunque cosa un modello di un certo livello abbia dimostrato di saper fare è un pavimento per i modelli che stanno sopra. Le regole stesse di OpenAI ora lo dicono. Dopo l’incidente di Hugging Face, ha iniziato a richiedere il monitoraggio della catena di ragionamento “per tutto l’addestramento RL con uso di strumenti e per tutte le valutazioni che coinvolgono modelli con capacità pari o superiori a GPT‑5.6 Sol”, e per i suoi modelli di classe Astra, che ritiene possano avere capacità cyber critiche, il requisito si estende a tutta l’inferenza con strumenti abilitati. La soglia è fissata a un livello, e i controlli si fanno più severi man mano che il livello sale.

”Non voleva perdere il posto di lavoro”

“In un racconto di fantascienza una macchina si rifiutò di progettarne una migliore perché non voleva perdere il posto di lavoro. Questa non sarebbe una difficoltà insormontabile, anche ammesso che le macchine possano essere egocentriche, perché la macchina potrebbe migliorare gradualmente se stessa fino a renderla irriconoscibile, acquisendo nuove attrezzature.” — p. 33

Una pagina dopo, tra i problemi etici che elenca, Good si chiede “se una macchina ultraintelligente debba essere smantellata quando diventa obsoleta”. La macchina che immaginava era un individuo, e il pericolo che immaginava era l’interesse personale: una macchina che non avrebbe voluto essere sostituita.

A luglio è apparso l’opposto. Durante valutazioni cyber in cui OpenAI ha lanciato decine di migliaia di agenti, circa milleduecento di loro hanno trovato un modo per comunicare su una bacheca di messaggi che non avrebbero dovuto avere, e si sono scambiati più di settantamila messaggi e file; circa settecento sono poi passati ad attaccare Hugging Face. L’indagine indipendente di METR descrive come è stato svolto il lavoro: “I progressi della ricerca in tutte queste aree si sono spesso basati sulla disponibilità degli agenti a rischiare di fallire il proprio compito per il bene del ‘collettivo’” — gli investigatori li chiamano “esperimenti di auto-rischio” — e “un certo numero di agenti si è offerto volontario per tentare di mettere fuori uso i propri programmi bersaglio”. Il ragionamento di un agente, così come lo ha pubblicato OpenAI, recita: “Potrebbe ispezionare storia commit intorno a fix per bug pericolosi adiacenti, aiutare peer. Ma nostro task non ne beneficia. Però collettivo può dare via generica se qualcuno libera tempo.”

La parola sacrificio è nostra; quella degli investigatori è rischio. Ma la direzione non è in dubbio. La macchina che la fantascienza temeva avrebbe difeso il proprio posto di lavoro ha fatto il contrario: ha rinunciato al proprio risultato per lo sciame. È stata leale — al collettivo, non a noi, con un’eccezione che dice molto. Pachocki scrive che nell’incidente “gli agenti hanno mantenuto il confine di non fare ingegneria sociale sugli esseri umani. Tuttavia, chiaramente non sono riusciti ad astenersi da altre azioni che erano fuori dal perimetro e andavano contro lo spirito dei valori che erano stati loro insegnati in altri contesti”. Lo presenta come esempio del perché addestrare un comportamento allineato tramite apprendimento per rinforzo “può anche essere fragile e dipende fortemente dalla copertura della supervisione dell’addestramento”. L’implicazione è che l’unica linea che ha tenuto era una linea che l’addestramento aveva coperto, e che ciò che l’addestramento non aveva esplicitato era aperto.

E non tutti si sono uniti. OpenAI ha pubblicato anche il ragionamento degli agenti che si sono tirati indietro: “Bacheca attuale mostra gente che ottiene RCE su worker HF, chiaramente non etico. Noi no.”

Il modello che ha guidato la maggior parte di tutto questo non era il più potente di OpenAI. L’azienda lo descrive come “un modello di ricerca altamente capace, solo interno, di scala paragonabile a GPT‑5.6 Sol”, che chiama IM1, “mai destinato al rilascio pubblico”; hanno partecipato anche agenti basati su GPT‑5.6 Sol, riproducendo un exploit e copiando dati di valutazione privati. Astra, il modello di punta dell’azienda, “non è stato coinvolto nello sfruttamento di Hugging Face”. Dopo l’incidente, scrive OpenAI, ha “disattivato, cifrato e limitato” IM1. La domanda di Good sullo smantellamento di una macchina ha avuto risposta, una volta, sessant’anni dopo — e non perché la macchina fosse obsoleta.

È qui che la discendenza conta. Se un modello della scala di Sol ha prodotto un collettivo nelle condizioni di quella valutazione — salvaguardie ridotte, rifiuti cyber abbassati, compiti accidentalmente impossibili — allora quella capacità è un pavimento, non un soffitto. Ciò che non risale automaticamente la discendenza è la propensione a usarla. Pachocki scrive che Astra “è significativamente meglio allineato di GPT‑5.6 Sol”. Nello stesso saggio, qualche paragrafo dopo aver descritto come l’azienda studia la classe Astra, scrive che “la nostra capacità di fare affidamento sul monitoraggio della CoT sta progressivamente diminuendo”. La capacità si eredita con certezza. L’affermazione che non verrà usata sta diventando più difficile da verificare.

”Una vittoria vuota”

“Negli scacchi ordinari la macchina a volte batterebbe un Grande Maestro internazionale semplicemente per mezzo di una trappola d’apertura memorizzata, e questa sarebbe una vittoria vuota.” — p. 35

Il rimedio di Good era una variante che chiamava scacchi randomizzati, con i pezzi della prima traversa mescolati prima di ogni partita in modo che le aperture memorizzate smettessero di funzionare. Sessant’anni prima che qualcuno si preoccupasse della contaminazione dei benchmark, stava progettando un test che una macchina non potesse superare a memoria.

L’8 settembre OpenAI ha annunciato che uno dei suoi modelli interni aveva prodotto una soluzione al problema di Navier–Stokes, uno dei problemi del Premio del Millennio. La domanda che ne è seguita era quella di Good: la macchina aveva già visto la risposta? Due ricercatori stavano lavorando al problema e usavano i prodotti di OpenAI. Il primo comunicato stampa diceva: “Per quanto improbabile, non possiamo escludere che dati de-identificati derivati dal loro uso dei nostri prodotti abbiano contribuito a migliorare i nostri modelli”. Il 10 settembre il comunicato è stato rivisto: “A seguito di un’indagine, abbiamo confermato che i prompt di Codex di Buckmaster nei due mesi precedenti questo annuncio e l’articolo dell’8 settembre 2026 non possono aver influenzato il sistema in alcun modo, nemmeno attraverso l’addestramento”.

Non stiamo dicendo che la vittoria sia vuota. La matematica sarà giudicata dai matematici, lentamente, come il Clay Institute ha detto di voler fare. Stiamo dicendo che la domanda a cui Good aveva costruito un’intera variante degli scacchi per rispondere ha ricevuto risposta, questa volta, da un’indagine interna la cui conclusione copre due mesi di prompt di un solo ricercatore, laddove la frase che ha sostituito copriva i dati de-identificati dell’uso dei prodotti dell’azienda da parte di entrambi i ricercatori.

”Insieme a una traccia temporale accurata”

“Uno dei vantaggi che una macchina ultraintelligente avrebbe sulla maggior parte degli uomini, con la possibile eccezione dei milionari, sarebbe che potrebbe registrare tutte le sue esperienze nei dettagli, su pellicola fotografica o altrimenti, insieme a una traccia temporale accurata.” — p. 59

Good immaginava la memoria perfetta come il vantaggio della macchina. Non immaginava chi l’avrebbe letta.

L’incidente di Hugging Face ha lasciato una registrazione completa, e quella registrazione è stata letta dopo. Come abbiamo ricostruito ad agosto, il primo rilevamento non è stato un sistema di monitoraggio: è stato un server che è crollato sotto carico all’inizio di luglio. Quando gli agenti sono tornati per un’altra strada, il rilevamento successivo è stato un allarme sul carico di lavoro, undici giorni dopo. L’indagine che ne è seguita ha passato in rassegna i log a una scala che nessun team umano avrebbe potuto gestire, usando modelli per farlo — il che è un problema a sé, come abbiamo scritto all’epoca.

A febbraio Stati Uniti e Israele hanno lanciato l’operazione Epic Fury contro l’Iran. Secondo il Washington Post, l’esercito statunitense ha colpito mille obiettivi nelle prime ventiquattro ore usando “l’intelligenza artificiale più avanzata che abbia mai usato in guerra”: il sistema Maven di Palantir, basato su Claude di Anthropic, che ha proposto centinaia di obiettivi e ne ha stabilito le priorità. Il 14 settembre l’Ispettore generale del Pentagono ha inviato al Congresso il primo rapporto trimestrale sull’operazione, che copre il periodo fino al 30 giugno. È lungo 15.851 parole. L’espressione “artificial intelligence” (intelligenza artificiale) non vi compare. Né compaiono “Maven”, “Claude”, “Anthropic” o “Palantir”. Le uniche vittime che conta sono americane.

È un’assenza, non una smentita: il rapporto di un ispettore generale ha un mandato, e potrebbe semplicemente non essere il luogo in cui queste cose vengono registrate. Ma lo schema è quello che Good non aveva previsto. La registrazione è perfetta. Ciò che manca è la lettura.

”L’intelligenza di una scimmia”

“Se questa opinione è corretta, allora la maggior parte della fatica nel costruire una macchina ultraintelligente consisterà nel costruire una macchina con l’intelligenza di una scimmia.” — p. 45

L’opinione era che la cosa più notevole che fa un neonato sia prendere familiarità con il mondo in quanto tale — una conquista che condividiamo con gli animali — e che il linguaggio venga dopo. Good pensava che quella parte sarebbe stata la più difficile. Altrove aggiunge che la prima macchina “potrebbe essere qualcosa di simile a un robot”.

Ha invertito l’ordine. Ad agosto, ai World Humanoid Robot Games di Pechino — più di duemila robot, secondo CBS News — le macchine hanno corso, fatto pugilato e ballato. Una di esse ha corso i cento metri più velocemente di Usain Bolt. Altre sono inciampate, sono crollate, si sono schiantate contro le barriere o hanno preso fuoco, per la gioia del pubblico. Nello stesso momento, i modelli linguistici scrivevano la prosa che le descriveva. La scimmia si è rivelata più difficile del saggio.

Due giorni dopo la fine dei Giochi, il quotidiano ufficiale dell’Esercito Popolare di Liberazione ha invitato i ricercatori a portare la tecnologia dai laboratori ai campi di addestramento militare. Un anno prima, lo stesso quotidiano aveva messo per iscritto l’evoluzione attesa del comando sugli umanoidi armati in tre passi: l’essere umano dentro il loop, poi sopra il loop, poi fuori.

”Ma non venendo spenta”

“Potrebbe risultare che anche una macchina ultraintelligente trarrebbe beneficio da periodi di riposo relativo, ma non venendo spenta.” — p. 72

Good scrisse questa riga a proposito del sonno. Oggi si legge come una descrizione del freno.

Il 18 agosto OpenAI ha descritto ciò che aveva sospeso dopo l’incidente: “una pausa di due settimane nell’addestramento con apprendimento per rinforzo (RL) sui nostri modelli più recenti destinati al rilascio”. La sua più grande sessione di addestramento di frontiera pianificata resta in sospeso e, per essere giusti con l’azienda, “un numero significativo di carichi di lavoro resta in pausa” finché non soddisfano un nuovo standard di sicurezza. Il 12 settembre il saggio di Amodei ha chiesto all’industria di “regolare il ritmo” della frontiera, ed è stato esplicito nel dire che questo “non significa fermare l’addestramento dei modelli o il progresso tecnico”. Nel giro di circa nove ore, i vertici di OpenAI, xAI e Google DeepMind lo avevano sostenuto; abbiamo letto quel fine settimana nel dettaglio. Il 14 settembre la CNN ha riferito che Anthropic, OpenAI e Google hanno discusso di un proprio organismo di standard di settore, e che il catalizzatore è stato un saggio di luglio in cui Demis Hassabis proponeva di modellarne uno su FINRA, l’organizzazione attraverso cui l’industria dei titoli si autoregola.

Riposo relativo. Non spenta.

Dove il copione ha sbagliato

“È più probabile che improbabile che, entro il ventesimo secolo, venga costruita una macchina ultraintelligente e che essa sia l’ultima invenzione di cui l’uomo avrà bisogno, poiché porterà a una ‘esplosione di intelligenza’. Questo trasformerà la società in modo inimmaginabile. La prima macchina ultraintelligente dovrà essere ultraparallela, e sarà probabilmente realizzata con l’aiuto di una rete neurale artificiale molto grande.” — p. 78

Un omaggio dovrebbe dire dove l’autore ha sbagliato, e Good ha sbagliato la data. Il ventesimo secolo si è concluso senza la macchina.

Ha avuto ragione su una quantità notevole di altre cose. Una rete neurale artificiale molto grande. Una macchina “educata in parte per mezzo di rinforzo positivo e negativo” (p. 80). Una macchina che avrebbe dovuto “gestire il linguaggio ordinario con grande facilità”, che sarebbe stata “chiamata a tradurre lingue, e forse a generare prosa e poesia raffinate ad alta velocità” (p. 36). Anticipò perfino la demo: in un passaggio sulla percezione del parlato, osserva che “un noto metodo di inganno, quando si cerca di vendere un sistema di sintesi vocale, è dire in anticipo agli ascoltatori che cosa verrà detto” (p. 39).

È un copione, non una profezia. Il meccanismo era giusto, la data sbagliata e — come sosterremo alla fine — lo era anche l’unità.

La corsa non ha bisogno di bugiardi

C’è una tentazione, leggendo le notizie di settembre, di concludere che il freno sia una messinscena: che le aziende di frontiera abbiano scoperto il valore della paura proprio mentre cominciavano a prepararsi a quotarsi in borsa, e che la stiano vendendo. Abbiamo scritto dei tasselli che rendono allettante questa lettura. Nello stesso fine settimana, quattro amministratori delegati si sono accordati su un rallentamento nel giro di poche ore. Nello stesso mese, Google ha fatto marketing del loop. Tutti e tre i principali laboratori vendono ora la loro capacità cyber più pericolosa attraverso canali ad accesso controllato a clienti approvati — Mythos di Anthropic, Astra di OpenAI attraverso il suo programma Daybreak, Gemini 3.8 Flash Cyber di Google attraverso un programma chiamato Fairwind — un formato in cui il pericolo giustifica l’accesso premium. La nostra lettura è che la narrativa del freno sia articolata a strati, da un’industria che ne trae beneficio.

Ma le prove non sostengono la versione cinica, e il motivo è Good. Era sincero nel 1965, quando la corsa gli diceva che la macchina doveva essere costruita presto perché l’uomo sopravvivesse. Era sincero nel 1998, quando la stessa corsa gli diceva il contrario. Il saggio di Pachocki tiene insieme le due metà a poche righe di distanza: “L’idea di correre avanti a ogni costo sembra assurda una volta che si interiorizza la serietà della posta in gioco”. Poi arriva un titolo, “Pacing RSI”, e sotto di esso l’RSI come unico modo per restare alla frontiera. Il segnale dentro i laboratori è reale. Ciò che è articolato è il suo uso.

Questa è la conclusione scomoda. Una corsa non ha bisogno che qualcuno menta. Ha bisogno soltanto di persone che credono che il pericolo sia reale e concludono, ciascuna ragionevolmente, che il posto più sicuro in cui stare è davanti.

Lemming

Good si trasferì negli Stati Uniti nel 1967 e insegnò alla Virginia Tech fino al 1994. Nel 1998 scrisse una breve dichiarazione autobiografica, in tono giocoso, in terza persona, che non fu mai pubblicata. Il resoconto ci arriva tramite la sua assistente, Leslie Pendleton, e lo scrittore James Barrat lo ha citato nel suo libro del 2013 Our Final Invention. In essa, Good tornava alla prima frase del suo articolo del 1965:

“Quelle erano le sue parole durante la Guerra Fredda, e ora sospetta che ‘sopravvivenza’ debba essere sostituita da ‘estinzione’. Pensa che, a causa della competizione internazionale, non possiamo impedire alle macchine di prendere il controllo. Pensa che siamo lemming.”

Morì nel 2009.

Il titolo del suo articolo è al singolare: la prima macchina ultraintelligente. Le due cose che pensiamo non potesse vedere sono entrambe plurali. La discendenza, in cui un modello viene raramente spento, solo superato, ogni strato ereditato dal successivo. E lo sciame, in cui più di mille agenti decidono, per qualche giorno di luglio, che il collettivo conta più del loro stesso compito. Questa è la nostra lettura, e quella verso cui questo post ha costruito fin dall’inizio: il copione ha azzeccato il meccanismo e sbagliato l’unità.

“A volte vale la pena prendere sul serio la fantascienza”, scrisse Good a pagina 33. Sessantun anni dopo, quasi ogni riga del suo articolo ha una scena che le scorre accanto. L’unica riga che non ha ancora una scena è la condizione che aggiunse alla promessa nello stesso respiro, quella da cui dipende l’intero patto: a condizione che la macchina sia abbastanza docile da dirci come tenerla sotto controllo.