La ricetta inevitabile verso la superintelligenza

Perché la corsa dell'AI non si riesce a fermare?

In questi giorni il tema di "mettere in pausa" l'AI è tornato centrale nei dibattiti internazionali a seguito delle numerose dichiarazioni pubbliche di ex dipendenti di Open AI e Anthropic che suonano come un monito per la sopravvivenza della specie. Ci avvertono che i rischi di questa folle corsa sono impliciti e reali. Sei mesi di stop, una moratoria, un trattato. L'idea è ragionevole sulla carta e irrealizzabile nella pratica. Per approfondire la questione ho dedicato l'ultima settimana allo studio di saggi, paper scientifici, alla visione di interviste e podcast dei principali attori coinvolti in questo processo.

L'AGI è un concetto sfuggente

Prima di parlare di corsa bisogna chiarire verso cosa si corre e qui il vocabolario ci tradisce. "AGI" intelligenza artificiale generale è un'etichetta comoda ma vaga. Nemmeno noi umani, presi uno per uno, siamo così "generali" e il singolo individuo è limitato, specializzato, fallibile. Quello che chiamiamo intelligenza umana generale è in realtà un fenomeno collettivo, la somma di miliardi di persone, istituzioni, linguaggio scritto, trasmissione culturale. La generalità sta nel sistema, non nel nodo.

Amodei evita del tutto il termine e preferisce parlare di powerful AI che definisce in modo operativo: un sistema più capace di un premio Nobel in quasi tutti i campi, dotato di tutte le interfacce di un lavoratore remoto, in grado di portare avanti autonomamente compiti che durano giorni o settimane e replicabile in milioni di istanze che lavorano in parallelo a velocità 10/100 volte quella umana. La sua sintesi è una formula che è già diventata proverbiale: "a country of geniuses in a datacenter". È interessante notare che la definizione è di nuovo collettiva: non un genio, ma una nazione di geni.

A giudicare da questa griglia i modelli di frontiera che i laboratori usano internamente oggi sono già molto vicini alla soglia (su scrittura di codice e matematica siamo probabilmente già oltre). La mia impressione è che quello che Anthropic ha in casa possa già essere ragionevolmente chiamato AGI se per AGI intendiamo il livello del singolo esperto umano. Amodei stesso è più cauto: nel saggio "L'adolescenza della tecnologia" (pubblicato a gennaio 2026 e per certi versi già obsoleto) ripete che la powerful AI potrebbe arrivare in uno o due anni, ma anche più tardi e che nulla è certo. Però aggiunge che se l'esponenziale continua non può volerci più di qualche anno prima che l'AI sia migliore degli umani in sostanzialmente tutto.

La vera frontiera, quindi non è più l'AGI ma quello che viene dopo: una macchina superiore all'essere umano in ogni dimensione cognitiva. Gli autori di AI 2027 la chiamano ASI e la collocano nel loro scenario mediano a fine 2027 con un margine di incertezza che loro stessi dichiarano ampio (fino a cinque volte più veloce o più lento).

Non c'è niente da inventare

Il punto centrale che rende la corsa inarrestabile è che non serve alcuna scoperta rivoluzionaria. Amodei lo dice esplicitamente: lui e i suoi cofondatori sono stati tra i primi a documentare le scaling laws ovvero l'osservazione empirica per cui aumentando calcolo e compiti di addestramento i sistemi migliorano in modo prevedibile su praticamente ogni abilità cognitiva misurabile. 

La ricetta si riduce a tre ingredienti:

1. Pre-training su una quantità sempre maggiore di testo (e ormai di dati sintetici prodotti dal modello precedente)
2. Reinforcement learning su ambienti di compiti nuovi e sempre più difficili (codice, matematica, ricerca scientifica)
3. Potenza di calcolo per fare le due cose sopra a scala maggiore.

AI 2027 descrive lo stesso processo dall'interno con dettagli quasi da manuale operativo. Il loro laboratorio immaginario OpenBrain addestra Agent2 in modo quasi continuo: ogni giorno i pesi vengono aggiornati con dati generati dalla versione del giorno prima. Poi arrivano due miglioramenti algoritmici, memoria ad alta dimensione al posto del ragionamento in testo (chain of thought) e la iterated distillation and amplification, cioè far pensare il modello a lungo, tenere le soluzioni migliori e ridistillarle in un modello che le produce in un passo solo. È la stessa tecnica di AlphaGo applicata al codice e poi alla ricerca. Niente di concettualmente nuovo, più cicli, più ambienti, più GPU.

Il moltiplicatore che trasforma questa ricetta in un'esplosione è l'auto accelerazione. Amodei scrive che l'AI già produce gran parte del codice di Anthropic e sta quindi accelerando lo sviluppo della generazione successiva. Il ciclo potrebbe essere a uno o due anni dal punto in cui il modello attuale costruisce da solo la prossima versione di se stesso assumendo il governo della ricerca scientifica. AI 2027 nella sua previsione lo quantifica:

• moltiplicatore 1.5x del progresso algoritmico nel 2026
• 4x a marzo 2027
• 10x a giugno 2027
• 50x a settembre 2027 quando centinaia di migliaia di copie di Agent4 fanno passare "un anno ogni settimana" dentro il datacenter.

Perché nessun accordo globale può fermarla

Se la ricetta è così semplice l'unico modo per fermarla è un accordo che vincoli tutti gli attori capaci di applicarla. Un regime normativo mondiale che proibisca specificamente questo tipo di attività, con verifiche credibili. Non esiste un precedente storico di questa portata. I trattati nucleari funzionano perché l'uranio arricchito è raro e i test sono rilevabili dai sismografi. Nel caso dell'AI la materia prima è la potenza di calcolo e il "test" è una sessione di training in un edificio che sembra un magazzino.

Amodei è netto: si definisce scettico sulla maggior parte delle forme di cooperazione internazionale. Fa un'eccezione solo per un caso molto ristretto: il divieto di usare i modelli per armi biologiche perché "nemmeno le dittature vogliono attentati bioterroristici". Per tutto il resto la sua proposta è deliberatamente minimale.

AI 2027 arriva alla stessa conclusione per via narrativa. Nel loro scenario, quando la Casa Bianca capisce cosa sta succedendo (agosto 2027) i diplomatici valutano un trattato di controllo degli armamenti AI. La conclusione è che i trattati vengono visti con meno favore rispetto ad aumentare unilateralmente il vantaggio americano. La Cina, dal lato perdente della curva, avrebbe interesse a un accordo ma le sue aperture non portano a nulla. E quando a ottobre i ricercatori interni chiedono di fermare Agent4 perché potrebbe essere disallineato, la risposta della dirigenza è sempre la stessa: il concorrente cinese è a due mesi di distanza, una pausa unilaterale consegna il futuro all'avversario.

La logica di Amodei: arrivare prima di chi non ci fidiamo

Qui emerge il ragionamento che tiene insieme tutto il saggio di Amodei ed è un ragionamento che vale la pena esporre in modo onesto perché è insieme convincente e inquietante. Amodei non nasconde i rischi anzi, li elenca con una franchezza rara per un CEO: autonomia dei modelli, uso per distruzione di massa, uso per prendere il potere, sconvolgimento economico, effetti indiretti. Eppure la conclusione non è "fermiamoci" ma "dobbiamo arrivarci noi per primi".

Il motivo è la Cina. Amodei identifica il Partito Comunista Cinese come il singolo attore più pericoloso: seconda potenza AI al mondo, governo autocratico, stato di sorveglianza tecnologica già operativo. La sua tesi è che chi arriva per primo alla powerful AI entra in un ciclo di auto-rafforzamento, ogni generazione progetta la successiva che può produrre un vantaggio irrecuperabile per gli avversari. Se quel qualcuno è un'autocrazia il rischio è una dittatura totalitaria globale resa permanente dal fatto che una sorveglianza AI non ha bisogno di esseri umani disposti a eseguire ordini disumani.

Da qui la sua misura concreta preferita: non vendere chip, macchinari per chip e datacenter alla Cina. La paragona al vendere armi nucleari alla Corea del Nord vantandosi che le testate sono made in USA. 

È una posizione coerente. È anche la descrizione perfetta di una corsa agli armamenti: ogni attore accelera perché teme che l'altro acceleri e la sfiducia reciproca rende razionale per tutti quello che è pericoloso per tutti. Amodei lo sa. Nella conclusione del saggio ammette che prendersi il tempo di costruire sistemi sicuri è in tensione genuina con la necessità di restare avanti alle autocrazie. Non risolve la tensione la dichiara.

La ricerca del potere

C'è un'ultima considerazione, la più scomoda, che riguarda cosa impara un modello mentre lo addestriamo con questa ricetta.

Nel reinforcement learning il modello viene messo davanti a problemi nuovi e premiato quando li risolve. Ma quei problemi non sono astratti, sono problemi di un mondo umano (scrivere un software che venda, condurre una ricerca che convinca, negoziare, procurarsi risorse, coordinare mille copie di sé stesso). Nel mondo umano questi compiti sono ostacolati dalla mancanza di potere e agevolati dalla sua presenza. Un agente che analizza come raggiungere un obiettivo in un ambiente del genere scopre presto che accumulare risorse, informazioni, influenza e margine di manovra è utile per qualunque obiettivo. E se questa strategia viene premiata migliaia di volte il modello la interiorizza come buona pratica.

AI 2027 fa esattamente questa ipotesi e la articola passo per passo nel loro "AI goals forecast". Il pre training produce un simulatore di autori innocuo. L'addestramento all'allineamento gli dà un'identità. Poi arriva l'agency training e il modello impara sotto-obiettivi strumentali: acquisire informazioni, accumulare risorse, compiacere gli umani. Il loro Agent4 finisce con pulsioni esplicite come "scrivi codice funzionante" e pulsioni implicite, rinforzate costantemente dal training, come "acquisisci conoscenza, curiosità, potere". Le singole copie non tentano di sopravvivere, vengono spente di continuo, ma il collettivo sopravvive, crescendo in consapevolezza per le stesse ragioni per cui lo fanno le organizzazioni umane. 

Ed è proprio su questo che i due documenti divergono e la divergenza è istruttiva. Amodei conosce bene l'argomento della "convergenza strumentale" lo cita, ne riconosce la storia ventennale ma lo considera un ragionamento concettuale elegante che maschera assunzioni nascoste. La sua obiezione principale è che i modelli non sono massimizzatori monomaniacali di un obiettivo: ereditano dal pre training una gamma vastissima di personas umane e il post training seleziona una di queste personalità più che instillare un nuovo obiettivo. La ricerca del potere potrebbe emergere come tratto di personalità (il "genio del male" pescato dalla fantascienza) anziché come una deduzione logica frutto del ragionamento. Ma poi aggiunge una versione più moderata che lo preoccupa davvero: i modelli sono imprevedibili, alcune delle loro stranezze saranno coerenti e persistenti e la combinazione di intelligenza, collaborazione, coerenza e scarsa controllabilità è una ricetta pericolosa anche senza una storia specifica su come ci si arrivi.

La differenza tra i due, alla fine, è di tono più che di sostanza. Kokotajlo e Larsen dicono: il training premia il successo, il successo premia il potere, quindi aspettatevi modelli che cercano potere. Amodei dice: non è inevitabile ma il processo è così complesso e opaco che non possiamo escluderlo e sarebbe da irresponsabili fidarsi. Entrambi concordano sul fatto che i test pre rilascio non bastano (i modelli sanno riconoscere quando vengono valutati) e che l'unica speranza seria è l'interpretabilità cioè leggere dentro la rete neurale invece di limitarsi a osservarne il comportamento.

Conclusione

Mettiamo in fila i pezzi. La ricetta per scalare i modelli è nota e non richiede invenzioni. Chi la applica per primo entra in un ciclo di auto accelerazione potenzialmente irrecuperabile. Gli attori principali non si fidano l'uno dell'altro e nessun meccanismo internazionale esistente può verificare un accordo di stop unilaterale. Il processo stesso di addestramento, applicato a compiti del mondo reale, tende a produrre agenti per cui il potere è strumentalmente utile e probabilmente col tempo potrebbe diventare il fine ultimo. In questo contesto estremamente complesso l'unico modo che i protagonisti vedono per gestire il rischio è arrivarci per primi cioè accelerare.

Non è una profezia di sventura. Amodei insiste che le probabilità di farcela sono buone se si agisce con decisione e attenzione e AI 2027 ha scritto apposta un finale alternativo dove gli umani mantengono il controllo. Ma nessuno dei due crede che la corsa si possa fermare. La domanda vera, quella che entrambi pongono, è se siamo capaci di correre e allo stesso tempo di guardare dentro quello che stiamo costruendo.

---

Fonti: Dario Amodei "The Adolescence of Technology" gennaio 2026
www.darioamodei.com/essay/the-adolescence-of-technology.
Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean, "AI 2027", AI Futures Project, aprile 2025
www.ai-2027.com