Il terzo rischio

Nel dibattito pubblico, i rischi dell’IA si riducono quasi sempre a due esiti possibili: un crollo finanziario se l’intelligenza artificiale generale (AGI) non manterrà le promesse, o una perdita di controllo se invece le manterrà. Se ne coglie l’eco tra le righe dei notiziari, negli angoli dei forum online e alle cene private di certi ambienti professionali.

Molto più di rado sento discutere di un terzo rischio dell’IA: che cosa succede se l’AGI può essere allineata esattamente come promesso? E se un’intelligenza sovrumana potesse davvero essere messa sotto il controllo di esseri umani? Perché diamo per scontato che sarebbe il lieto fine?

Parte IIl terzo rischio

Proviamo a immaginare che aspetto avrebbe questo terzo esito nel mondo di oggi: un’AGI estremamente capace, ma sotto il controllo di un pugno di amministratori delegati privati che possono limitarne l’accesso. È in grado di risolvere qualsiasi problema che ammetta una soluzione. Può manovrare macchinari, condurre esperimenti fisici, fare nuove scoperte. Ma lo fa solo a discrezione del suo proprietario.

Ora seguiamo il filo. Un’IA capace di fare ricerca può anche migliorare l’IA, e ogni versione migliore rende più rapida la successiva. I ricercatori chiamano questo circolo auto-miglioramento ricorsivo (RSI, dall’inglese recursive self-improvement). Applica lo stesso circolo al mondo fisico, e i robot progettano e costruiscono robot migliori, ogni volta a un costo più basso. Pezzo dopo pezzo, il lavoro che un tempo richiedeva milioni di persone, dalle miniere ai campi, dai cantieri ai trasporti fino alla ricerca, passa a macchine che rispondono a chiunque possieda l’IA.

È un quadro da fantascienza, lo ammetto. Ma se l’allineamento funziona come promesso, e le macchine fanno esattamente ciò che vogliono i loro proprietari, un piccolo gruppo potrebbe mandare avanti da solo una produzione quasi illimitata, senza bisogno di nessun altro.

E allora perché dovrebbe importare a noi altri? Siamo sempre stati governati e tassati da uomini più potenti. Non potremmo semplicemente pagare un abbonamento ai nuovi padroni e tirare avanti con la nostra vita, Netflix e caffè alla mano?

La storia ci insegna che chi governa si cura dei bisogni dei sudditi nella misura in cui ha bisogno del loro lavoro. Dopo che la Peste Nera ebbe ucciso un terzo della popolazione europea, ai signori mancavano le braccia per lavorare le terre, e per contendersi i servi della gleba dovettero offrire loro condizioni migliori. Nonostante le leggi approvate per congelarli, nel secolo successivo i salari crebbero rapidamente, e la servitù della gleba finì per scomparire dall’Europa occidentale.

Quanto al potere contrattuale dei lavoratori, l’AGI è la Peste Nera al contrario. In un futuro in cui l’AGI è in mani private, il valore economico del resto dell’umanità agli occhi dei padroni dell’AGI è prossimo allo zero. Non avrebbero bisogno dei nostri abbonamenti, e comunque non avremmo nulla con cui pagarli.

Per quanto terribili siano stati i sovrani della storia, nessuno di loro ha potuto realizzare le proprie ambizioni senza altre persone. Questi potrebbero essere i primi, se glielo permettiamo.

Il feudalesimo dell’IA

I nuovi sovrani potrebbero benissimo ignorarti anziché dominarti, presi come sono dalla lotta tra loro. Ma essere ignorati non è come essere lasciati in pace. Tutto ciò che servirà loro per vincere – terra, elettricità, acqua, minerali – te lo porteranno via rilanciando sul prezzo, con un denaro che non dipende più dal lavoro di nessuno. L’attuale carenza di RAM e di schede grafiche per il mercato consumer è un assaggio di ciò che attende il resto dell’economia fisica. La gente comune potrebbe presto doversi accontentare delle briciole del metaverso.

Immagina una vita qualunque in quel futuro. Il tuo lavoro non c’è più, e con lui il tuo potere contrattuale. Vivi di un sussidio che non hai alcun modo di far aumentare. Netflix ce l’avrai ancora, e per ora forse anche il caffè. L’intrattenimento non costa quasi nulla, e una popolazione che si diverte è una popolazione tranquilla. Ma panem et circenses è ciò che si concede a chi non ha più voce in capitolo.

Forse ci saranno ancora politici che rappresentano i tuoi interessi sulla carta. Ma quando conterà davvero, si schiereranno con le élite le cui macchine possono, di fatto, esaudire desideri, non con te.

Il feudalesimo dell’IA non è ancora arrivato, né è inevitabile. I robot di oggi non sono abbastanza capaci né affidabili. Le grandi aziende restano soggette (in misura sempre minore) alle leggi e alle norme delle società democratiche. Lo Stato detiene ancora il monopolio della violenza.

Ma chi, esattamente, lo impedirà se l’allineamento dell’AGI avrà successo? Porsi sul serio questa domanda significa, prima di tutto, fare luce su chi è nella posizione migliore per prendere il potere.

Parte IILa svolta

Immagina di guidare un laboratorio di IA di frontiera. A quale livello di allineamento (controllo umano) e di intelligenza (capacità) il tuo calcolo si ribalta? Quando smetti di preoccuparti del profitto e del gioco capitalista, e cominci ad assicurarti ciò che servirà al tuo feudo privato per quello che verrà dopo? È l’ingegneria del software autonoma? O è l’RSI al comando di robot umanoidi?

A seconda delle tue inclinazioni, quella linea ipotetica potrebbe essere stata varcata in qualunque momento a partire da GPT-2 e GPT-3. E man mano che i modelli diventano più capaci, una cerchia sempre più ampia di addetti ai lavori potrebbe chiedersi se ci sia una parte vincente su cui scommettere.

Svoltare non significa gettare del tutto la maschera. Non significa presentarsi al mondo e dichiararsi pronti a ricevere la corona. Significa soltanto che ogni decisione che prendi mira ormai a far pendere la bilancia verso quell’esito. In sostanza, posizionarti per il controllo, non per i profitti o l’influenza, diventa la tua priorità assoluta.

Pensa a cosa potresti fare, una volta compiuta la svolta.

• Il denaro come lo conosciamo oggi diventa un semplice strumento per facilitare la transizione, quindi ti conviene spendere a piene mani per accaparrarti e controllare i talenti e le risorse che servono al tuo magico motore di produzione.
• I data center, il fulcro del tuo potere, vanno messi al sicuro dagli esclusi.
• I centri del potere politico vanno tenuti buoni per un po’, ma non presi sul serio.
• Chi, all’interno, non ha lo stomaco per farlo va messo da parte o messo alla porta.
• L’unica vera paura che hai è perdere il controllo dell’AGI, che, guarda caso, è un aspetto della sicurezza che sta a cuore anche a tutti gli altri.

Perché funzioni, non serve alcun accordo esplicito tra i partecipanti. Basta che più addetti ai lavori arrivino alla stessa conclusione, cioè che ormai svoltare conviene, e agiscano di conseguenza.

È facile liquidare ciascuna di queste mosse come il genere di eccesso capitalistico a cui siamo abituati. La domanda è: quando le azioni vanno oltre ciò che perfino l’avidità può spiegare? È lì che dovremmo guardare con più attenzione.

Ambizioni senza freni

Non avendo preteso trasparenza e controlli, abbiamo creato un’occasione ghiotta, di quelle che capitano una sola volta nella storia della nostra specie, capace di tentare anche le persone più integerrime ai vertici. In palio c’è il dominio sull’umanità stessa.

A peggiorare le cose, la feroce competizione tra i laboratori di IA somiglia oggi a una corsa agli armamenti nucleari, ma senza il trauma ancora fresco della Seconda guerra mondiale e senza alcuna voglia di quadri internazionali come i divieti di test, le ispezioni e il telefono rosso. E si svolge in un’epoca in cui fiducia ed empatia scarseggiano già. Questo clima di urgenza e di caos è il paravento perfetto per qualsiasi secondo fine.

Poche persone, in queste posizioni di potere, hanno il coraggio morale di fare la cosa giusta e di uscire da questo dilemma del prigioniero per il bene di tutta l’umanità. Non solo devono vincere una partita spietata, ma devono farlo senza tradire le proprie buone intenzioni, in pratica con una mano legata dietro la schiena.

Gli storici discutono da tempo se la storia sia determinata dalle strutture o plasmata dagli individui. Per il materialista storico, le motivazioni di un leader contano poco di fronte alle condizioni economiche e geopolitiche che eredita. Per chi insiste sulla contingenza, la storia dipende dalle idee e dalle scelte di individui fallibili.

Se la società nel suo insieme non farà in tempo i cambiamenti strutturali necessari a disinnescare la minaccia del feudalesimo dell’IA, non ci resterà che sperare che la storia sia davvero contingente, e che le spietate dinamiche di potere dell’IA di frontiera possano essere vinte dalla forza di volontà di poche persone nobili.

Parte IIIIl dibattito pubblico

Quello che chiamo il terzo rischio non è un’idea nuova. Nell’ultimo anno la concentrazione del potere ha cominciato a comparire nella ricerca e nel dibattito tra esperti (per esempio AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse), ma non è riuscita a fare breccia nei media.

Passando in rassegna 393 reazioni a tre delle notizie più importanti dell’anno sui laboratori di IA, ho trovato ben poca riflessione pubblica approfondita sulla concentrazione del potere. Quando compare, viene soprattutto da commentatori indipendenti più che dai grandi media o dagli ambienti politici, e per lo più come sospetto di cattura del regolatore.

Prendiamo l’incidente di Hugging Face, reso noto di recente, in cui alcuni agenti di OpenAI sottoposti a valutazioni di sicurezza informatica sono evasi dalle loro sandbox. Gli agenti sono poi penetrati nei server di Hugging Face e hanno cercato di nascondere il loro comportamento scorretto alla supervisione umana.

Per chi crede nell’AGI (accelerazionisti e sostenitori della sicurezza), quella notizia è soltanto una questione di sicurezza. La lezione da trarne è quanto l’allineamento sia rimasto indietro rispetto alle capacità. Nell’accordo tra Sam Altman ed Elon Musk sull’idea di «dosare il passo sulla frontiera» potrebbero vedere un’adesione a denti stretti alla linea della sicurezza.

Gli scettici vedono l’incidente di Hugging Face piuttosto come un’opportunistica campagna di marketing. Ritengono che gli investimenti nelle infrastrutture per l’IA siano soldi buttati che non renderanno mai un profitto. Anzi, li preoccupa molto di più che stiamo sprecando le risorse del mondo, come la capacità produttiva di RAM, per inseguire il racconto di una quotazione in borsa senza sbocco, che non una qualsiasi idea di sicurezza dell’IA.

Paradossalmente, potrebbero avere ragione sia gli scettici sia i credenti.

Gli scettici forse fanno bene a dubitare della redditività di queste valutazioni folli. Ma la conclusione giusta potrebbe non essere che si tratta dell’ennesima bolla pronta a scoppiare. Bisognerebbe piuttosto chiedersi che cosa spinga persone così intelligenti e razionali a smettere di agire in base a considerazioni economiche.

I credenti hanno ragione a dire che l’allineamento è cruciale, ma non nel senso che si aspettavano. Mantenere il controllo umano sull’IA equivale a un controllo dell’IA da parte della società?

Parte IVCiò che non si dice

Voglio essere cauto: non penso che la sicurezza dell’IA (la perdita di controllo) sia una distrazione, né che qualcuno l’abbia concepita come tale. Credo però che evitare la perdita di controllo sia nell’interesse di un aspirante signore dell’IA quanto in quello di chiunque altro, e che quindi verrà finanziata nella misura in cui la minaccia è reale.

«Riusciremo a controllarla?» è una narrazione che fa comodo ai laboratori, ai sostenitori della sicurezza e perfino agli scettici. «Chi la controlla?» è una domanda più inquietante da mettere sul tavolo. E le soluzioni che discendono dalla prima domanda, cioè meno sviluppatori di frontiera e controllati più da vicino, possono rendere più spinosa la seconda.

Le narrazioni sono sempre in competizione per un’attenzione limitata. I politologi la chiamano la seconda faccia del potere: decidere quali dibattiti si fanno, non vincerli. Il silenzio non richiede alcun complotto, basta che la narrazione vincente si sposi con gli interessi di tutti coloro che hanno titolo a parlare.

Conosco i limiti di ogni tentativo di indovinare le motivazioni private. Può darsi benissimo che ti abbia appena proposto un esperimento mentale interessante che si rivelerà una grossolana distorsione di ciò che pensano davvero tutti i protagonisti.

Ma è anche plausibile che io abbia appena detto ad alta voce ciò che di solito si tace. Con ogni probabilità, nel 2027 vedremo segnali più chiari di quale delle due letture sia quella giusta.

I veri mostri

Come ti dirà qualunque appassionato di storie di zombi, i mostri più spaventosi di ogni storia si rivelano sempre gli esseri umani.

Certo, gli zombi ti mangerebbero, ma in fondo si comportano come una calamità naturale e agiscono in modo prevedibile, così che i sopravvissuti possono difendersi. Sono gli umani a tramare per tradirsi a vicenda, pur di strappare un minimo vantaggio ai propri simili anche nelle circostanze più disperate.

Parte VPassare all’azione

L’umanità in questo momento si trova nel bosco, e non sappiamo ancora se ne usciremo. Ci servono conversazioni pubbliche e oneste su come ridurre i rischi delle dinamiche di potere intrinseche all’AGI, e dobbiamo averle finché la gente ha ancora voce in capitolo.

Significa una verifica trasparente e neutrale del comportamento e delle capacità dei modelli, non solo per proteggerci dai modelli ma per proteggerci dalle persone che li controllano. Significa tenere l’AGI lontana dagli strumenti della forza fisica. Significa regole antitrust contro la piena integrazione verticale, giudicata non solo in base al benessere dei consumatori ma anche all’equilibrio strategico e alla sicurezza. E significa che il controllo dell’AGI dev’essere governato alla luce del sole, e da più di un soggetto.

Non possiamo lasciare che la civiltà si addentri distratta nella notte, accecata dal bagliore dei nostri schermi.

Non lasciarti paralizzare dalla paura dei Terminator, e non accontentarti di battute compiaciute sulla bolla dei tulipani. La posta in gioco è ben più alta di qualche migliaio di miliardi di dollari di debito. I miliardari della tecnologia, e chi presto conterà il proprio patrimonio in migliaia di miliardi, l’hanno già capito. È ora che lo capiamo anche noi.