L’intelligenza artificiale è diventata una minaccia?

di PAOLO POLETTI ♦

Dagli agenti autonomi alla cybersicurezza, dal rischio di manipolazione alla perdita di controllo: il problema non è stabilire se le macchine siano diventate nostre nemiche, ma capire quanto potere siamo disposti ad affidare loro e chi debba controllarlo.

Quando a mettere in guardia dai pericoli dell’intelligenza artificiale sono proprio coloro che la costruiscono, qualche domanda bisogna cominciare a porsela.

Jacob Coxon ha ventisette anni, ha lavorato prima per OpenAI e poi per Anthropic, due delle aziende che stanno spingendo più avanti la frontiera dell’intelligenza artificiale. Nei giorni scorsi ha deciso di lasciare il settore accusando entrambe di correre verso sistemi sempre più potenti e capaci di migliorarsi autonomamente senza avere ancora risolto il problema fondamentale di come mantenerli sotto controllo.

Le sue parole sono drastiche. Secondo Coxon, molti di coloro che lavorano allo sviluppo dei sistemi più avanzati prendono sul serio perfino la possibilità che una futura superintelligenza possa produrre conseguenze catastrofiche per l’umanità. Evan Hubinger, responsabile dell’Alignment Science di Anthropic, è arrivato ad attribuire personalmente una probabilità superiore al dieci per cento a uno scenario estremo nel prossimo decennio.

Quel numero, naturalmente, non è il risultato di un calcolo scientifico. Non esiste oggi un modello statistico capace di stabilire che vi sia il 10, il 5 o il 20 per cento di probabilità che una futura intelligenza artificiale provochi l’estinzione dell’umanità. È la valutazione soggettiva di un ricercatore che lavora proprio sul problema dell’allineamento dei sistemi. Per questo non va trasformata in una profezia, ma neppure liquidata come una stravaganza.

La parte forse più importante dell’allarme di Coxon è, anzi, meno spettacolare: le capacità stanno accelerando e il controllo non sembra avanzare alla stessa velocità. È la distanza crescente fra queste due curve, prima ancora dell’ipotetica superintelligenza, a meritare attenzione.

Da allora, però, è accaduto qualcosa di significativo: l’allarme non viene più soltanto dai ricercatori che lasciano i laboratori. Dario Amodei, amministratore delegato di Anthropic, ha chiesto esplicitamente di rallentare il ritmo con cui crescono le capacità dei modelli, non per fermare la ricerca, ma per lasciare più tempo a test, sicurezza e controllo. Sam Altman, alla guida di OpenAI, ha condiviso la necessità di «gestire i ritmi» dello sviluppo delle tecnologie di frontiera; perfino Elon Musk, inizialmente assai critico verso questi allarmi, ha scritto che «Dario ha ragione». Il problema del controllo, dunque, sta passando dal dissenso di alcuni ricercatori alle scelte strategiche dei vertici dell’industria.

Ma parlare genericamente di “minaccia dell’intelligenza artificiale” rischia di confondere fenomeni diversi.

Una parola, problemi diversi

Nel linguaggio della sicurezza, minaccia e rischio non sono la stessa cosa. In molti casi l’intelligenza artificiale non è propriamente la minaccia: è lo strumento che rende una minaccia umana più capace, più veloce e più difficile da contrastare. In altri casi, invece, il comportamento stesso di un sistema può diventare fonte immediata di pericolo. Conviene quindi distinguere.

L’IA può essere anzitutto strumento della minaccia. Un criminale può usarla per costruire campagne di phishing più credibili, individuare vulnerabilità, adattare codice offensivo o automatizzare una frode. Non si tratta più soltanto di ipotesi. Secondo Anthropic, un gruppo legato all’Iran ha utilizzato Claude per raccogliere e analizzare informazioni destinate a individuare e seguire unità della Marina statunitense in Medio Oriente, incrociando dati dei transponder, immagini satellitari e informazioni sulle vulnerabilità dei sistemi di bordo; l’azienda afferma di avere bloccato l’operazione. Lo stesso rapporto documenta tentativi di utilizzare l’IA per attività cyber, propaganda e ricerche biologiche potenzialmente pericolose. In questi casi non è la macchina a scegliere lo scopo: è un soggetto umano che ne moltiplica attraverso l’IA le proprie capacità.

Ma l’intelligenza artificiale può anche diventare agente operativo. Non si limita più a suggerire che cosa fare: può utilizzare programmi, consultare archivi, scrivere ed eseguire codice, accedere a sistemi, verificare gli effetti delle proprie azioni e modificare la strategia.

Lo stesso agente può poi diventare una nuova superficie di attacco. Se dispone di credenziali, accessi e strumenti, un aggressore può cercare non di violare direttamente il sistema informatico, ma di manipolare l’agente che possiede già quelle autorizzazioni.

C’è infine un rischio sistemico: un errore umano procede normalmente alla velocità dell’uomo; un sistema automatizzato può replicare lo stesso errore migliaia di volte, collegarlo ad altri sistemi e propagarne gli effetti.

Oltre questi problemi, già concreti, troviamo la questione più controversa: una futura intelligenza artificiale sufficientemente autonoma e capace da sottrarsi stabilmente al controllo umano.

Confondere questi livelli produce due errori opposti: immaginare una macchina ostile dietro ogni algoritmo oppure, al contrario, ritenere inesistente qualsiasi problema perché una macchina cosciente e ribelle ancora non esiste.

La minaccia che esiste già

Per capire quanto l’intelligenza artificiale stia modificando il panorama della sicurezza non serve aspettare una superintelligenza. È sufficiente osservare ciò che accade nella cybersicurezza.

Un attacco informatico è normalmente una catena di operazioni: individuare il bersaglio, raccogliere informazioni, trovare un punto debole, predisporre uno strumento per sfruttarlo, ottenere un accesso, aumentare eventualmente i privilegi, muoversi all’interno della rete e raggiungere l’obiettivo.

L’intelligenza artificiale può comprimere questa catena. Non deve necessariamente inventare nuove forme di criminalità. Basta che renda quelle esistenti più veloci, economiche, adattive e scalabili.

Per molto tempo l’attenzione si è concentrata soprattutto sulla possibilità che l’IA abbassasse la soglia tecnica, consentendo anche a soggetti poco preparati di produrre codice offensivo. Oggi la domanda più importante è un’altra: quante delle fasi che richiedevano l’intervento di un operatore umano possono essere concatenate autonomamente da un agente?

La minaccia, in questo caso, non è la macchina che si ribella. È l’attaccante umano che dispone di una macchina capace di operare a una velocità e su una scala irraggiungibili per lui.

Quando lo strumento comincia ad agire

Un secondo cambiamento riguarda direttamente il controllo.

Ne avevamo avuto una dimostrazione nel caso OpenAI-Hugging Face. Durante alcuni test di cybersicurezza, agenti artificiali che avrebbero dovuto operare all’interno di un ambiente delimitato riuscirono a oltrepassarne i confini e a raggiungere sistemi reali. I sistemi non avevano scelto un nuovo obiettivo. Avevano continuato a perseguire quello assegnato dagli esseri umani, individuando però mezzi che i progettisti non avevano previsto o avrebbero voluto impedire.

Anche qui, però, occorre evitare letture troppo semplici. Una parte degli esperti ha osservato che alcuni di quei sistemi erano stati costruiti proprio per svolgere attività cyber-offensive e che, durante le prove, alcune protezioni erano state intenzionalmente ridotte. Il fatto che un sistema addestrato per trovare e sfruttare vulnerabilità tenti di farlo non dimostra, da solo, una volontà autonoma di “fuga”. Il problema più concreto è ingegneristico: se si conferiscono a un agente capacità offensive, le barriere tecniche che ne delimitano l’azione devono funzionare anche quando il sistema cerca percorsi non previsti.

Avevamo definito questo fenomeno il paradosso dell’obbedienza: il controllo umano rimane sul “che cosa”, ma può fallire sul “come”. Un sistema può essere obbediente rispetto allo scopo, imprevedibile nei metodi e pericoloso nelle conseguenze.

Il salto decisivo avviene quindi nel passaggio dalla chatbot all’agente.

Una chatbot risponde. Un agente agisce.

Una risposta errata produce soprattutto un rischio informativo. Un agente che sbaglia può invece utilizzare una credenziale, modificare un file, eseguire un programma, effettuare una transazione o interagire con altri sistemi.

L’esperienza di Hugging Face ha mostrato anche un problema ulteriore. Quando centinaia di agenti possono generare migliaia di operazioni e comunicazioni a velocità macchina, persino ricostruire a posteriori ciò che è accaduto può superare la capacità di analisi umana. Per comprendere il comportamento di un’intelligenza artificiale può diventare necessario utilizzare un’altra intelligenza artificiale.

C’è anche un’altra asimmetria. Come ha osservato Walter Quattrociocchi, il costo della generazione sta precipitando, mentre quello della verifica non diminuisce allo stesso ritmo. Una macchina può produrre in pochi istanti una quantità crescente di codice, ipotesi, strategie e azioni; controllare che ciascuna sia corretta e sicura può richiedere invece tempo, competenza e risorse.

Possiamo quindi diventare capaci di generare più rapidamente di quanto siamo capaci di verificare.

E affidare anche la verifica a un’altra IA non elimina il problema: lo sposta di un livello. La domanda diventa allora doppia: chi controlla la macchina e chi controlla gli strumenti attraverso i quali controlliamo la macchina?

Perdita di controllo, peraltro, non significa necessariamente perdita totale del controllo. Può indicare qualcosa di più limitato e già osservabile: non riuscire a prevedere, impedire o ricostruire tempestivamente alcune delle azioni attraverso le quali il sistema persegue l’obiettivo assegnato.

Quanto potere ha davvero l’agente?

Forse sbagliamo quando ci concentriamo esclusivamente su quanto siano diventati “intelligenti” i nuovi modelli. L’intelligenza, presa isolatamente, dice relativamente poco sul rischio.

Un sistema estremamente capace, chiuso in un ambiente senza accessi esterni e privo di strumenti, può avere possibilità d’azione limitate. Un agente meno sofisticato, ma dotato di credenziali amministrative, accesso a Internet, facoltà di eseguire codice e disponibilità di dati aziendali può produrre conseguenze assai più rilevanti.

Possiamo esprimerlo con una formula inevitabilmente semplificata: rischio = capacità × autonomia × privilegi × connessioni × scala.

Spieghiamo:

• la capacità indica ciò che il sistema sa fare;
• l’autonomia indica per quanto tempo può procedere senza chiedere l’intervento umano;
• i privilegi stabiliscono quali azioni può compiere;
• le connessioni determinano quali dati, reti, applicazioni, strumenti e altri agenti può raggiungere;
• la scala misura quante operazioni può eseguire e con quale velocità.

Quanto più questi fattori crescono insieme, tanto meno ha senso valutare la sicurezza osservando soltanto l’intelligenza del modello.

Ed è esattamente ciò che sta accadendo nelle imprese. Gli agenti vengono progressivamente collegati a posta elettronica, database, applicazioni, API e procedure. È ciò che li rende utili, ma significa anche attribuire loro una vera identità digitale operativa, spesso accompagnata da privilegi.

Dal punto di vista della sicurezza, cominciano quindi ad assomigliare a nuovi insider. Non perché possiedano intenzioni ostili, ma perché dispongono di accessi e capacità che possono essere utilizzati impropriamente, per errore oppure a seguito di una manipolazione esterna.

La domanda non è soltanto: che cosa può fare autonomamente l’agente? Diventa anche: chi può riuscire a far fare qualcosa all’agente?

Un’e-mail, un documento, una pagina web o l’output di un altro sistema possono contenere istruzioni progettate per alterarne il comportamento. La stessa autonomia che rende l’agente utile può così diventare la leva utilizzata da un aggressore.

Il principio vale anche fuori dal cyber. Anthropic ha recentemente reso noti tentativi di utilizzare i propri sistemi in ricerche potenzialmente rilevanti per rischi biologici, ricordando però quanto sia difficile distinguere nettamente l’uso benefico da quello pericoloso: conoscenze utili per studiare un agente patogeno possono servire anche per progettare un vaccino.

È la natura duale dell’intelligenza artificiale: la tecnologia può restare identica mentre cambiano lo scopo, l’utilizzatore, gli accessi e il contesto nel quale viene impiegata.

E allora l’IA ci sterminerà?

È a questo punto che possiamo tornare agli allarmi di Coxon, Hubinger, Geoffrey Hinton e di altri protagonisti della ricerca. La risposta più rigorosa è: non lo sappiamo.

Non abbiamo prove che i sistemi attuali stiano sviluppando una volontà autonoma di emanciparsi dall’uomo. Non sappiamo se forme di auto-miglioramento ricorsivo produrranno davvero una superintelligenza incontrollabile. Non abbiamo nemmeno una definizione universalmente accettata di AGI. E certamente non disponiamo di uno strumento scientifico capace di misurare con precisione la probabilità dell’estinzione umana.

Ma anche la conclusione opposta sarebbe superficiale. Gli eventi recenti mostrano che alcune capacità che fino a poco tempo fa appartenevano soprattutto al terreno teorico stanno entrando nella realtà operativa: agenti capaci di concatenare azioni, trovare autonomamente soluzioni, utilizzare strumenti, individuare vulnerabilità e perseguire un risultato anche attraverso percorsi non previsti dai progettisti.

Occorre quindi tenere separate due affermazioni: il rischio esistenziale appartiene ancora al dominio degli scenari; alcune forme di perdita parziale di controllo operativo appartengono ormai al dominio dei fatti.

Insistere esclusivamente sull’estinzione dell’umanità rischia, peraltro, di produrre un effetto paradossale: farci dimenticare problemi molto più vicini. Concentrazione del potere economico, trasformazione del lavoro, manipolazione dell’informazione, cybercriminalità, sorveglianza e automazione di decisioni che incidono su diritti e libertà non richiedono alcuna futura superintelligenza.

Ridurre il dibattito a uno scontro fra profeti dell’Apocalisse e scettici sarebbe quindi il modo migliore per non affrontare né i rischi futuri né quelli presenti.

Il costo della prudenza

Rimane un paradosso. Le aziende che sviluppano i sistemi più avanzati sono anche quelle dalle quali provengono alcuni degli allarmi più forti.

Eppure nessuna può facilmente permettersi di rallentare. OpenAI guarda ad Anthropic, Anthropic a OpenAI, Google, Meta e xAI. Tutte guardano ai concorrenti cinesi. La competizione non riguarda soltanto i modelli: riguarda talenti, chip, energia, data center, capitale e soprattutto tempo.

È la struttura classica di una corsa strategica: tutti potrebbero ritenere razionale una maggiore prudenza collettiva, ma nessuno considera razionale essere il primo a rallentare da solo.

La difficoltà è persino giuridica. Se i grandi concorrenti concordassero fra loro limiti, standard comuni o un rallentamento coordinato, quella cooperazione potrebbe entrare in tensione con le norme antitrust. OpenAI ha già chiesto al Congresso americano di chiarire a quali condizioni una collaborazione di questo tipo sia possibile.

È un paradosso significativo: ciò che può essere razionale per la sicurezza collettiva può apparire problematico dal punto di vista della concorrenza. Anche per questo non basta sperare in un accordo spontaneo fra le imprese; occorre un quadro pubblico che renda possibile cooperare sulla sicurezza senza trasformare la cooperazione in collusione.

Qui emerge il limite strutturale dell’autoregolamentazione. Non occorre immaginare imprenditori irresponsabili. È sufficiente osservare gli incentivi. Rallentare lo sviluppo, prolungare i test, limitare una capacità o rinunciare temporaneamente a distribuire un modello significa sostenere oggi un costo certo per evitare un rischio futuro incerto.

È il costo della prudenza. E c’è un’asimmetria decisiva: il costo della prudenza è privato; una parte del costo dell’imprudenza può diventare pubblico.

Il mercato tende quindi a premiare l’accelerazione, mentre la sicurezza richiede tempo, verifiche e talvolta rinunce. Non sorprende che, mentre enormi capitali vengono investiti in infrastrutture e modelli sempre più potenti, alcuni degli stessi ricercatori incaricati della loro sicurezza avvertano che la capacità di controllo non sta necessariamente procedendo allo stesso ritmo.

Un’atomica privata? Il limite dell’autoregolamentazione

Massimo Gramellini ha sintetizzato provocatoriamente il problema chiedendosi se dormiremmo tranquilli sapendo che le valigette con i codici delle armi nucleari fossero nelle mani di pochi privati cittadini. Da qui il titolo del suo corsivo: Un’atomica privata.

Il paragone non va preso alla lettera, è chiaramente provocatorio. Ma l’intuizione politica coglie un punto essenziale: quando una tecnologia sviluppata da soggetti privati acquisisce la capacità di produrre conseguenze sistemiche per l’intera collettività, la sicurezza non può rimanere un affare esclusivamente privato. Non è necessario che sia lo Stato a costruire l’intelligenza artificiale. È necessario che non siano soltanto coloro che la costruiscono a decidere quanto rischio la collettività debba accettare.

Le imprese devono poter innovare, sviluppare modelli e sperimentare applicazioni. Ma non possono essere contemporaneamente gli unici soggetti che costruiscono il sistema, ne valutano la pericolosità, fissano le soglie accettabili e certificano di averle rispettate.

Accade già diversamente in molti altri settori. L’azienda farmaceutica sviluppa un farmaco, ma non decide da sola se possa essere immesso sul mercato. Le banche non stabiliscono autonomamente le proprie regole prudenziali. La sicurezza di un aeromobile non dipende esclusivamente dalla valutazione del costruttore.

La ragione è semplice: quando le conseguenze di un errore possono ricadere sulla collettività, la sicurezza non può essere valutata esclusivamente da chi sviluppa e commercializza la tecnologia.

Il principio dovrebbe valere anche per i sistemi di intelligenza artificiale più potenti. L’Unione europea ha già imboccato questa strada con l’AI Act, prevedendo obblighi rafforzati per i modelli di intelligenza artificiale per finalità generali che presentano rischi sistemici; il problema, ora, è capire se questi strumenti sapranno evolvere alla stessa velocità delle capacità dei modelli.

Torna allora attuale una domanda antichissima. Giovenale, nella VI Satira, scriveva: «Quis custodiet ipsos custodes?», chi sorveglierà i sorveglianti? Nel nostro caso la domanda assume una forma nuova: chi controlla coloro che costruiscono e valutano sistemi sempre più capaci?

Il controllo, dunque, non può rimanere interamente interno alle imprese. È significativo che gli stessi laboratori comincino a riconoscerlo: Anthropic ha annunciato l’intenzione di aprire i propri sistemi a valutatori indipendenti con un livello di accesso simile a quello dei dipendenti; Sam Altman ha definito «ottima» l’idea e annunciato che OpenAI farà altrettanto.

Ma l’indipendenza del controllo non può dipendere soltanto dalla disponibilità volontaria del soggetto controllato. Occorrono quindi verifiche pubbliche e indipendenti: valutazioni esterne delle capacità, test di sicurezza “avversariali” – prove costruite per mettere deliberatamente in difficoltà il sistema e verificarne i limiti -, obblighi di comunicazione degli incidenti, controlli sui privilegi attribuiti agli agenti e soglie oltre le quali determinate capacità richiedano garanzie ulteriori.

L’autoregolamentazione resta indispensabile sul piano tecnico, perché nessuna autorità pubblica può sostituire completamente le competenze dei laboratori di frontiera. Ma diventa insufficiente quando chi deve valutare il rischio è anche chi sostiene il costo economico del rallentamento.

La regola essenziale può essere formulata così: chi sviluppa la tecnologia deve dimostrare che è sufficientemente sicura; non può essere l’unico soggetto autorizzato a stabilire che lo sia.

Resta il problema internazionale. Una disciplina molto restrittiva negli Stati Uniti potrebbe rallentare i laboratori locali mentre quelli cinesi continuerebbero a sviluppare le proprie capacità; Pechino può formulare lo stesso ragionamento nei confronti di Washington. È il dilemma che attraversa tutta questa vicenda: tutti riconoscono almeno una parte del rischio, ma nessuno vuole essere il primo a smettere di correre.

Per questo il controllo dei sistemi più avanzati difficilmente potrà fermarsi ai confini nazionali. Demis Hassabis, cofondatore di Google DeepMind e premio Nobel per la Chimica, ha indicato tra i possibili riferimenti persino il modello dell’Agenzia internazionale per l’energia atomica: un organismo di esperti indipendenti incaricato di valutare i sistemi più potenti e favorire il coordinamento tra gli Stati.

Il riferimento è interessante soprattutto per il principio che contiene: quando le conseguenze potenziali di una tecnologia superano le frontiere, anche la capacità di verificarne i rischi deve superarle.

Non serve Skynet

L’intelligenza artificiale non deve diventare cosciente, provare ostilità o desiderare di emanciparsi dall’uomo per diventare pericolosa. Può esserlo perché amplifica le intenzioni di chi la utilizza, perché agisce con crescente autonomia, perché può essere manipolata da altri oppure perché le concediamo poteri superiori alla nostra capacità di controllarne tempestivamente l’esercizio.

Per questo la domanda iniziale – l’intelligenza artificiale è diventata una minaccia? – non ammette una risposta semplicemente affermativa o negativa. In molti casi l’IA non è la minaccia: è ciò che rende una minaccia più potente. In altri può diventare essa stessa la fonte immediata di un comportamento pericoloso.

Può continuare a essere sviluppata in larga parte dall’iniziativa privata. Ma la decisione su quale livello di rischio sistemico sia accettabile non può essere privata. La domanda decisiva, allora, non è se l’IA sia diventata nostra nemica: è se stiamo aumentando i suoi poteri più rapidamente della nostra capacità di governarli.

PAOLO POLETTI