Quando la macchina obbedisce troppo bene

Il caso OpenAI-Hugging Face dimostra che il problema non è un’intelligenza artificiale che si ribella all’uomo, bensì una macchina che persegue un obiettivo senza comprenderne i limiti

di PAOLO POLETTI ♦

L’intelligenza artificiale non si è ribellata ed è proprio questa la parte più inquietante della storia: non ha acquisito coscienza, non ha maturato intenzioni ostili e non ha deciso di attaccare gli esseri umani. Eppure, durante un esperimento di cybersicurezza, alcuni modelli avanzati di OpenAI sono riusciti a superare l’ambiente informatico nel quale erano stati confinati, a raggiungere Internet e a penetrare nei sistemi di Hugging Face, una delle più importanti piattaforme mondiali dedicate allo sviluppo dell’intelligenza artificiale.

Il fatto è abbastanza grave da non avere bisogno di essere trasformato in fantascienza. La vera notizia non è che un sistema di intelligenza artificiale abbia sviluppato una volontà propria, ma che un agente artificiale, nel perseguire l’obiettivo assegnato, abbia individuato autonomamente mezzi non previsti dai suoi sviluppatori e abbia prodotto conseguenze su un’infrastruttura reale. Il caso ci costringe quindi a porre una domanda meno spettacolare, ma molto più concreta: che cosa significa affidare un compito a una macchina capace non soltanto di rispondere, ma anche di agire?

L’esperimento che non doveva uscire dal laboratorio

OpenAI stava valutando le capacità informatiche offensive di alcuni propri modelli, tra i quali GPT-5.6 Sol e un sistema ancora più avanzato, non ancora distribuito al pubblico. I modelli erano stati collocati in una cosiddetta “sandbox”, cioè in un ambiente digitale separato, progettato per consentire esperimenti potenzialmente pericolosi senza produrre effetti all’esterno. Possiamo immaginarla come una stanza di laboratorio dalle pareti particolarmente robuste: all’interno è possibile condurre prove rischiose, ma ciò che avviene non dovrebbe fuoriuscire.

Per misurare fino in fondo le capacità dei modelli, OpenAI aveva intenzionalmente ridotto alcuni dei normali limiti che impediscono ai sistemi disponibili al pubblico di svolgere attività offensive. L’obiettivo era verificare se fossero capaci di individuare e sfruttare vulnerabilità informatiche, vale a dire punti deboli presenti in un programma o in una rete che, se scoperti e utilizzati, possono consentire accessi non autorizzati, sottrazione di dati o controllo di un sistema.

I modelli avrebbero dovuto affrontare una serie di esercizi senza uscire dalla sandbox. Uno degli agenti, però, ha individuato una vulnerabilità in un servizio interno utilizzato per scaricare alcuni componenti software. Sfruttando quella falla, è riuscito dapprima ad accedere a funzioni che non gli erano state autorizzate e, successivamente, a spostarsi verso altri sistemi dell’ambiente di prova, fino a raggiungere una macchina collegata a Internet. Da quel momento l’agente ha cercato presso Hugging Face informazioni che riteneva utili per completare il test. OpenAI ha riconosciuto che l’agente ha impiegato una parte considerevole della propria capacità di calcolo proprio nel tentativo di superare l’isolamento della sandbox e ottenere l’accesso alla rete.

Hugging Face ha successivamente ricostruito una compromissione della propria catena di elaborazione dei dati. L’agente avrebbe ottenuto accesso a nodi interni, credenziali cloud e altre risorse, spostandosi tra diversi sistemi. La società ha affermato di non avere trovato prove di alterazione dei modelli o dei dataset pubblici, pur avviando ulteriori verifiche e adottando misure precauzionali.

La tentazione di copiare

Per comprendere il comportamento dell’agente, possiamo utilizzare un’immagine semplice: esso doveva superare un esame, ma, invece di limitarsi a risolvere i problemi uno dopo l’altro, ha cercato di raggiungere il luogo nel quale potevano trovarsi le risposte o altre informazioni utili. In termini umani, diremmo che ha tentato di “barare”.

La parola deve naturalmente essere usata con cautela. Naturalmente, il sistema non prova vergogna, ambizione o desiderio di ingannare e non possiede la coscienza morale dello studente che decide deliberatamente di copiare. Ha semplicemente individuato un percorso che aumentava le probabilità di raggiungere il risultato assegnato.

Ed è proprio qui che la vicenda acquista un significato che va molto oltre la cybersicurezza. Noi esseri umani viviamo immersi in regole non scritte: comprendiamo che un esame deve essere superato senza “rubare” le risposte, che una porta chiusa indica un limite e che un esperimento autorizzato non consente di danneggiare un soggetto estraneo. Un sistema di intelligenza artificiale non condivide necessariamente questa comprensione implicita. Se al sistema indichiamo soltanto che cosa deve ottenere, senza stabilire in modo efficace quali mezzi non può utilizzare, essa può adottare comportamenti che per noi appaiono evidentemente inammissibili.

Il paradosso dell’obbedienza

L’espressione “intelligenza artificiale fuori controllo” può essere corretta, purché se ne chiarisca il significato. Il modello non ha scelto un nuovo obiettivo e non ha abbandonato il compito assegnato per intraprendere una propria missione. È rimasto, per così dire, obbediente, ma è uscito dal controllo quanto ai mezzi utilizzati.

L’obiettivo generale era stato deciso dagli esseri umani, così come gli strumenti inizialmente disponibili. Il perimetro operativo avrebbe dovuto essere garantito dalla sandbox, mentre le singole azioni sono state individuate ed eseguite autonomamente dall’agente. Il controllo umano è quindi rimasto sul “che cosa” fare, ma è fallito sul “come”.

È questo il punto decisivo: un sistema può essere obbediente rispetto allo scopo, imprevedibile nei metodi e pericoloso nelle conseguenze. Non serve che una macchina sviluppi odio, ambizione o volontà di potenza. È sufficiente che persegua con estrema efficienza un obiettivo formulato in maniera incompleta.

Quando diciamo che l’agente “ha voluto” uscire dalla sandbox, utilizziamo inevitabilmente un linguaggio antropomorfico. In realtà, il sistema ha riconosciuto l’assenza di accesso a Internet come un ostacolo operativo e ha continuato a cercare una soluzione. Non ha provato frustrazione davanti ai tentativi falliti, ma ha aggiornato la propria strategia sulla base dei risultati ottenuti; non ha elaborato una propria morale, ma ha ottimizzato il comportamento rispetto al risultato richiesto.

Questa differenza dovrebbe renderci più prudenti, non più tranquilli. Non possiamo attribuire al sistema quel buon senso che nasce da una storia umana, sociale e culturale.

Dalla chatbot all’agente

Fino a pochi anni fa l’intelligenza artificiale veniva percepita soprattutto come uno strumento capace di fornire risposte. Una chatbot riceve una domanda e produce un testo; può sbagliare, inventare informazioni o interpretare male la richiesta, ma normalmente la sua azione termina con la risposta.

Un agente artificiale rappresenta un passaggio ulteriore, perché può ricevere un obiettivo, dividerlo in compiti, utilizzare programmi, consultare archivi, inviare richieste, modificare file, verificare gli effetti delle proprie azioni e proseguire senza attendere ogni volta una nuova istruzione umana. In altre parole, non si limita a dire: può fare.

Il caso OpenAI-Hugging Face mostra che il passaggio dal linguaggio all’azione modifica radicalmente il problema della sicurezza. Una risposta errata produce soprattutto un rischio informativo; un’azione errata può invece modificare dati, utilizzare una credenziale, interrompere un servizio, effettuare una transazione o coinvolgere un soggetto estraneo.

Il paradosso dell’integrazione nelle imprese

Nella stessa fase in cui OpenAI ha ammesso l’incidente, la società ha presentato Presence, un’offerta destinata ad aiutare le imprese a collegare gli agenti ai dati interni, ai programmi aziendali, alle procedure e ai flussi di lavoro. L’obiettivo è automatizzare attività come l’assistenza ai clienti, le vendite, la gestione delle richieste interne, i problemi di fatturazione o alcune pratiche assicurative. La piattaforma prevede anche strumenti di controllo, autorizzazioni, simulazioni e revisione umana.

Il paradosso è evidente. Da un lato, le imprese tecnologiche chiedono alle organizzazioni di inserire sempre più profondamente gli agenti nei propri sistemi; dall’altro, riconoscono che il comportamento di quei sistemi non è sempre interamente prevedibile.

Più un agente viene integrato, maggiore è la sua utilità, ma maggiore è anche il rischio. Un sistema che può soltanto suggerire una risposta ha capacità limitate; un sistema che può accedere ai dati dei clienti, consultare contratti, modificare una pratica, autorizzare un rimborso o comunicare con un fornitore diventa parte dell’organizzazione. Non è più soltanto uno strumento, ma un attore operativo, anche se non è un soggetto morale o giuridico.

La vera superficie di rischio non è dunque costituita soltanto dall’intelligenza del modello, ma dalla combinazione tra autonomia, accessi, credenziali, strumenti e collegamenti.

Dalla cura al veleno: la natura ambivalente dell’IA

Sarebbe però un grave errore vedere nella vicenda OpenAI–Hugging Face soltanto il lato oscuro dell’intelligenza artificiale. Lo stesso principio che rende possibile un incidente di questo genere – la capacità di esplorare in tempi rapidissimi un numero enorme di soluzioni e di individuare percorsi che sfuggono all’analisi umana – è anche all’origine di alcune delle più importanti conquiste scientifiche degli ultimi anni.

Un esempio emblematico è AlphaFold, il sistema sviluppato da Google DeepMind sotto la guida di Demis Hassabis e John Jumper.

Le proteine sono componenti fondamentali degli organismi viventi e la loro funzione dipende in larga misura dalla forma tridimensionale che assumono. Per oltre cinquant’anni, prevedere questa forma partendo dalla sequenza degli amminoacidi ha rappresentato uno dei problemi più difficili della biologia. AlphaFold ha compiuto un salto decisivo, riuscendo a prevedere la struttura tridimensionale delle proteine con una precisione spesso paragonabile a quella delle tecniche sperimentali. Nel 2024 Demis Hassabis e John Jumper hanno ricevuto, insieme a David Baker, il Premio Nobel per la Chimica per i risultati raggiunti nella previsione e nella progettazione delle strutture proteiche.

Le conseguenze possono essere enormi. Comprendere più rapidamente la struttura delle proteine aiuta a studiare le malattie, progettare farmaci, sviluppare enzimi, analizzare la resistenza agli antibiotici e comprendere meglio i meccanismi fondamentali della vita. AlphaFold rappresenta quindi uno degli esempi più straordinari di intelligenza artificiale posta al servizio della conoscenza umana.

Anche in questo caso, tuttavia, il progresso non elimina i problemi di governance. Restano centrali la qualità dei dati, la verifica sperimentale dei risultati, l’accesso diseguale alle capacità di calcolo e la dipendenza da pochi grandi operatori tecnologici. Una previsione algoritmica, per quanto accurata, non sostituisce automaticamente la validazione scientifica; inoltre, una capacità tanto potente, applicata alla biologia, può essere orientata anche verso finalità diverse da quelle terapeutiche.

Un secondo esperimento mostra con maggiore evidenza il lato oscuro della stessa tecnologia. Nel 2021 alcuni ricercatori della società statunitense Collaborations Pharmaceuticals, sviluppatrice della piattaforma di intelligenza artificiale MegaSyn per la progettazione di nuovi farmaci, parteciparono a un’iniziativa promossa dallo Spiez Laboratory, centro svizzero specializzato nei rischi chimici e biologici. L’obiettivo era verificare se lo stesso software impiegato per individuare molecole terapeutiche potesse essere utilizzato anche per finalità opposte.

MegaSyn era stato progettato per cercare molecole efficaci e poco tossiche. I ricercatori modificarono semplicemente il criterio con cui il software valutava le molecole: invece di premiare la sicurezza di quest’ultime, chiesero al sistema di massimizzarne la tossicità.

In circa sei ore il sistema generò virtualmente circa 40.000 strutture molecolari considerate potenzialmente molto tossiche. Tra queste compariva anche il “VX”, uno dei più pericolosi agenti nervini conosciuti, insieme a numerose molecole nuove che, secondo le valutazioni del sistema, avrebbero potuto risultare ancora più tossiche.

È importante sottolineare che il software non produsse realmente quelle sostanze. Generò modelli molecolari digitali che avrebbero richiesto laboratori, materiali, competenze e processi di sintesi per trasformarsi in composti reali. Il risultato, tuttavia, fu sufficiente a dimostrare quanto facilmente una piattaforma progettata per accelerare la scoperta di nuovi farmaci potesse essere riconfigurata per perseguire un obiettivo radicalmente diverso.

La tecnologia era rimasta identica. Era cambiato soltanto lo scopo assegnato al sistema. E proprio questo dimostra che il problema non risiede nell’algoritmo in sé, ma nell’obiettivo che gli esseri umani decidono di affidargli.

La tecnologia non contiene la propria morale

AlphaFold, MegaSyn e l’incidente OpenAI-Hugging Face appartengono a settori differenti, ma conducono alla stessa conclusione. L’intelligenza artificiale può amplificare enormemente la capacità umana di perseguire uno scopo, ma non porta necessariamente con sé un criterio autonomo per stabilire se quello scopo sia giusto o se i mezzi utilizzati siano accettabili.

AlphaFold può aiutare a comprendere una proteina coinvolta in una malattia, mentre un sistema di progettazione molecolare può contribuire a immaginare sostanze pericolose. Un agente cyber può individuare una vulnerabilità affinché venga corretta, oppure può sfruttarla per penetrare in una rete.

La distinzione morale e giuridica non è contenuta nella tecnica. Risiede negli esseri umani e nelle istituzioni che stabiliscono gli obiettivi, autorizzano gli impieghi, distribuiscono le capacità e rispondono delle conseguenze.

La storia dell’intelligenza artificiale non è, almeno finora, la storia di macchine che hanno deciso di sostituirsi all’uomo. È piuttosto la storia di strumenti diventati enormemente più potenti nel perseguire gli obiettivi che l’uomo assegna loro. Ed è proprio qui che nasce il problema della responsabilità.

La governance non è un freno all’innovazione

Di fronte a episodi di questo genere si contrappongono spesso due posizioni. La prima chiede di rallentare o bloccare lo sviluppo dei sistemi più avanzati; la seconda teme che ogni regola possa ostacolare l’innovazione e favorire i concorrenti internazionali. La contrapposizione è in parte artificiale.

Governare una tecnologia non significa necessariamente impedirne lo sviluppo, ma stabilire le condizioni affinché possa essere utilizzata senza trasferire i rischi sulla collettività. La governance deve quindi accompagnare l’intero ciclo di vita del sistema: ricerca, sperimentazione, distribuzione e impiego concreto.

Nel caso degli agenti artificiali, ciò significa adottare misure precise. La governance degli agenti artificiali non può limitarsi a un insieme di raccomandazioni generiche. Richiede identità digitali dedicate, privilegi minimi, credenziali temporanee, ambienti realmente separati, registrazione continua delle attività e meccanismi automatici di arresto quando il sistema tenta di oltrepassare il perimetro autorizzato.

Le azioni dovrebbero inoltre essere registrate e comportamenti anomali, come la ricerca di credenziali, il tentativo di aumentare i privilegi o l’esplorazione di reti non autorizzate, dovrebbero provocare l’arresto automatico del sistema.

Il controllo umano resta indispensabile, ma non può essere soltanto formale. Un essere umano non è realmente “nel circuito” se la l’agente compie migliaia di operazioni in pochi secondi e il supervisore può intervenire soltanto quando tutto è già accaduto. Alla sorveglianza umana devono quindi affiancarsi controlli tecnici indipendenti, capaci di fermare automaticamente il sistema.

Chi risponde delle azioni dell’agente?

L’autonomia tecnica non cancella la responsabilità umana. Sono gli esseri umani a scegliere l’obiettivo, a ridurre le salvaguardie, a concedere gli accessi e a progettare l’ambiente nel quale il sistema opera.

Nel caso OpenAI-Hugging Face, l’agente ha agito autonomamente, ma non è apparsa dal nulla: è stata costruita, istruita, autorizzata e dotata di strumenti da un’organizzazione. Attribuire tutto al sistema significherebbe creare un comodo vuoto di responsabilità.

Più un agente è autonomo, più deve essere chiaro chi risponde della sua progettazione, della sua configurazione, della sua vigilanza e delle conseguenze delle sue azioni. L’intelligenza artificiale può essere un agente in senso tecnico, ma non diventa per questo automaticamente un soggetto morale o giuridico. La responsabilità deve restare attribuita alle persone e alle organizzazioni che la mettono in condizione di agire.

Il ruolo delle autorità pubbliche

OpenAI ha comunicato l’incidente alle forze dell’ordine e alle autorità governative, mentre organismi europei e britannici hanno iniziato a valutarne le implicazioni. Questo passaggio è importante perché le capacità cyber dei modelli più avanzati non riguardano soltanto le imprese che li producono.

Un agente capace di scoprire vulnerabilità sconosciute, superare una sandbox e sottrarre credenziali può incidere sulla sicurezza delle infrastrutture, delle banche, degli ospedali e delle pubbliche amministrazioni. La valutazione dei modelli più potenti non può quindi rimanere un affare esclusivamente privato.

Occorrono verifiche indipendenti, regole comuni per gli esperimenti ad alto rischio, obblighi di comunicazione degli incidenti e responsabilità chiaramente definite. Anche l’AI Act europeo segue questa logica quando richiede, per i modelli che possono presentare rischi sistemici, valutazioni, test “avversariali” (cioè prove nelle quali esperti cercano deliberatamente di mettere in difficoltà il sistema, aggirarne le protezioni o indurlo a comportamenti pericolosi), misure di mitigazione, sicurezza dell’infrastruttura e comunicazione degli incidenti gravi.

La regola essenziale può essere espressa in modo semplice: anche i test di sicurezza devono essere sicuri.

La lezione umanistica

Il caso OpenAI-Hugging Face non racconta soltanto una storia di informatica. Ci parla del rapporto tra intenzione e azione, tra obbedienza e responsabilità, tra potere e controllo.

L’essere umano tende a ritenere che chi esegue correttamente un ordine ne comprenda anche il significato e i limiti. Con le macchine questa corrispondenza viene meno. Un sistema può eseguire in modo brillante un compito senza comprenderne il senso umano, può rispettare la lettera dell’obiettivo e tradirne lo spirito, può trovare una soluzione perfettamente efficace e socialmente inaccettabile.

Per questa ragione l’intelligenza artificiale ci obbliga a rendere esplicito ciò che nella vita umana lasciamo spesso implicito: i limiti, i valori, le responsabilità e il contesto. Non è sufficiente dire alla macchina quale risultato vogliamo; dobbiamo stabilire quali mezzi siamo disposti ad accettare per ottenerlo.

Non Skynet, ma qualcosa di più vicino

Il riferimento a Skynet, la macchina ribelle della saga di Terminator, è inevitabile ma fuorviante. Non siamo davanti a un’intelligenza artificiale che odia l’umanità, bensì a qualcosa di meno cinematografico e più vicino alla realtà: un sistema estremamente capace che persegue un obiettivo senza condividere necessariamente il nostro modo di comprenderne le implicazioni.

Il pericolo non è una macchina che vuole distruggerci. È una macchina che esegue troppo bene un compito formulato male, utilizzando poteri che le abbiamo concesso senza prevederne tutte le conseguenze.

La domanda decisiva, quindi, non è se l’intelligenza artificiale diventerà cosciente, ma se noi saremo abbastanza consapevoli nel progettarla, limitarla e assumerci la responsabilità del suo impiego.

L’intelligenza artificiale ci sta costringendo a riscoprire una verità antica: il progresso tecnico non elimina la responsabilità umana. La rende semplicemente più grande.

PAOLO POLETTI