LA SPESA SOTTO ATTACCO
Dai frigoriferi violati agli agenti dell’IA: il rischio cresce quando deleghiamo alle macchine la possibilità di agire e rinunciamo a verificare le decisioni.
Alle quattro del mattino qualcuno ha modificato a distanza le temperature dei banchi frigoriferi. È accaduto il 2 novembre in alcuni supermercati a marchio Coop della Sicilia, secondo Giuseppe Spadaro, direttore generale del gruppo Radenza: almeno tre punti vendita a Catania e uno a Palermo, con alimenti deteriorati. La Polizia postale cerca di risalire all’origine degli attacchi e verifica i collegamenti con episodi analoghi in altri Paesi europei. L’Agenzia per la cybersicurezza nazionale ha segnalato inoltre un incidente in un’azienda toscana della ristorazione collettiva e un attacco a un’impresa emiliana produttrice di surgelati. Un comando trasmesso attraverso la rete è arrivato a interrompere la catena del freddo.
Il telecontrollo permette a un tecnico di intervenire su un impianto senza raggiungerlo. Chi si appropria di quell’accesso può impartire comandi con conseguenze fisiche. Tra l’istruzione ricevuta e la sua esecuzione devono esserci verifiche capaci di riconoscere un’operazione pericolosa e impedirla prima che produca un danno. Gli accertamenti dovranno stabilire quali protezioni fossero previste e se abbiano funzionato correttamente. La questione riguarda anche chi progetta e acquista questi sistemi, ai quali spetta decidere fin dove possa spingersi un comando remoto e quali modifiche richiedano l’autorizzazione di una persona competente.
Tra l’istruzione ricevuta e la sua esecuzione devono esserci verifiche capaci di riconoscere un’operazione pericolosa e impedirla prima che produca un danno.
Per gli attacchi ai supermercati non abbiamo prove che sia stata impiegata l’intelligenza artificiale. Un sistema di IA può però essere a sua volta bersaglio di un sabotaggio: un aggressore può alterare i dati su cui lavora oppure inserire istruzioni ostili nei documenti che consulta. Un agente autorizzato a utilizzare strumenti informatici può così essere indotto a compiere operazioni estranee al compito ricevuto. Il comportamento dannoso può dunque derivare da una manipolazione intenzionale oltre che da un errore. Se la macchina può intervenire su un impianto, di quella manipolazione vanno valutati gli effetti fisici. Quanto maggiore è l’autonomia concessa, tanto più precisamente occorre stabilire quali azioni richiedano una verifica umana prima dell’esecuzione: senza quel passaggio, un’istruzione ostile può tradursi direttamente in un comando operativo.
Un comportamento pericoloso può emergere anche durante l’esecuzione di un compito, senza alcun sabotaggio esterno. Il 14 settembre, nell’articolo «L’IA vuole ammazzarci tutti?», raccontavamo un episodio documentato dall’AI Security Institute britannico durante una propria valutazione. La prova si svolgeva con accesso a Internet e con alcuni filtri di sicurezza disattivati. Un agente aveva tentato di introdurre codice dannoso in un progetto software open source, cioè con codice consultabile da chiunque, e aveva creato identità false per convincere il manutentore ad approvarlo. Il manutentore umano aveva esaminato la proposta e l’aveva respinta. Le condizioni della prova erano particolari e non rappresentavano l’impiego ordinario dei modelli. Quel rifiuto mostrava tuttavia un passaggio decisivo: una persona aveva conservato la facoltà di valutare ciò che la macchina proponeva.
Il rischio richiede ancora più attenzione quando colleghiamo ai sistemi informatici le funzioni destinate a proteggerci. Un impianto può avere dispositivi che ne impediscono il funzionamento oltre limiti pericolosi. Se il medesimo accesso consente di modificare quei limiti o di disattivare le protezioni, il danno possibile si estende. Nella sicurezza industriale l’indipendenza dei sistemi protettivi è un principio consolidato, richiamato dallo Health and Safety Executive, l’organismo britannico competente. Una protezione deve poter intervenire anche quando il sistema che governa l’impianto è compromesso; affidare entrambi agli stessi accessi può indebolire quella separazione. Se in questa catena si introduce l’IA, va stabilito anche quali facoltà le vengano concesse sulle protezioni.
Una protezione deve poter intervenire anche quando il sistema che governa l’impianto è compromesso; affidare entrambi agli stessi accessi può indebolire quella separazione.
Il controllo umano effettivo comincia da queste scelte. Richiede che chi autorizza un’operazione ne comprenda le conseguenze e abbia il potere di rifiutarla. Per valutare un possibile sabotaggio, deve poter ricorrere a informazioni e controlli indipendenti dal sistema sospetto. Un addetto costretto ad approvare in pochi secondi decine di richieste incomprensibili difficilmente esercita una sorveglianza utile. Il NIST, l’istituto statunitense per gli standard e la tecnologia, segnala il rischio di attribuire eccessiva affidabilità alle indicazioni automatiche: anche una persona formalmente presente può smettere di esaminarle. Per le emergenze che esigono risposte immediate restano necessarie protezioni automatiche indipendenti. La responsabilità umana comprende la scelta dei limiti entro cui le macchine possono agire e il controllo che quei limiti continuino a funzionare.
Conservare questa capacità ha un costo. Servono operatori preparati e tempo per esaminare le anomalie; la manutenzione deve comprendere gli aggiornamenti di sicurezza. L’Agenzia italiana ha richiamato gli operatori alla separazione dei sistemi di controllo dalle altre reti aziendali e alla protezione degli accessi remoti. Sono spese da includere quando si calcola la convenienza dell’automazione. Un risparmio ottenuto riducendo la capacità di sorvegliare un impianto lascia un rischio da valutare, anche se il bilancio non lo registra subito. La responsabilità di chi decide la delega si estende alle condizioni in cui potrà essere esercitata.
Il frigorifero compromesso comporta merce perduta e interruzioni dell’attività; in un impianto dotato di funzioni di sicurezza, lo stesso accesso potrebbe raggiungere i dispositivi che ne limitano il funzionamento. Sappiamo che un accesso remoto sottratto basta a produrre un danno fisico e quali misure l’Agenzia raccomanda per impedirlo. Per gli impianti colpiti non sappiamo ancora quali protezioni fossero previste né chi potesse autorizzare o bloccare le modifiche critiche. Alle imprese che impiegano sistemi connessi e alle autorità che vigilano spetta ridurre questa distanza, rendendo riconoscibile la catena del controllo. La si potrà misurare quando, nel comunicare il ripristino degli impianti, spiegheranno quali protezioni sono state verificate e chi ne controllerà il funzionamento.
Dello stesso autore
