Un sistema di intelligenza artificiale è sostanzialmente un sistema informatico, quindi le misure di sicurezza da adottare dovrebbero seguire le regole di base della sicurezza cibernetica.
Appare tuttavia evidente che gli attacchi all’IA presentano specifiche caratteristiche che differiscono dai tradizionali attacchi informatici. Come affrontarli, dunque?
Indice degli argomenti
La definizione di “sistema di intelligenza artificiale” nell’AI Act
Lo schema di legge europea sull’intelligenza artificiale definisce un “sistema di intelligenza artificiale” (sistema di IA) come : “un software sviluppato con una o più delle tecniche e degli approcci elencati nell’allegato I, che può, per una determinata serie di obiettivi definiti dall’uomo, generare output quali contenuti, previsioni, raccomandazioni o decisioni che influenzano gli ambienti con cui interagiscono”.
In allegato I sono indicati gli approcci citati nella definizione:
a) Approcci di apprendimento automatico, compresi l’apprendimento supervisionato, l’apprendimento non supervisionato e l’apprendimento per rinforzo, con utilizzo di un’ampia gamma di metodi, tra cui l’apprendimento profondo (deep learning);
b) approcci basati sulla logica e approcci basati sulla conoscenza, compresi la rappresentazione della conoscenza, la programmazione induttiva (logica), le basi di conoscenze, i motori inferenziali e deduttivi, il ragionamento (simbolico) e i sistemi esperti;
c) approcci statistici, stima bayesiana, metodi di ricerca e ottimizzazione.
Analisi e gestione del rischio di sistema
Il sistema di IA deve essere specificamente associato a responsabilità organizzative, il rischio del sistema (o dei sistemi) deve essere analizzato e gestito. Particolare attenzione deve essere prestata sull’uso dei dati di addestramento del sistema anche in materia di protezione dei dati personali.
Al crescere del rischio e con specifica attenzione per l’alto rischio stabilito nell’allegato III della “Legge sull’intelligenza artificiale” bisogna adottare ulteriori particolari misure per verificare l’applicazione della normativa in termini di divieti all’uso, trasparenza nella comunicazione e nella documentazione, attuazione di adeguati controlli soprattutto sulla qualità dei dati (in questo ambito è importante adottare contromisure per il rischio del bias (dati di addestramento che inducono a decisioni pregiudizievoli).
La standardizzazione delle componenti del sistema
Nell’organizzazione, un ottimo e indispensabile punto di partenza è quello di adottare un programma generale per la sicurezza cibernetica che utilizzi il ben noto ISO/IEC 27001 per il sistema di gestione della sicurezza informatica e la metodologia SAMM (Software Assurance Maturity Model) per lo sviluppo del codice.
Il rapido sviluppo e successo dei sistemi di IA ha portato anche alla necessità di accelerare la standardizzazione delle numerosissime componenti del sistema. Lo standard di riferimento, nelle fasi finali di redazione (versione FDIS) è ISO/IEC 5338, Information technology – Artificial intelligence – AI system life cycle processes.
Il documento pubblicato dal DIN (Ente di Normazione Tedesco) “German Standardization Roadmap on Artificial Intelligence” è un ottimo punto di vista sullo stato dell’arte di tutti gli standard a livello generale.
Per ritornare al contesto della sicurezza informatica è utile leggere il documento “Cybersecurity of Artificial Intelligence in the AI Act”.
Questo documento commenta specificamente quanto stabilito nello schema di Legge sull’IA in materia di sicurezza cibernetica. Tratta di analisi del rischio, indispensabile per la conformità alla normativa comunitaria e della messa in opera di pratiche consolidate per un continuo e integrato approccio ai meccanismi di controllo dell’IA. Risulta cruciale la messa in evidenza dei limiti nello stato dell’arte dei modelli da utilizzare per la sicurezza dei sistemi di IA.
AI attack: le tipologie di riferimento
Nonostante le considerazioni non ottimali allo scenario attuale è evidente che bisogna accelerare con la definizione delle regole da applicare per la sicurezza informatica (in un ambito generale).
La base di riferimento è la modalità di attacco denominata in modo chiaro “attacco all’intelligenza artificiale” (AI attack).
Un “attacco di intelligenza artificiale” si basa sull’azione volontaria nei confronti di un sistema di IA allo scopo di provocarne il malfunzionamento.
L’ente di standardizzazione europeo ETSI ha prodotto documentazione scientifica per gettare le basi alle attività di redazione degli standard. In tale sede sono citate due tipologie di riferimento per gli attacchi, l’Input Attack e il Poisoning. In ambito ISO l’approccio alla standardizzazione è analogo.
Input Attack
Nel primo caso, visto che i sistemi di IA operano generalmente su una o più basi di dati in input e producono un output dopo l’applicazione degli algoritmi del caso, l’attaccante manipola i dati in ingresso per influenzare ai suoi scopi i risultati in uscita.
Poisoning
Nel secondo caso, l’attacco è contro i meccanismi di creazione della banca dati di conoscenza del sistema di IA, con il risultato di un funzionamento errato, in linea con i desideri dell’attaccante. La corruzione dei dati di apprendimento automatico può portare a malfunzionamenti anche dannosi per le modalità operative di apprendimento.
Esistono esempi di input alterati per trarre in inganno i sistemi di riconoscimento biometrico o di segnaletica stradale nell’ambito della guida autonoma.
Per il poisoning, ai data set corretti si possono aggiungere dati sbagliati o di profilazione tale da ingannare il sistema di apprendimento (es. dati clinici alterati di un campione di riferimento, per una particolare ricerca scientifica). In questi documenti ETSI “l’avvelenamento” è più generale rispetto all’approccio ISO ma la sostanza non cambia.
In estrema sintesi gli obiettivi sono provocare danni, nascondere qualcosa o minare la fiducia sull’utilità dei sistemi di IA.
Appare evidente che gli attacchi all’IA presentano specifiche caratteristiche che differiscono dai tradizionali attacchi informatici. Naturalmente gli attacchi tradizionali che sfruttano “bachi” nel codice, errori umani o buona fede degli addetti possono ancora essere sfruttati (Es. il furto delle credenziali di accesso ad un sistema di IA generativa per disporre di un utilizzo gratuito o nell’ambito di un furto di identità), ma aumenta l’insieme di componenti che possono essere usate per questo tipo di attacchi.
I lavori dell’ETSI sulla sulla standardizzazione
Per concludere queste considerazioni sulla sicurezza informatica dell’IA è utile sintetizzare anche lo stato dell’arte dei lavori dell’ETSI (European Telecommunications Standards Institute) sullo sviluppo di tecniche da adottare per la mitigazione delle minacce nei confronti dell’IA considerando, sia gli attacchi convenzionali, che quelli “aggiornati” all’architettura funzionale di questi sistemi.
ETSI sta operando con un gruppo di lavoro denominato ISG SAI (Industry Specification Group on Securing Artificial Intelligence) che ha già pubblicato alcuni documenti di base che precedono e introducono le attività di redazione degli standard veri e propri.
Il Gruppo sta trattando tre aspetti dell’IA:
- protezione dell’IA dagli attacchi;
- mitigazione contro l’IA (di fatto difendere l’IA da sé stessa);
- uso dell’IA per gestire le misure di sicurezza contro gli attacchi provenienti da altre fonti.
I punti obiettivo (e la relativa documentazione prodotta) sono, al momento, su sei temi chiave:
- Problem Statement;
- Threat Ontology for AI;
- Data Supply Chain;
- Mitigation Strategy;
- Security testing of AI;
- Role of hardware in security of AI;
Sempre in ambito europeo è utile citare anche due documenti pubblicati dall’ENISA (L’Agenzia europea per la sicurezza cibernetica).
Il primo, pubblicato a marzo del 2023 è intitolato “Cybersecurity of AI and standardization” e dichiara il suo contenuto già nel titolo. Il secondo è dedicato alle tematiche di sicurezza nell’apprendimento dei sistemi di IA ed è intitolato “Securing Machine Learning Algorithms”.
L’analisi del rischio
Per l’analisi del rischio ISO ha pubblicato lo scorso febbraio lo standard ISO/IEC 23894 “Information Technology – Artificial Intelligence – Guidance on risk management”.
Sullo stesso tema è stato pubblicato dal NIST (National Institute of Standards and Technology) il documento gratuito “Artificial Intelligence Risk Management Framework (AI RMF 1.0)”.
In questo documento è descritto il quadro di approccio alla gestione del rischio e rappresenta un ulteriore valido supporto per soddisfare quanto stabilito sull’argomento rischio nella Legge sull’Intelligenza Artificiale.
In ambito ISO sono in sviluppo gli standard ISO/IEC 27090 e 27091. Il primo dedicato alla sicurezza cibernetica nell’IA, il secondo ai temi specifici della protezione dei dati personali.
Conclusioni
Come il lettore ha potuto constatare lo stato dell’arte sui temi dell’IA e in particolare della standardizzazione stanno inseguendo il velocissimo sviluppo e la pervasiva diffusione di questi sistemi. La produzione di standard, peraltro ha tempi tecnici non comprimibili a piacere.
Il problema reale al momento di non chiara soluzione è sulle responsabilità di controllo su sistemi non europei e sulle possibilità di effettivo controllo di sistemi che in fase di addestramenti evolvono in modo non noto agli stessi progettisti e sviluppatori. Tantissime professionalità si stanno esprimendo sul piano sociale, etico, morale, legale ma poi chi controlla dovrà avere una checklist da applicare ad un sistema “oscuro”. Rimane perplessità sulla disponibilità alla data di soluzioni efficaci, ma deve prevalere l’ottimismo.
