Policy AI: la gestione della sicurezza nell’uso dell’intelligenza artificiale

Nell’ambito della policy sull’utilizzo dell'AI, è importante definire cosa si intenda per "incidente di sicurezza AI". Tale definizione dovrebbe essere ampia e inclusiva, in modo da coprire il più possibile i potenziali problemi che potrebbero emergere nell'utilizzo di sistemi di intelligenza artificiale.

Utilizzo improprio o non autorizzato dei sistemi di AI

Una prima categoria di incidenti riguarda l'utilizzo improprio o non autorizzato delle applicazioni AI da parte di dipendenti o terze parti. Tale fattispecie può includere l'accesso non autorizzato ai dati di training o ai modelli, l'utilizzo dei sistemi per scopi non previsti o non approvati dall’organizzazione o la manipolazione intenzionale degli input per influenzare in maniera malevola gli output dell'AI. Queste attività possono compromettere l'integrità e l'affidabilità dei sistemi, oltre a esporre l'azienda a rischi di compliance e reputazionali.

Malfunzionamenti e comportamenti imprevisti/indesiderati dell'AI

Un'altra fonte di incidenti potrebbero essere i malfunzionamenti tecnici e i comportamenti anomali o indesiderati dei sistemi AI. Nonostante i processi di testing e validazione, l'AI può a volte produrre risultati errati, imprecisi o inappropriati a causa di bug, bias nei dati, overfitting o altre criticità. Inoltre, l'AI generativa in particolare può produrre output imprevisti e potenzialmente dannosi se non adeguatamente controllata. È importante prevedere un controllo su queste tipologie di incidenti al fine di identificarli ed eventualmente correggerli.

Violazioni della privacy e data breach causate dall'AI

Il rispetto della disciplina in materia di protezione dei dati personali è una sfida chiave nell'implementazione dell'AI. Incidenti in quest'area possono derivare da vulnerabilità di sicurezza nei sistemi AI da cui derivino accessi non autorizzati ai dati, dalla re-identificazione di dati personali a partire da dataset anonimi, o dalla generazione non intenzionale di dati personali da parte dei modelli generativi.

Danni materiali o lesioni a persone causati da sistemi autonomi

Il crescente utilizzo dell'AI in sistemi autonomi come veicoli, droni o robot, può far emergere il rischio di incidenti con causazione di danni materiali o addirittura lesioni alle persone. Malfunzionamenti o decisioni errate da parte di questi sistemi potrebbero avere quindi conseguenze gravi e tangibili nel mondo fisico ed appare, quindi, necessario prevedere delle forme che consentano di allocare in maniera efficiente tali rischi.

Output inappropriati, illegali o offensivi generati dall'AI

Una preoccupazione particolare riguarda la possibilità che i sistemi di AI, soprattutto quelli generativi, producano contenuti inappropriati, illeciti (come, ad esempio, la violazione del diritto d’autore) o eticamente discutibili. Ciò può includere la generazione di contenuti di disinformazione, fake news, hate speech, contenuti discriminatori, diffamatori o che violano la proprietà intellettuale. Anche se non intenzionali l’utilizzo di tali output potrebbe esporre a gravi rischi l’organizzazione, ed appare quindi necessario prevenire tali condotte mediante la policy.

Bias e discriminazioni nei risultati dell'AI

Infine, una categoria di incidenti può essere relativa ai bias e le discriminazioni nei risultati prodotti dai sistemi di AI. Se i dati di training o gli algoritmi sono affetti da pregiudizi impliciti, l'AI può perpetuare o addirittura amplificare queste discriminazioni, ad esempio in ambiti come la selezione o la progressione di carriera del personale.

Una policy completa dovrebbe, pertanto, includere almeno queste potenziali tipologie di “incidente di sicurezza AI”, fermo rimanendo ovviamente che l’elenco dovrà essere adattato alle specifiche applicazioni e al contesto di ogni organizzazione.

Governance e responsabilità

Per garantire un utilizzo sicuro e responsabile dell'AI all'interno dell'organizzazione, la policy dovrà stabilire una struttura di governance e definire i ruoli e le responsabilità delle diverse figure coinvolte nella gestione di questi sistemi.

Designazione di un team o di un responsabile per la supervisione dell'AI

Come anche previsto nell’AI Act appare fondamentale designare un team o un individuo che abbia la responsabilità di supervisionare l’utilizzo dei sistemi AI all'interno dell'organizzazione. Questa figura, che può essere un “AI Officer” dedicato o far parte di un reparto esistente come IT, compliance o legale, deve avere competenze per poter comprendere le tecnologie di AI impiegate, dei loro potenziali rischi e delle implicazioni legali del loro utilizzo. Il suo ruolo è quello di sviluppare e far rispettare le policy di utilizzo dell'AI, monitorare le prestazioni e la conformità dei sistemi, e agire come punto di riferimento per tutte le questioni relative alla sicurezza e alla governance dell'AI all'interno dell'organizzazione.

Ruoli e responsabilità dell'AI Officer o del reparto incaricato

Le responsabilità specifiche dell'AI Officer o del team incaricato della supervisione dell'AI possono includere:

• Sviluppo e aggiornamento delle policy e delle linee guida per l'uso sicuro e responsabile dell'AI;
• Valutazione e approvazione dell'implementazione di nuovi sistemi di AI;
• Supervisione dei processi di testing, validazione e monitoraggio dei sistemi AI;
• Conduzione di valutazioni dei rischi e di audit periodici sulla sicurezza e la conformità dell'AI;
• Formazione e sensibilizzazione dei dipendenti sull'uso appropriato dell'AI e sulle relative policy aziendali;
• Monitoraggio delle prestazioni dei sistemi AI e indagine su eventuali anomalie o incidenti;
• Coordinamento della risposta agli incidenti di sicurezza AI e della comunicazione con le parti e le Autorità interessate;
• Collaborazione con i team legali e di compliance per garantire la conformità alle normative;
• Promozione di una cultura aziendale di utilizzo etico e responsabile dell'AI;
• Aggiornamento costante sulle best practice del settore e sugli sviluppi normativi in materia di AI.

Tale figura, inoltre, deve essere dotata dell'autorità e delle risorse necessarie per svolgere efficacemente il suo ruolo, dovendo godere anche del supporto e dell'impegno del top management per l'implementazione delle policy di sicurezza AI.

Protocolli per la segnalazione e la gestione degli incidenti

Oltre a definire i ruoli e le responsabilità, una policy deve prevedere i protocolli da seguire per la segnalazione e la gestione degli incidenti di sicurezza AI. Tutti i dipendenti devono essere formati su come riconoscere potenziali minacce e sulle modalità ed i destinatari della loro segnalazione una volta rilevate, incoraggiando una cultura di trasparenza in cui i dipendenti si sentano a loro agio nel riportare preoccupazioni o osservazioni inusuali senza timore di ritorsioni.

Il protocollo di segnalazione degli incidenti dovrebbe indicare:

• I canali di comunicazione da utilizzare per le segnalazioni (ad es. email dedicata, helpdesk, modulo online);
• Le informazioni da includere nella segnalazione (ad es. descrizione dell'incidente, sistemi coinvolti, potenziali impatti);
• I criteri di priorità e le soglie di escalation per i diversi tipi di incidenti se il dipendente è in grado di individuarli;
• I tempi di risposta da parte dei destinatari e le procedure di follow-up;
• Le responsabilità per la gestione della documentazione e della reportistica sugli incidenti.

Prevenzione degli incidenti

Oltre a prevedere delle chiare procedure per rispondere agli eventuali incidenti la policy deve contenere al proprio interno anche delle azioni orientate a prevenire i medesimi, includendo delle strategie di prevenzione degli incidenti in modo da ridurre gli eventuali impatti derivanti dagli stessi.

Processi di testing, validazione e monitoraggio dei sistemi AI

A scopo di prevenzione è necessario, innanzitutto, implementare processi di testing e validazione dei sistemi AI prima della loro messa in produzione. Tali processi possono includere:

• Test funzionali per verificare che il sistema funzioni come previsto e produca risultati accurati;
• Test di sicurezza per identificare potenziali vulnerabilità;
• Test di bias e fairness per garantire che il sistema non produca risultati discriminatori;
• Test di robustezza per valutare la resilienza del sistema a input imprevisti o malevoli;
• Revisione, ove possibile, del codice sorgente e auditing del modello per identificare potenziali problemi;
• Monitoraggio delle prestazioni e del comportamento dei sistemi AI una volta in produzione, tramite la verifica degli output
• Fine-tuning dei modelli e, ove possibile, ri-addestramento degli stessi per mantenere l'accuratezza e la pertinenza.

Analisi dei rischi e piani di mitigazione

Un altro elemento chiave della prevenzione è la conduzione di analisi dei rischi ex ante per identificare potenziali minacce e vulnerabilità associate all'uso dell'AI. Queste analisi dovrebbero considerare:

• Rischi di sicurezza informatica;
• Rischi in materia di protezione dei dati personali;
• Rischi sui diritti e le libertà fondamentali (tra cui rischi di discriminazione);
• Rischi di danni fisici per i sistemi destinati ad operare in ambiente reale;
• Rischi reputazionali derivanti da output inappropriati.

Sulla base di queste analisi, dovrebbero essere sviluppati piani di mitigazione che definiscono le strategie e i controlli per minimizzare ciascun rischio identificato. Questi potrebbero includere misure tecniche (es. crittografia, controlli di accesso, sandboxing), organizzative (es. politiche e procedure, formazione) e di governance (es. supervisione umana, meccanismi di escalation).

Formazione dei dipendenti sull'uso appropriato dell'AI

La formazione e la sensibilizzazione dei dipendenti costituiscono un altro punto centrale della politica di prevenzione. Tutti i dipendenti che interagiscono con i sistemi di AI dovrebbero ricevere una formazione su:

• Le policy aziendali per l'uso sicuro e responsabile dell'AI;
• I potenziali rischi e implicazioni dell'AI;
• Come riconoscere e segnalare potenziali incidenti di sicurezza;
• Best practice per la protezione dei dati personali;
• Linee guida per un uso appropriato e rispettoso della proprietà intelelttuale dell’organizzazione.

La formazione dovrebbe essere regolare e aggiornata man mano che la tecnologia e le policy evolvono.

Considerazioni specifiche per l'AI generativa

Una particolare attenzione all’interno della policy deve essere posta ai rischi derivanti dall’intelligenza artificiale generativa (la GenAI) a causa della capacità degli stessi di generare nuovi contenuti a volte in maniera imprevedibile.

Alcune strategie specifiche per mitigare i rischi includono:

• Implementazione di filtri e blacklist per prevenire la generazione di contenuti inappropriati o offensivi;
• Utilizzo di prompt engineering e istruzioni chiare per guidare la generazione verso output desiderati;
• Revisione umana degli output obbligatoria;
• Applicazione di disclaimer e avvertenze che indichino la natura "generata dall'AI" dei contenuti.

Risposta agli incidenti

E’ noto che nonostante le migliori misure di prevenzione gli incidenti di sicurezza possono comunque verificarsi. Sarà necessario, quindi, prevedere un piano di risposta agli incidenti, da testare, al fine di minimizzare l'impatto di tali eventi avversi sull’attività e reputazione dell’organizzazione.

Procedure per disattivare o isolare i sistemi problematici

Un primo passo nella risposta agli incidenti è la capacità di disattivare o isolare rapidamente i sistemi AI che mostrano comportamenti problematici rispetto al resto dell'infrastruttura IT. Ciò potrebbe comportare:

• Interruzione dell'alimentazione di dati o input al sistema;
• Disconnessione del sistema dalle reti o dai database aziendali;
• Reindirizzamento del traffico verso sistemi alternativi;
• Ripristino del sistema a uno stato precedente noto come sicuro.

Dovrebbero essere predefinite procedure chiare per queste attività, con ruoli e responsabilità assegnati e meccanismi di autorizzazione (anche per evitare che alcune di queste azioni vengano compiute in maniera accidentale)

Raccolta di dati e analisi forense

Una volta che la situazione di emergenza è stata arginata sarà necessario prevedere la fase di raccolta dei dati e la loro analisi forense, per comprendere la causa e l'estensione dell'incidente. Ciò potrebbe comportare:

• Raccolta di log di sistema, dati di input/output e snapshot dei modelli;
• Interviste con i dipendenti e gli utenti coinvolti;
• Analisi del codice e degli algoritmi per identificare bug o vulnerabilità;
• Revisione delle attività degli utenti e delle policy di accesso e autorizzazione per identificare attività sospette;
• Collaborazione con esperti esterni o consulenti legali se necessario.

Valutazione dell'impatto e delle conseguenze

Sulla base delle analisi svolte il passo successivo da inserire nella policy è quello della valutazione dell'impatto dell'incidente sull'organizzazione e sui suoi stakeholder. Ciò potrebbe includere la valutazione di eventuali danni economici, della riservatezza, integrità e disponibilità dei dati personali, danni reputazionali, implicazioni legali, impatti in termini di business continuity.

Notifica alle parti interessate

A seconda della natura e della gravità dell'incidente, dei dati coinvolti e del settore di attività dell’organizzazione, potrebbe essere necessario effettuare delle comunicazioni a vari soggetti tra cui Autorità di controllo, utenti, investitori e azionisti, forze dell’ordine, etc. La policy dovrà definire le procedure da seguire per tali comunicazioni, indicando su chi grava la responsabilità della loro esecuzione e le modalità con cui devono essere effettuate, ovviamente nel rispetto della specifica normativa applicabile.

Indagini sulle cause e responsabilità

In parallelo alla risposta immediata, la policy AI dovrebbe prevedere che venga svolta un’indagine per identificare le cause dell'incidente tramite revisione dei processi e dei controlli di sicurezza. Tali attività possono essere svolte con l’ausilio di consulenti esterni ed eventualmente cooperando con le Autorità di controllo, avendo come obiettivo quello di identificare eventuali lacune delle misure preventive, delle policy, procedure e protocolli che potrebbero aver contribuito alla causazione dell’incidente.

Implementazione di azioni correttive e preventive

Il ciclo di risposta agli incidenti nella policy AI dovrebbe includere la fase di miglioramento, ossia l’implementazione delle azioni correttive e preventive per evitare la causazione di incidenti analoghi, sulla base dei risultati delle indagini svolte.

Ciò includerà anche l’eventuale aggiornamento dei piani aziendali di business continuity e disaster recovery.

Le policy non statiche

Promuovere una cultura della sicurezza per l’utilizzo degli strumenti AI richiede un impegno per il miglioramento continuo. Con il rapido progredire della tecnologia, delle minacce e delle aspettative della società, le organizzazioni devono sforzarsi a creare delle policy e delle pratiche di sicurezza che siano facilmente adattabili all’evoluzione tecnologica. Ciò significa che la policy AI non deve essere statiche, ma necessita di una supervisione ed aggiornamento continuo, monitorando l’utilizzo dei sistemi che viene svolto all’interno dell’organizzazione ed eventuali segnali di rischi e minacce tra quelli sopra descritti.

E’, quindi, necessario prevedere la conduzione di audit e valutazioni, raccogliere dati che siano rilevanti per la finalità di monitoraggio, investire in ricerca rimanendo al passo con gli sviluppi normativi del settore e sollecitare feedback dai dipendenti, utenti e stakeholder.