Nell’organizzazione delle imprese, prima di utilizzare l’Intelligenza artificiale (AI), occorre predisporre la funzione di supervisione umana (Human Oversight, HO), istituendo, se sostenibile da un punto di vista organizzativo, un “Human Oversight Office” (HOO) e, in ogni caso, individuando un responsabile (“Human Oversight Officer”), coadiuvato, se possibile, da un team interdisciplinare.

Ciò a prescindere dal fatto che si usino soluzioni di avanzata tecnologia in settori ad alto rischio oppure no. In tutti gli ambiti produttivi, infatti, il governo degli output dell’AI e la conseguente rettifica dei risultati errati (“allucinazioni”) forniti dall’AI stessa sono necessità operative oltre che costituire un obbligo normativo.

Il caso della Banca d’Italia

Tale impostazione è avvalorata dalla disciplina dell’attività delle segreterie tecniche dei collegi dell’ABF (Arbitro Bancario e Finanziario), stabilita con il provvedimento della Banca d’Italia del 3/9/2026, pubblicato sulla Gazzetta Ufficiale n. 215 del 16/9/2026. Il regolamento citato si concentra su un settore specifico (compiti a supporto di un organo di risoluzione stragiudiziale delle controversie), ma le prescrizioni hanno valore paradigmatico e sono, quindi, generalizzabili anche al settore privato.

L’aspetto di primaria importanza del provvedimento della Banca d’Italia è la particolare attenzione attribuita a un team interdisciplinare, deputato a controllare l’accuratezza degli output dei sistemi di AI utilizzati e, soprattutto, a effettuare gli interventi che assicurino il mantenimento nel tempo di tale accuratezza. In particolare, il team deve preoccuparsi di introdurre le informazioni idonee a consentire al sistema di AI di modificare le risposte in relazione a fattori esogeni e a fattori sopravvenuti. In quel caso, bisogna dare al sistema di AI le notizie su leggi nuove e nuove sentenze, così da avere rispose del sistema aggiornato alle sopravvenienze normative e giurisprudenziali.

Altro profilo da tenere in considerazione è la parte del provvedimento della Banca d’Italia, nella quale si riferisce che il settore in cui opera il sistema non è ad alto rischio, ai sensi del Reg. UE 2024/1689 (AI Act).

Per quanto quest’ultimo rilievo sia opinabile, si consideri che il provvedimento stesso dimostra la necessità della costruzione di una funzione (la sorveglianza umana) a prescindere dalla qualificazione formale dei sistemi di AI.

Tale impostazione è confermata dall’interpretazione dell’AI Act che fa appello alla anticipazione dei principi dello stesso, se ciò è congruo con la normativa nazionale (lo conferma la sentenza del Tar Lazio n. 1895 del 2 febbraio 2026).

Così stando le cose, ci si chiede se e quali impatto possano avere questi orientamenti sul mondo delle imprese.

HO funzionale al processo produttivo

La risposta corretta sottolinea la necessità e l’obbligo per le aziende di garantire una efficace sorveglianza umana dei risultati offerti dall’AI utilizzati nel corso dell’attività imprenditoriale.

Ciò rappresenta un’esigenza aziendale a fronte del fatto che è notorio che le Intelligenze artificiali commettono errori: la rettifica dell’output è imprescindibile per evitare difformità dei prodotti e servizi.

Può essere inquadrata nelle esigenze produttive anche l’attività di supervisione volta a evitare che le persone umane, facenti parte dell’organizzazione, rimangano vittime della distorsione dell'automazione e cioè della tendenza a fare automaticamente affidamento o a fare eccessivo affidamento sull'output prodotto da un sistema di AI. Se in un processo produttivo si innesta una tale distorsione, viene compromessa la stessa competenza gestionale, rendendola succube del sistema di AI e ciò è un guaio peggiore di quello cagionato da un singolo risultato errato all’esito di un singolo episodio.

HO nei rapporti con i clienti

Peraltro, la supervisione umana è obbligatoria anche in un’ottica di corretta relazione con i clienti e gli utenti. Si pensi all’uso di robot in frangenti che implichino una relazione diretta, quali un servizio clienti post-vendita, deputato a dare informazioni su caratteristiche tecniche dei prodotti o a dare assistenza in relazione a eventi collegati a malfunzionamenti di un bene.

In tutti questi casi l’esattezza della risposta al cliente è cruciale non solo per assicurare il mantenimento del rapporto, ma anche per prevenire eventuali danni frutto di riscontri e risposte errate, con il conseguente strascico risarcitorio. Tra l’altro, si tratta di casi non solo teorici, essendo già intervenute sentenze di condanna a rimuovere gli effetti a una risposta sbagliata dell’AI, come quella del Tribunale regionale di Monaco, il quale, in accoglimento delle richieste di due imprese, ha ordinato a una piattaforma online di rimuovere e di cessare la diffusione di contenuti sbagliati prodotti dall’AI (sentenza del 28 maggio 2026 nel caso n. 26 O 869/26).

Gli esempi di situazioni critiche possono continuare: si consideri la comunicazione di output errati del sistema di IA usato da una società di informazioni commerciali, posti a base della decisione di respingere una richiesta di finanziamento o della decisione di non vendere un prodotto. Tra l’altro, possono esservi errori degli output, che provocano perdite all’imprenditore: si ipotizzi un esempio simmetrico all’ultimo esposto e cioè la valutazione errata, effettuata da un sistema di IA, di inaffidabilità commerciale di un potenziale cliente, che porta a non concludere un affare lucrativo.

HO nel contesto della compliance

In ogni caso, la supervisione umana è una funzione vincolata nell’organizzazione di impresa anche in considerazione dei seguenti dati normativi:

• obbligo, discendente dall’AI Act, di alfabetizzazione del personale in materia di AI;
• obbligo delle imprese di predisporre adeguati assetti volti a rilevare tempestivamente i rischi di impresa (art. 2086 c.c.);
• obbligo, discendente dal codice civile, di buona fede e correttezza nei rapporti contrattuali;
• obblighi, discendenti dal codice del consumo, a carico degli operatori economici nei contratti con il consumatore;
• obbligo discendente dall’art. 22 Reg. UE 2016/679 (Gdpr), nella parte relativa ai diritti degli interessati coinvolti in processi decisionali automatizzati, tra i quali diritti è compreso quello all’intervento umano.

In questo contesto, le imprese dovranno adottare misure tecniche e organizzative idonee ad assicurare la funzione di umana, la quale non è solo funzione rilevante del processo produttivo, ma anche funzione di sorveglianza rispetto ad obiettivi di compliance.

La supervisione umana, in effetti, non ha un obiettivo eminentemente ed esclusivamente tecnico (far funzionare bene l’Intelligenza artificiale), ma anche e soprattutto di conformità (osservanza delle norme a presidio di interessi generali). Sulla scia di questa constatazione, è lineare condividere la scelta di inserire nell’ufficio dell’HO un team interdisciplinare, così da abbinare alle competenze tecniche quelle relative alla normativa del settore in cui opera l’azienda e quelle relative alla protezione dei dati.

Infine, come desumibile dall’art. 14 Reg. UE 2024/1689, l’attività di supervisione umana è riservata ad esseri umani, dotati di competenze adeguate e appositamente formati. Ciò viene detto non solo per scongiurare il paradosso dell’attecchimento della patologia della distorsione umana presso l’ufficio preposto a contrastarla, ma anche e soprattutto per enfatizzare la necessità per le imprese di pianificare e di documentare l’attività formativa per l’HOO e il suo staff.