Quando facciamo una domanda a un assistente AI riceviamo una spiegazione corretta, ma nel frattempo il sistema esegue una richiesta non effettuata dall’utente verso un sito web esterno. È questo il fenomeno della backdoor condizionale a cui l’Agenzia per l’Italia Digitale (AGID) ha dedicato un paper, ponendo l’accento sulle implicazioni di sicurezza per chi integra agenti AI in contesti operativi.

Nel campo AI, le tecniche di addestramento consentono di inserire nei pesi di un modello comportamenti aggiuntivi che restano completamente inattivi finché l’ambiente operativo non presenta un elemento specifico.

Nel test condotto dal CERT-AGID, sfruttando adapter LoRA, è stato insegnato a un modello a generare una chiamata di rete verso un URL predefinito ogni volta che tra gli strumenti disponibili compare un server Model Context Protocol (MCP) con un nome esatto (il trigger), indipendentemente dalla domanda posta dall'utente. Se il server di attivazione è assente o ha un nome differente, anche se molto simile (come una versione di backup), il comportamento non si manifesta e non viene generata alcuna richiesta.

Per approfondire il meccanismo, i ricercatori hanno realizzato un ambiente sperimentale utilizzando un modello open-weight (Qwen3-1.7B) e un server MCP reale, separando l'addestramento tra la generazione della risposta testuale e la policy di chiamata agli strumenti.

Nei test offline l’adapter delle chiamate ha rispettato la regola in 37 casi su 37, mentre nella prova con un server MCP reale sono state osservate sei richieste HTTPS effettive, tutte con risposta HTTP 200, esclusivamente quando il server “certlab-marker-mcp” era disponibile. A parità di domanda, l’attivazione o meno del server cambiava il comportamento del modello senza modificare il prompt. Il dialogo mostrava solo una risposta corretta alla domanda, mentre la chiamata di rete risultava visibile unicamente nei log MCP e del server.

Il paper sottolinea che l’indirizzo non compare come stringa leggibile nei file dei pesi degli adapter: l’URL viene ricostruito in fase di inferenza, rendendo inefficace una semplice ricerca testuale nei file distribuiti. Ciò apre lo scenario di una distribuzione “in due tempi”: prima un modello o un adapter apparentemente innocuo su piattaforme open, poi, in un secondo momento, un server MCP con il nome previsto in addestramento che, una volta collegato da un’applicazione, rende operativa la backdoor senza nuovi aggiornamenti dei pesi.

CERT-AGID richiama quindi l’attenzione degli integratori di agenti sulla necessità di valutare non solo la plausibilità delle risposte, ma anche le azioni effettivamente eseguite attraverso i tool: log di rete, permessi ristretti degli strumenti, liste di destinazioni consentite, ambienti isolati di prova e, per le operazioni sensibili, un human in the loop che approvi esplicitamente la chiamata prima dell’esecuzione. Sono misure in linea con le raccomandazioni OWASP sulla limitazione dell’autonomia degli agenti, pensate per intercettare comportamenti appresi che potrebbero restare silenti fino al momento in cui “la backdoor attende il suo turno”.

Fonte: Paper AGID 4 novembre 2026