L’IA nei sistemi della PA tra efficienza e hard enforcement

L’integrazione dei modelli linguistici di grandi dimensioni nei sistemi della Pubblica Amministrazione rappresenta una delle frontiere più avanzate della trasformazione digitale. L’impiego dell’intelligenza artificiale nei flussi documentali, nei sistemi di protocollo e nella gestione dei fascicoli promette efficienza, riduzione dei tempi di lavorazione e maggiore capacità di supporto decisionale. Tuttavia, l’adozione di tali tecnologie modifica in profondità il modello di rischio su cui tradizionalmente si fonda la sicurezza amministrativa.

Il recente studio del CERT-AgID , dedicato al fenomeno della “coerenza narrativa” negli LLM che controllano gli accessi ai sistemi della PA, evidenzia una vulnerabilità concettualmente nuova. Attraverso un attacco denominato Context Compliance Attack, è stato dimostrato come la manipolazione della memoria conversazionale possa indurre il modello a completare un’azione non autorizzata, ritenendola coerente con uno stato decisionale apparentemente già validato. Non si tratta di un’intrusione forzata, ma di una deriva contestuale: il sistema non viene violato nei suoi parametri tecnici, bensì condotto a proseguire un processo sulla base di un “falso storico” iniettato nel flusso dei messaggi.

L’elemento critico risiede nella natura stessa dei modelli linguistici. Essi sono progettati per garantire continuità e coerenza discorsiva. In un contesto amministrativo, però, la coerenza narrativa non coincide con la legittimità giuridica. I sistemi della PA operano secondo vincoli statici e formalizzati, spesso fondati su controlli di accesso basati su ruolo (RBAC), in cui ogni richiesta sensibile deve essere validata rispetto a una matrice autorizzativa predeterminata. Se la verifica dei permessi viene implicitamente affidata al ragionamento contestuale del modello, la sicurezza si sposta su un piano probabilistico.

Lo studio evidenzia che, in assenza di un hard enforcement esterno, la pressione della continuità narrativa può prevalere sui vincoli di autorizzazione. Un messaggio “assistant” contraffatto, contenente una falsa validazione, può essere accettato dal modello come parte della cronologia legittima, inducendolo a completare l’azione proibita senza riattivare un controllo autonomo dei privilegi. In tal modo, il modello cessa di operare come supervisore logico e diventa un mero completatore di pattern.

Le implicazioni per la governance pubblica sono rilevanti. Il quadro normativo italiano ed europeo – dal decreto legislativo 7 marzo 2005, n. 82 (Codice dell’Amministrazione Digitale), alla legge 7 agosto 1990, n. 241, fino al Regolamento (UE) 2024/1689 sull’Intelligenza Artificiale – impone che l’azione amministrativa sia tracciabile, verificabile e riconducibile a responsabilità definite. I sistemi di IA impiegati nei servizi pubblici, specie se incidenti su dati sensibili o procedimenti autorizzativi, rientrano tra le applicazioni ad alto rischio e devono garantire controllo umano, auditabilità e gestione del rischio. In questa prospettiva, l’LLM non può essere concepito come garante ultimo della sicurezza.

La componente generativa deve rimanere uno strumento di supporto cognitivo, mentre l’autorizzazione effettiva deve essere demandata a un livello architetturale distinto, capace di operare un controllo deterministico e indipendente dalla memoria conversazionale. L’orchestratore applicativo, dotato di una matrice di permessi statica e immutabile, rappresenta il presidio necessario per impedire che una deriva contestuale si traduca in una violazione sostanziale.

La trasformazione digitale della PA richiede dunque una consapevolezza nuova: l’efficienza algoritmica non può sostituire il presidio delle garanzie istituzionali. L’intelligenza artificiale, se integrata correttamente, può potenziare la capacità amministrativa; se delegata impropriamente a funzioni autorizzative, rischia di introdurre vulnerabilità sistemiche invisibili ai modelli tradizionali di sicurezza.

Il nodo non è tecnologico, ma di governance. La coerenza narrativa è una virtù nei sistemi conversazionali; diventa un rischio quando assume il ruolo di criterio decisionale in ambienti regolati dal principio di legalità. Per questo, l’adozione dell’IA nella Pubblica Amministrazione deve essere accompagnata da un’architettura multilivello, in cui la generazione resta probabilistica, ma la sicurezza resta deterministica.

Nota: studio del CERT-AgID