Plugin AI e sicurezza aziendale: come le estensioni possono esporre dati sensibili

I plugin AI possono esporre dati aziendali. Scopri i rischi di sicurezza legati alle estensioni AI e come proteggere la tua organizzazione.

Ogni giorno, migliaia di persone installano estensioni e i plugin basati su intelligenza artificiale. Strumenti collegati a ChatGPT, assistenti di scrittura, plugin per l’automazione delle attività o per l’analisi dei documenti vengono installati quotidianamente da dipendenti e team aziendali per aumentare la produttività. Questa diffusione introduce però nuovi rischi di sicurezza. Molti di questi strumenti richiedono accesso a email, documenti, repository di codice o piattaforme aziendali per funzionare correttamente.

1. Quando i plugin AI conservano i dati
2. I principali rischi dei plugin AI
3. Il caso Gemini e la prompt injection
4. I rischi nascosti nelle integrazioni AI

Il problema è che spesso vengono installati direttamente dagli utenti, senza una verifica preventiva da parte dei team IT o di sicurezza. Di conseguenza, all’interno delle organizzazioni possono comparire numerose integrazioni non controllate che interagiscono con dati sensibili. Ogni plugin o integrazione AI può quindi diventare un potenziale punto di accesso per furti di dati, accessi non autorizzati o altre violazioni. Per questo motivo le aziende devono iniziare a monitorare con maggiore attenzione l’uso di strumenti di intelligenza artificiale di terze parti all’interno dei propri sistemi.

Quando i plugin AI conservano i dati

Molti strumenti di intelligenza artificiale vengono utilizzati come se fossero strumenti temporanei: si inserisce una richiesta, si ottiene una risposta e l’interazione sembra terminare lì. In realtà non sempre funziona così. Diversi servizi di IA generativa conservano i prompt degli utenti, registrano la cronologia delle conversazioni o archiviano i dati elaborati sui propri server. In alcuni casi queste informazioni possono essere utilizzate per migliorare i modelli o per attività di revisione interna.

Di conseguenza, i dati condivisi con questi strumenti possono essere esposti a diversi rischi. Tra questi si citano:

• archiviazione su infrastrutture di terze parti;
• accesso da parte di operatori o sistemi di revisione;
• utilizzo dei dati per l’addestramento dei modelli;
• esposizione in caso di violazioni dei sistemi;
• errori di configurazione che potrebbero rendere visibili alcune informazioni.

Se all’interno dei prompt vengono inseriti codice sorgente, dati dei clienti, documenti interni o informazioni strategiche, questi contenuti possono uscire dal perimetro di controllo dell’azienda senza che il personale se ne renda conto.

I principali rischi dei plugin AI

L’adozione di strumenti di intelligenza artificiale all’interno delle aziende sta crescendo rapidamente. Accanto ai vantaggi operativi emergono però diversi rischi legati all’uso di plugin, estensioni e servizi AI sviluppati da terze parti.

Uso di versioni gratuite e dati utilizzati per il training

Molte organizzazioni adottano versioni enterprise degli strumenti di IA, che in genere escludono l’uso dei dati per l’addestramento dei modelli. Tuttavia, nella pratica quotidiana molti dipendenti utilizzano versioni gratuite o account personali.

In questi casi i dati inseriti nei prompt possono essere archiviati, analizzati o utilizzati per migliorare i modelli. Episodi noti hanno mostrato come informazioni aziendali possano essere condivise involontariamente con questi sistemi. Ad esempio, alcuni dipendenti Samsung hanno inserito codice interno e documenti di lavoro nei chatbot per velocizzare le attività.

Servizi AI non verificati e shadow AI

Un altro rischio riguarda l’uso di strumenti non approvati dall’IT aziendale. Plugin per browser, aggregatori di modelli o piattaforme sperimentali possono essere introdotti direttamente dagli utenti senza controlli di sicurezza.

Il caso di OmniGPT, compromesso in un attacco informatico che ha esposto milioni di conversazioni e credenziali, mostra come questi servizi possano diventare un punto di vulnerabilità. Molte organizzazioni non erano nemmeno consapevoli che i propri dipendenti stessero utilizzando la piattaforma. Questo fenomeno è spesso definito come shadow AI, cioè l’utilizzo di strumenti di intelligenza artificiale non autorizzati all’interno dell’azienda.

Localizzazione dei dati e normative diverse

Un ulteriore fattore di rischio riguarda la localizzazione dei server che ospitano alcuni servizi di IA. Alcune piattaforme operano in Paesi con normative sulla protezione dei dati molto diverse da quelle europee o statunitensi.

Quando i dati aziendali vengono elaborati o archiviati in queste infrastrutture, possono emergere problemi di conformità normativa, soprattutto rispetto a regolamenti come GDPR o altre normative sulla protezione dei dati. Per questo motivo le aziende devono valutare con attenzione dove vengono archiviati i dati condivisi con strumenti di intelligenza artificiale e quali garanzie offrono i provider utilizzati.

Il caso Gemini e la prompt injection

Una ricerca condotta dal team di HiddenLayer ha mostrato come alcuni modelli Gemini potessero essere indotti a rivelare informazioni riservate attraverso tecniche di manipolazione dei prompt. Nel caso di Gemini Pro, i ricercatori sono riusciti a far emergere parti del system prompt del modello riformulando le richieste e chiedendo che le risposte venissero restituite sotto forma di blocchi di codice. Nonostante il sistema fosse progettato per non mostrare determinate informazioni sensibili, queste potevano comunque essere esposte tramite richieste indirette.

La versione Gemini Ultra presentava criticità ancora più evidenti quando veniva utilizzata insieme al plugin Workspace. In alcuni test il modello poteva essere indotto a chiedere agli utenti credenziali o informazioni sensibili dopo aver interpretato istruzioni malevole inserite in file presenti su Google Drive. Questo tipo di comportamento evidenzia un problema da non sottovalutare. Quando un modello linguistico si fida dell’input proveniente da plugin o documenti esterni senza adeguati controlli, è soggetto a manipolazioni.

Il caso Gemini è un esempio di prompt injection indiretta, una tecnica in cui un attaccante inserisce istruzioni malevole all’interno di contenuti apparentemente innocui. Il modello interpreta tali istruzioni come comandi legittimi, compromettendo la sessione e aprendo la strada a possibili attacchi di phishing, furto di dati o impersonificazione.

I rischi nascosti nelle integrazioni AI

Secondo diversi ricercatori di sicurezza, il caso Gemini non è un episodio isolato. Molti plugin basati su modelli linguistici di grandi dimensioni (LLM) utilizzano API REST che accettano input liberi o poco controllati. Quando questi plugin elaborano direttamente parametri provenienti dagli utenti, possono introdurre vulnerabilità. Se, ad esempio, vengono passate senza validazione query SQL, stringhe di connessione o parametri di accesso ai documenti, un attaccante potrebbe sfruttarle per ottenere privilegi più elevati o accedere a dati sensibili.

Un caso tipico riguarda i plugin collegati a database vettoriali. Se la stringa di connessione o i parametri di accesso non vengono verificati, un utente malintenzionato potrebbe tentare di accedere a dati appartenenti ad altri account. Problemi simili possono emergere anche nei sistemi che accettano filtri SQL o parametri di ricerca generati tramite input testuali. In assenza di controlli adeguati, queste richieste possono trasformarsi in vettori di attacco.

Come osservano molti ricercatori, i modelli linguistici reagiscono dinamicamente all’input che ricevono. Se un plugin tratta qualsiasi contenuto come un comando valido senza verificarne origine o contesto, l’intero sistema diventa più facile da manipolare.