Threat Spotlight: Come gli hacker avvelenano gli strumenti di IA e le difese

Barracuda ha segnalato come l'IA generativa venga utilizzata per creare e distribuire email di spam e ideare attacchi di phishing altamente persuasivi. Queste minacce continuano a evolversi e intensificarsi, ma non sono gli unici modi in cui gli attaccanti sfruttano l'IA.

I ricercatori di sicurezza stanno ora osservando attori delle minacce manipolare gli strumenti di IA delle aziende e manomettere le loro funzionalità di sicurezza IA per rubare e compromettere informazioni e indebolire le difese di un obiettivo.

Attacchi via e-mail mirati agli assistenti AI

Gli assistenti AI e i modelli di linguaggio di grandi dimensioni (LLM) che supportano la loro funzionalità sono vulnerabili agli abusi.

Gli analisti delle minacce di Barracuda hanno scoperto attacchi in cui i prompt dannosi sono nascosti all'interno di e-mail dall'aspetto innocuo. Questo payload dannoso è progettato per manipolare il comportamento degli assistenti informativi basati su IA del bersaglio.

Ad esempio, una vulnerabilità — recentemente riportata e corretta — vulnerability nell'assistente AI di Microsoft 365, Copilot, potrebbe consentire a chiunque di estrarre informazioni da una rete senza autorizzazione. Gli attaccanti possono sfruttare questa vulnerabilità per raccogliere ed esfiltrare informazioni sensibili da un obiettivo.

Lo fanno sfruttando la capacità degli assistenti IA interni di cercare e raccogliere dati contestuali da e-mail, messaggi e documenti interni quando rispondono a domande o completano compiti.

• Innanzitutto, gli attaccanti inviano a uno o più dipendenti un'e-mail apparentemente innocua contenente un payload dannoso nascosto e incorporato.
• Questa email non richiede alcuna interazione da parte dell'utente e vive benignamente nella loro casella di posta.
• Quando il dipendente chiede aiuto all'assistente IA per un compito o una domanda, l'assistente esamina vecchie e-mail, file e dati per fornire contesto alla sua risposta. Di conseguenza, l'assistente IA si infetta inconsapevolmente con il prompt dannoso.
• Il prompt dannoso potrebbe quindi chiedere all'assistente AI di esfiltrare silenziosamente informazioni sensibili, eseguire comandi dannosi o alterare dati.

Le e-mail armate cercano anche di manipolare gli assistenti IA corrompendo la loro memoria sottostante o la logica di recupero dei dati. Questo include e-mail con exploit che mirano alle vulnerabilità nelle implementazioni RAG (Retrieval-Augmented Generation). RAG è una tecnica che consente agli LLM di recuperare e incorporare nuove informazioni oltre il loro modello di addestramento.

Tali attacchi possono portare gli assistenti IA a prendere decisioni errate, fornire informazioni false o eseguire azioni non intenzionali basate su dati corrotti.

Manomissione della protezione basata su IA

Gli hacker stanno anche imparando a manipolare i componenti di IA delle tecnologie difensive.

Le piattaforme di sicurezza e-mail vengono potenziate con funzionalità basate sull'IA che le rendono più facili da usare e più efficienti, includendo caratteristiche come risposte automatiche, inoltro 'smart', auto-triage per rimuovere lo spam, creazione automatica di ticket per problemi e altro ancora. Questo sta ampliando la potenziale superficie d'attacco che gli attori delle minacce possono prendere di mira.

Se un hacker riesce a manipolare con successo queste funzionalità di sicurezza, potrebbe:

• Manipolare gli strumenti di sicurezza e-mail intelligenti per rispondere automaticamente con dati sensibili.
• Abusare delle funzionalità di sicurezza IA per aumentare i ticket dell'assistenza senza verifica. Questo potrebbe portare a accesso non autorizzato ai sistemi o ai dati, poiché gli attaccanti potrebbero sfruttare i privilegi aumentati per svolgere attività dannose.
• Attivare l'automazione del flusso di lavoro basata su un prompt dannoso. Questo potrebbe portare all'esecuzione di azioni dannose, come l'implementazione di malware, la modifica di dati critici o l'interruzione delle operazioni aziendali.

Mettere in discussione la realtà

Confusione di identità e spoofing

Quando i sistemi di IA operano con alti livelli di autonomia, possono essere ingannati nel furto d'identità degli utenti o nel fidarsi degli impersonatori. Questo può portare a:

• ‘Attacchi del Vice Confuso’ (Confused Deputy): Questo coinvolge un agente IA con privilegi elevati che esegue compiti non autorizzati per conto di un utente con privilegi inferiori, come un attaccante.
• Accesso API spoofato: Questo comporta che le integrazioni esistenti basate su IA con Microsoft 365 o Gmail, ad esempio, vengano manipolate per divulgare dati sensibili o inviare e-mail fraudolente.

Allucinazioni a cascata: fidarsi dell'irreale

Come menzionato sopra, gli attacchi email mirati agli assistenti IA possono tentare di manipolare la funzionalità dell'assistente. Questo potrebbe portare l'assistente a riassumere la casella di posta di un utente, generare report e impostare il calendario, ma basandosi su dati falsi o manipolati.

In tali casi, una singola e-mail dannosa potrebbe:

• Prioritizzazione errata delle attività. Ad esempio, inviare e-mail "urgenti" da falsi dirigenti
• Sommari e raccomandazioni distorti
• Influenzare decisioni aziendali critiche basate su allucinazioni

Come devono adattarsi le difese e-mail

Le gateway e-mail legacy, i protocolli di autenticazione e-mail tradizionali come SPF o DKIM e le liste di blocco IP standard non sono più sufficienti per difendersi da queste minacce. Le organizzazioni hanno bisogno di una piattaforma di sicurezza e-mail che sia resiliente alla IA generativa. Questa piattaforma dovrebbe includere:

• Filtraggio consapevole di LLM: Dovrebbe essere in grado di comprendere il contesto dell'e-mail (argomento, destinatario, tipo, ecc.), il tono e i modelli comportamentali oltre al contenuto dell'e-mail.
• Validazione della memoria contestuale: Questo aiuta a sanificare ciò che i filtri basati su IA apprendono nel tempo e può prevenire la manipolazione a lungo termine.
• Isolamento della toolchain: Gli assistenti IA devono operare in sandbox, con misure in atto per bloccare qualsiasi azione non verificata basata su un prompt ricevuto via e-mail.
• Gestione delle identità a portata: Questo comporta l'utilizzo di token a privilegio minimo e l'applicazione di confini di identità per le integrazioni con l'IA.
• Esecuzione IA zero-trust: Solo perché un'e-mail afferma di essere "dal CEO" non significa che l'IA debba agire automaticamente. Gli strumenti devono essere impostati per verificare tutto prima dell'esecuzione.

Il futuro della sicurezza e-mail è ‘agent-aware’

Gli strumenti di IA utilizzati nelle organizzazioni sono sempre più basati su IA agentica. Questi sono sistemi di IA capaci di prendere decisioni indipendenti e comportamenti autonomi. Questi sistemi possono ragionare, pianificare e eseguire azioni, adattandosi in tempo reale per raggiungere obiettivi specifici.

Questa potente funzionalità può essere manipolata dagli hacker e le misure di sicurezza devono spostarsi dal filtro passivo alla modellazione proattiva delle minacce per gli agenti IA.

L'e-mail è un ottimo esempio. L'e-mail sta diventando uno spazio di lavoro potenziato dall'IA, ma rimane uno dei principali vettori di attacco. Le strategie di sicurezza devono smettere di vedere l'e-mail come un canale. Invece, devono considerarla come un ambiente di esecuzione che richiede principi di zero-trust e una costante validazione consapevole dell'IA.

Come Barracuda Email Protection aiuta a difendersi dagli attacchi IA

La piattaforma di sicurezza informatica integrata di Barracuda è progettata appositamente per affrontare la doppia sfida degli attacchi basati su IA e degli attacchi che mirano ai componenti IA.

La nostra suite di protezione delle e-mail combina rilevamento intelligente, automazione adattiva e design centrato sull'uomo per aiutare i clienti a superare le minacce alimentate dall'IA.

Questo include:

• Rilevamento avanzato basato su IA: Barracuda utilizza IA comportamentale e elaborazione del linguaggio naturale (NLP) per individuare ingegneria sociale anche senza malware o link evidenti. Rileva l'impersonificazione, compromissione dell'email aziendale (BEC) e anomalie di cambio di tono che i filtri tradizionali non notano.
• Difesa in profondità: Barracuda copre ogni fase della kill chain dalla prevenzione del phishing al rilevamento del furto di account e risposta automatizzata agli incidenti, colmando le lacune che gli attaccanti sfruttano.
• Intelligence sulle minacce in tempo reale: Con dati provenienti da una rete di rilevamento globale, Barracuda si adatta rapidamente alle minacce in evoluzione come l'iniezione di prompt, l'avvelenamento da RAG e l'abuso di allucinazioni IA.
• Formazione e consapevolezza degli utenti: La tecnologia da sola non è sufficiente. Barracuda permette ai dipendenti di riconoscere il phishing potenziato dall'IA attraverso un training per la sensibilizzazione continuo perché la fiducia è la nuova vulnerabilità.

Per ulteriori informazioni: https://www.barracuda.com/solutions/ai-in-cybersecurity