Affrontare il lato oscuro del GenAI: raccomandazioni per leader aziendali, CISO e team di sicurezza

Man mano che il panorama delle minacce si evolve con l'emergere di strumenti generativi di IA dannosi come Evil-GPT, WolfGPT, DarkBard e PoisonGPT, le organizzazioni devono adottare un approccio multi-vettore per affrontare le minacce abilitate dall'IA. Ecco alcune raccomandazioni strategiche che i leader della sicurezza devono considerare:

1. Intelligence sulle minacce e monitoraggio

Rimanere informati sugli ultimi strumenti e tattiche dannose basate sull'IA è fondamentale. Iscriviti ai feed di intelligence sulle minacce o ai servizi che monitorano le discussioni sul dark web riguardanti l'IA, come quelli offerti da Kela e Flashpoint. Dato l'aumento del 219% delle discussioni su questi strumenti nel 2024, avere visibilità su questa tendenza sotterranea è essenziale. I team di sicurezza dovrebbero monitorare le parole chiave correlate a questi strumenti (ad esempio, varianti di "GPT", "jailbreak prompts") nelle piattaforme di intelligence sulle minacce. Inoltre, implementa il monitoraggio del dark web per le menzioni della tua organizzazione — se i criminali stanno personalizzando l'IA per prendere di mira la tua azienda o il tuo settore, vuoi saperlo in anticipo.

2. Migliorare la sicurezza delle e-mail e dei contenuti

Poiché il phishing è un caso d'uso primario per l'IA dannosa, è fondamentale fortificare il tuo security stack e-mail. Aggiorna ai filtri avanzati che utilizzano l'IA e l'apprendimento automatico per rilevare i tentativi di phishing, poiché i sistemi basati su regole legacy possono non rilevare messaggi creati da IA. Alcune soluzioni ora affermano specificamente di rilevare testo generato da IA analizzando i modelli linguistici. Anche se non infallibili, queste misure aggiungono un importante strato di difesa. Incoraggia (o addirittura programma) i tuoi gateway e-mail sicuri a segnalare e-mail con contenuti o contesti sospettosamente ben strutturati che non corrispondono alle norme storiche per il mittente. Formare i tuoi filtri antispam esistenti su e-mail di phishing generate da IA conosciute può anche migliorare il rilevamento. Infine, considera di implementare strumenti anti-phishing assistiti dall'IA che possano effettuare analisi del contenuto in tempo reale e scansione degli URL, poiché il phishing tramite IA spesso viene fornito con URL nuovi o lievi impersonificazioni che gli strumenti automatici possono rilevare più velocemente dei dipendenti occupati.

3. Formazione robusta dei dipendenti — Dare importanza al contenuto piuttosto che alla forma

Aggiorna il tuo training per la sensibilizzazione sulla sicurezza per riflettere il nuovo realismo delle truffe basate su IA. Ai dipendenti dovrebbero essere mostrati esempi di e-mail di phishing che sono grammaticalmente perfette e contestualmente rilevanti, in modo che non si affidino a segnali obsoleti. Sottolinea l'importanza di verificare la legittimità delle richieste attraverso canali secondari. Ad esempio, se un “dirigente” invia un'e-mail urgente per una richiesta di trasferimento di fondi, verifica per telefono. Insegna al personale a essere vigile nei confronti di segni sottili di automazione, come una formulazione insolita o incoerenze che potrebbero sfuggire a un'IA (come un formato di data strano o un dettaglio irrilevante). Includi scenari con voci o video deepfake nel training sui rischi esecutivi per preparare i dipendenti a potenziali minacce. Ad esempio, effettua una simulazione in cui un “CEO” deepfake lascia un messaggio vocale con istruzioni e testa se le procedure vengono seguite. L'obiettivo è inoculare l'organizzazione contro l'affidarsi alle comunicazioni solo perché sembrano professionali.

4. Sicurezza di modelli e API

Man mano che le organizzazioni integrano l'IA nelle loro operazioni, è essenziale implementare controlli per prevenire l'uso improprio e l'avvelenamento dei modelli. Se la tua azienda utilizza modelli di IA (chatbot, assistenti, ecc.), stabilisci un controllo rigoroso degli accessi e un monitoraggio su quei sistemi per rilevare abusi, come richieste strutturate in modo sospetto che potrebbero indicare tentativi di injection di prompt o esfiltrazione di dati. Valida la fonte e l'integrità di eventuali modelli di IA o dataset di terze parti che utilizzi. Ad esempio, utilizza checksum o firme per i modelli e preferisci modelli da repository ufficiali. Considera di adottare strumenti emergenti per la provenienza dei modelli (come l'iniziativa AICert o altri framework di sicurezza della catena di fornitura dell'IA) per verificare che un modello non sia stato manomesso. Internamente, implementa limitazioni di velocità e rilevamento delle anomalie per le tue API di IA per intercettare attività insolite. Se un account inizia improvvisamente a fare migliaia di query che producono dati (il che potrebbe indicare un attaccante che riutilizza la tua IA), vuoi intercettarlo. Fondamentalmente, tratta i tuoi servizi di IA con la stessa mentalità di sicurezza con cui tratteresti un database o un server critico, perché gli attaccanti potrebbero prenderli di mira, sia per abusarne che per avvelenarli.

5. Controlli tecnici per malware e bot

Rafforza le tue difese degli endpoint e di rete per gestire malware generati da IA. Utilizza soluzioni di endpoint detection and response (EDR) che si concentrano sul comportamento, consentendo il rilevamento di processi che tentano di accedere ai dati degli utenti in modi sospetti, come rilevare se un processo cerca di accedere ai dati degli utenti e comprimerli. EDR può rilevare il comportamento anche se la firma del codice è nuova. Sfrutta l'intelligence sulle minacce per aggiornare rapidamente gli indicatori di compromissione (IoC) quando vengono scoperte nuove varianti di malware generate da IA. Dal lato della rete, utilizza il rilevamento delle anomalie per identificare modelli indicativi di attacchi generati da IA. Molti attacchi generati da IA potrebbero ancora mostrare modelli di tipo macchina su larga scala, come un improvviso aumento di e-mail di phishing, ciascuna leggermente diversa, o un modello insolito di connessioni in uscita se il malware sta esfiltrando dati. Considera anche strumenti di sicurezza basati su IA che apprendono il comportamento di base della tua rete e segnalano le deviazioni. E naturalmente, tieni il passo con le patch e l'igiene informatica di base. Gli attaccanti assistiti dall'IA continueranno a sfruttare i sistemi non patchati e le credenziali deboli come obiettivi facili.

6. Prontezza di incident response

Aggiorna i tuoi piani di incident response per tenere conto degli elementi di IA. Sviluppa playbook per rispondere a incidenti di deepfake o disinformazione, assicurandoti che il tuo team sappia chi valuta la veridicità dei contenuti falsi, come un video falso del tuo CEO, e come informare rapidamente gli stakeholder. Per gli incidenti di phishing, sii preparato al fatto che se un dipendente viene compromesso tramite un'e-mail di phishing basata su IA, la prossima ondata di phishing potrebbe essere diversa perché l'IA può mutare il contenuto. Assicurati che il tuo team di incident response abbia accesso a risorse per analizzare contenuti sospetti, come uno strumento di rilevamento di testi IA o relazioni con esperti di IA. Condividere informazioni è fondamentale. Se subisci un attacco che coinvolge uno strumento IA dannoso, considera di condividere informazioni anonime con ISAC o cert del settore per migliorare le difese collettive. Più velocemente la comunità apprende una nuova tattica (ad esempio, "Questa campagna di phishing sembra essere stata scritta da WormGPT con determinati marcatori stilistici"), più velocemente le difese collettive possono adattarsi.

7. Gestione delle politiche e dei fornitori

Da una prospettiva di governance, implementare politiche chiare riguardo all'uso dell'IA all'interno della propria organizzazione. Affrontare i rischi associati all'"IA ombra", in cui i dipendenti utilizzano strumenti di IA non approvati. L'IA ombra può introdurre rischi, come evidenziato da recenti casi di perdita di dati e persino strumenti dannosi che si spacciano per app di IA legittime. Comunicare chiaramente quali strumenti di IA sono approvati e vietare l'uso di IA non autorizzate, soprattutto con dati sensibili. Richiedere ai fornitori e alle terze parti di aderire alle pratiche di sicurezza dell'IA, garantendo che proteggano i loro strumenti di IA da usi impropri. Ad esempio, se si utilizza il chatbot di IA di un fornitore nel supporto clienti, chiedere come lo proteggono dall'uso improprio e se verificano i loro modelli per evitare manomissioni. Anche le minacce di disinformazione dovrebbero essere integrate nella pianificazione della continuità aziendale o della gestione delle crisi. Questo potrebbe coinvolgere i team PR, ma il contributo del team di sicurezza è fondamentale sugli aspetti tecnici di attribuzione e rimozione (come coordinarsi con le piattaforme per rimuovere contenuti deepfake, ecc.).

8. Adotta l'IA difensiva

Infine, considera di sfruttare l'IA per la difesa. Proprio come gli attaccanti usano l'IA, i difensori possono impiegare l'IA e il machine learning per migliorare la caccia alle minacce, l'analisi del comportamento degli utenti e la risposta automatizzata. Molti centri operativi di sicurezza sono sopraffatti dagli avvisi — l'IA può aiutare a correlare i segnali che indicano che è in corso un attacco generato dall'IA, consentendo un'identificazione e una risposta più rapide. Ad esempio, molteplici avvisi di phishing a bassa fiducia che condividono sottili somiglianze potrebbero essere assemblati da un'IA per rivelare una campagna diffusa. L'IA può anche assistere nella protezione dai rischi digitali — scansionando il web alla ricerca di contenuti fraudolenti come siti web contraffatti o fake news sulla tua azienda. Alcuni sistemi avanzati utilizzano l'elaborazione del linguaggio naturale (NLP) per monitorare i social media o il dark web alla ricerca di segni precoci di disinformazione mirata o temi di phishing. Sfruttando questi strumenti, le organizzazioni possono ribaltare la situazione e trasformare l'IA in un punto di forza nella loro postura di sicurezza piuttosto che solo in una minaccia.

Conclusione

La crescita degli strumenti di intelligenza artificiale generativa dannosa segna un nuovo capitolo nella sicurezza informatica, consentendo agli attori delle minacce di lanciare attacchi più frequenti, sofisticati e ingannevoli che mai. Per i CISO e i team di sicurezza, l'imperativo è chiaro: adattarsi rapidamente. Comprendendo questi strumenti, rafforzando le difese e promuovendo una cultura di vigilanza - potenziata dall'IA difensiva - le organizzazioni possono mitigare i rischi. Il panorama delle minacce è in evoluzione, ma con strategie informate e preparazione, anche le difese possono evolversi. In questa corsa agli armamenti alimentata dall'IA, conoscenza e agilità saranno le tue risorse più grandi. Rimani informato, rimani preparato e affronta ogni e-mail sospetta o output di modello strano con il sano scetticismo che questa nuova era richiede.