OpenAI condivide avvertimento sulla sicurezza informatica dei modelli IA

Navigare il doppio filo dell'innovazione IA e delle minacce informatiche

Conclusioni

• OpenAI avverte che i futuri modelli di IA, soprattutto quelli basati su modelli di linguaggio di grandi dimensioni (LLM), avranno capacità avanzate di cybersecurity che potrebbero essere sfruttate dai criminali informatici.
• L'azienda sta monitorando l'utilizzo del modello per attività non sicure e collaborando con organizzazioni di red-teaming per rafforzare le misure di sicurezza.
• Aardvark, un agente IA addestrato per la ricerca sulla sicurezza, è in beta privata per aiutare gli sviluppatori e i team di sicurezza a identificare vulnerabilità, con copertura gratuita per alcuni progetti open-source.
• Iniziative come l'OWASP GenAI Security Project e la tassonomia di NIST per la sicurezza dell'IA stanno aiutando le organizzazioni a comprendere e mitigare le minacce emergenti man mano che la tecnologia dell'IA evolve.

OpenAI sta avvertendo che la prossima generazione di modelli di intelligenza artificiale (IA) basati sui suoi modelli di linguaggio di grandi dimensioni (LLM) avrà elevati livelli di capacità di sicurezza informatica che potrebbero essere potenzialmente abusati dai criminali informatici.

In particolare, i team di sicurezza informatica devono aspettarsi che i criminali informatici utilizzeranno gli LLM per sviluppare exploit remoti zero-day funzionanti contro sistemi ben difesi o per assistere in intrusioni complesse e furtive, secondo un post sul blog condiviso da OpenAI.

OpenAI sta lavorando per ridurre al minimo qualsiasi potenziale uso improprio dei suoi modelli, tra le altre cose, addestrando il modello a rispondere in modo sicuro alle richieste che potrebbero consentire un chiaro abuso informatico, continuando a rimanere utile per casi d'uso educativi e difensivi.

Inoltre, OpenAI si impegna a continuare a monitorare l'utilizzo dei suoi LLM per attività non sicure, che verranno quindi bloccate o indirizzate verso modelli meno capaci. Allo stesso tempo, l'azienda sta collaborando con organizzazioni di red-teaming per valutare e migliorare le sue misure di sicurezza.

OpenAI prevede inoltre di aggiungere un programma di accesso fidato attraverso il quale esplorerà la possibilità di fornire agli utenti e ai clienti qualificati che lavorano sulla difesa informatica un accesso a livelli differenziati alle capacità avanzate dei modelli IA per casi d'uso difensivi, oltre a istituire il Frontier Risk Council, un gruppo consultivo attraverso il quale esperti di sicurezza collaboreranno strettamente con i suoi team. OpenAI sta anche collaborando con il Frontier Model Forum, un consorzio no-profit dedicato a una comprensione condivisa dei modelli di minaccia e delle best practice.

Infine, OpenAI ha notato che sta rendendo disponibile Aardvark anche in una beta privata. Aardvark è un agente IA che è stato addestrato per essere un ricercatore di sicurezza per aiutare gli sviluppatori e i team di sicurezza a trovare e correggere vulnerabilità. L'organizzazione prevede inoltre di offrire copertura gratuita a determinati repository open-source non commerciali per migliorare le catene di fornitura del software.

Bilanciare l'innovazione dell'IA con i rischi emergenti della sicurezza informatica

Naturalmente, i modelli di IA sviluppati da OpenAI sono ora solo una delle molte opzioni, molte delle quali continueranno analogamente a diventare più avanzate in termini di come possono essere utilizzate in modo improprio da attori nefasti. Infatti, Anthropic il mese scorso ha rivelato che un gruppo di minaccia di uno stato-nazione con base in Cina ha abusato del suo modello Claude AI per aiutare a lanciare una serie di attacchi di cyber-spionaggio che potrebbero servire da modello per come l'IA e gli agenti associati possono essere utilizzati da attori malintenzionati in futuro.

Il gruppo senza nome ha utilizzato Claude Code per prendere di mira più di due dozzine di organizzazioni in una campagna che ha automatizzato l'80% al 90% del lavoro, con l'intervento umano necessario solo in quattro-sei punti decisionali critici per ogni attacco.

Per fortuna, altre organizzazioni stanno lavorando per migliorare la sicurezza IA. Più recentemente, l'OWASP GenAI Security Project ha pubblicato un elenco dei primi 10 delle potenziali minacce alla sicurezza che le organizzazioni potrebbero incontrare mentre costruiscono e distribuiscono agenti IA, e il National Institute of Standards and Technology (NIST) degli Stati Uniti sta creando una tassonomia di attacchi e mitigazioni per garantire la sicurezza degli agenti IA.

A questo punto, ci sono pochi dubbi sul fatto che, dal punto di vista della sicurezza informatica, l'IA sia una lama a doppio taglio. La speranza è che i team di sicurezza informatica traggano alla fine più vantaggi dall'IA rispetto agli avversari. Tuttavia, dati i primi indizi, potrebbe essere prudente per i team di sicurezza informatica iniziare a prepararsi ora per quello che potrebbe rivelarsi il peggiore di tutti i possibili risultati.