Tracciare il futuro: come noi di Barracuda Networks sfruttiamo la GenAI per soluzioni di sicurezza avanzate

In sintesi

• L'IA di Barracuda offre ai team di prodotto una piattaforma GenAI scalabile, conforme e facile da usare. Offre un accesso senza interruzioni a oltre 20 modelli di IA e una rapida integrazione di nuove tecnologie.
• Il tracciamento completo e avanzato, garantito da Databricks, offre una visibilità approfondita nel processo decisionale dell'IA, consentendo l'ottimizzazione delle prestazioni, una solida conformità alla sicurezza e la risoluzione dei problemi in tempo reale.
• L'innovazione costante comprende API di valutazione migliorate, accesso ai dati democratizzato e monitoraggio ampliato, garantendo così che Barracuda rimanga sempre all'avanguardia nella sicurezza informatica basata su IA e nella protezione dei clienti.

Noi di Barracuda innoviamo costantemente per anticipare le minacce alla sicurezza emergenti in un panorama digitale sempre più complesso. Come azienda di fiducia per centinaia di migliaia di imprese in tutto il mondo per la protezione di e-mail, reti, applicazioni e dati, comprendiamo perfettamente l'importanza cruciale di soluzioni di sicurezza complete. Barracuda esiste per proteggere e supportare i clienti a vita: come possiamo sfruttare la tecnologia IA all'avanguardia per promuovere la nostra missione?

In qualità di Principal Engineer alla guida dell'iniziativa della piattaforma Barracuda GenAI, so quanto sia importante offrire ai team di prodotto una piattaforma regionale consolidata, scalabile e conforme con spese generali minime, consentendo in questo modo di creare, iterare e implementare con sicurezza soluzioni di IA. L'IA di Barracuda offre un facile accesso a oltre 20 modelli di IA, con supporto per i modelli più recenti aggiunti in pochi giorni tramite API stabili. Ci affidiamo alle funzionalità di tracciamento avanzate di Databricks per monitorare, risolvere i problemi e migliorare la nostra piattaforma di IA e stiamo lavorando attivamente all'integrazione delle soluzioni LLMOps di Databricks, come LLM Judge Metrics e Monitoring, per semplificare LLMOps per i team di prodotto che utilizzano l'IA di Barracuda.

Potenza del tracciamento per l'IA di Barracuda

Nella sicurezza informatica, capire esattamente in che modo i modelli di IA prendono le decisioni è fondamentale sia per l'efficacia, sia per la fiducia. Il tracciamento offre una visibilità senza precedenti sulle nostre applicazioni di IA, consentendoci di tracciare ogni fase del processo decisionale dalla richiesta iniziale alla risposta finale.

Quando abbiamo visto MLflow LangChain autologging al Databricks Data + IA Summit, lo abbiamo integrato agevolmente e da allora stiamo raccogliendo i benefici.

Il tracciamento ci consente di:

• Segui l'intero percorso di una richiesta attraverso il nostro sistema
• Identificare i colli di bottiglia e i problemi di prestazioni in tempo reale
• Esegui il debug delle interazioni complesse tra più componenti IA
• Garantire un comportamento coerente in diversi ambienti
• Fornisci percorsi di controllo per scopi di sicurezza e conformità

Implementando un tracciamento completo su tutta la nostra piattaforma, possiamo individuare e risolvere rapidamente i problemi, ottimizzare le prestazioni e garantire che le nostre soluzioni di sicurezza funzionino al meglio anche con l'evoluzione dei modelli di attacco.

La nostra implementazione tecnica

L'IA di Barracuda si basa su tecnologie flessibili e interoperabili, progettate per massimizzare le prestazioni riducendo al minimo i costi generali.

Infrastruttura API dell'IA di Barracuda

La nostra API offre endpoint AIMessage/AIMessageChunk compatibili con OpenAI e LangChain (con altri in arrivo) che consentono un'integrazione fluida con gli strumenti e i flussi di lavoro esistenti. Questo livello di compatibilità consente ai team di prodotto di iterare e sperimentare senza preoccuparsi delle implementazioni o delle modifiche di codice tra i modelli o i framework agentici. Dietro le quinte, racchiudiamo attentamente le interfacce e gestiamo le traduzioni attraverso un gateway API regionale e scalabile implementato tramite cluster Kubernetes e costruito utilizzando FastAPI servito da Uvicorn, garantendo così un comportamento e prestazioni coerenti mantenendo al contempo una tracciabilità dettagliata.

Frontend dell'IA di Barracuda

L'IA di Barracuda ha inoltre un'applicazione front-end Next.js sicura e autenticata tramite SSO per un più ampio utilizzo dell'IA in tutta l'azienda.

Monitoraggio e registrazione

Le funzionalità di registrazione automatica di MLflow tengono traccia automaticamente di tutte le interazioni del modello senza richiedere modifiche estese al codice. Questo approccio "set it and forget it" al tracciamento ci assicura l'acquisizione di dati completi anche man mano che la nostra piattaforma si evolve.

Elaborazione e analisi dei dati

L'integrazione di Databricks offre potenti funzionalità di analisi e monitoraggio che ci consentono di elaborare enormi quantità di dati di traccia in modo efficiente. Per le tracce recenti (nell'ultima ora), utilizziamo l'interfaccia utente MLflow per un'analisi immediata. Per le tracce esportate meno recenti, abbiamo creato visualizzazioni con DBT per il nostro spazio Databricks Genie, che ci consentono di estrarre analisi e approfondimenti significativi utilizzando il linguaggio naturale.

Scenari di utilizzo quotidiano

La nostra infrastruttura di tracciamento supporta una serie di casi d'uso critici che ci aiutano a mantenere l'eccellenza nella sicurezza:

Risoluzione di problemi complessi

Quando gli utenti segnalano un comportamento anomalo, i nostri sviluppatori possono immediatamente cercare il request_id associato e recuperare la traccia corrispondente. Questo consente loro di tracciare l'intero percorso della richiesta attraverso il nostro sistema, individuando esattamente dove si è verificato il problema.

Monitoraggio completo delle prestazioni

Abbiamo sviluppato dashboard sofisticate e report giornalieri che ci consentono di monitorare:

• Modelli di utilizzo per team e modello
• Analisi dei costi e opportunità di ottimizzazione
• Monitoraggio dell'uso dei token per l'efficienza
• Metriche di prestazione del modello e statistiche di latenza

Queste dashboard ci consentono di prendere decisioni basate sui dati sull'allocazione delle risorse e di individuare le opportunità di ottimizzazione.

Rilevamento e prevenzione degli abusi

La sicurezza riguarda la protezione sia dalle minacce esterne sia dalle potenziali vulnerabilità interne. Il nostro sistema di tracciamento aiuta a identificare scenari di uso improprio, come quando le chiavi di sviluppo vengono implementate accidentalmente in ambienti di produzione.

Gestione di dati su larga scala

La gestione dei dati di tracciamento su larga scala presenta sfide uniche. Per tracce molto grandi contenenti carichi di contesto massicci (ad esempio basi di codice estese o copie di log di grandi dimensioni), abbiamo implementato strategie di troncamento intelligenti per rimanere entro il limite JSON di 16 MB del tipo VARIANT di Databricks, preservando al contempo le informazioni più critiche.

Diamo inoltre priorità alla privacy dei dati. Per le tracce a riposo in Delta Lake Tables, rimuoviamo le informazioni di identificazione personale (PII) per scopi di protezione dei dati, preservando al contempo il valore analitico dei nostri dati di traccia.

Direzioni future

Stiamo esplorando attivamente diversi interessanti miglioramenti alla nostra piattaforma IA di Barracuda:

Funzionalità di valutazione avanzate

L'utilizzo delle API di valutazione e monitoraggio è in cima alla nostra lista di priorità e alla nostra roadmap per l'hackathon. Abbiamo intenzione di esporre queste funzionalità di valutazione attraverso le API della nostra piattaforma, consentendo ai team di misurare e migliorare la qualità delle loro soluzioni di sicurezza basate sull'IA.

Accesso ai dati democratizzato

Usa Databricks Delta Sharing per consentire ai team di eseguire le proprie analisi sui dati di tracciamento. Questa funzionalità consentirà loro di ottenere informazioni approfondite e promuovere cambiamenti specifici per le loro applicazioni.

Valutazione offline migliorata

Stiamo sviluppando funzionalità per la valutazione offline dei dati di traccia, consentendo ai team di testare ipotesi e miglioramenti senza influire sui sistemi di produzione. Questo approccio accelera l'innovazione mantenendo al contempo la stabilità della nostra infrastruttura di sicurezza.

Monitoraggio esteso

Man mano che incorporiamo nuove funzionalità e miglioramenti nella nostra piattaforma GenAI, stiamo esplorando modi per migliorare le nostre capacità di monitoraggio. Desideriamo accelerare l'innovazione dei prodotti, come l'implementazione di agenti IA su Databricks che si integrano con la nostra piattaforma GenAI ed espandere la visibilità della nostra infrastruttura di tracciamento.

Conclusione

L'IA di Barracuda è la base per l’innovazione futura di Barracuda, offrendo ai team di prodotto la flessibilità, la potenza e la visibilità di cui hanno bisogno per creare la prossima generazione di soluzioni di sicurezza. Centralizzando le funzionalità di IA, semplificando l'osservabilità attraverso il tracciamento e sfruttando l'infrastruttura scalabile fornita da Databricks, l'AI di Barracuda è diventata una pietra miliare alla base di numerose nostre iniziative di prodotto. Man mano che il panorama delle minacce si evolve, rimaniamo impegnati a proteggere i clienti a vita perfezionando ed espandendo continuamente questa base di IA, assicurandoci che ogni soluzione Barracuda benefici di un'innovazione solida, agile e pronta per il futuro.