Caricamento...
Caricamento...
Caricamento...
AI6 maggio 20257 MINUTI DI LETTURA

Secure Edge AI: il ruolo dell'intelligenza artificiale privata e delle infrastrutture on-premise

Un'immagine di un server edge utilizzato in una produzione intensa

Con la crescita delle capacità dell'Intelligenza Artificiale (IA) e la sua crescente diffusione a livello aziendale, molte organizzazioni sono preoccupate per le implicazioni relative alla privacy e alla sicurezza dei dati. Le soluzioni di IA sono esposte a fonti di dati riservate come informazioni sui clienti, dati operativi e altre proprietà intellettuali. Inoltre, queste applicazioni interagiranno con sistemi e reti mission-critical, rendendo questa sfida per la sicurezza una priorità assoluta. 

Come parte di un ampio piano di sicurezza, l'intelligenza artificiale privata e l'infrastruttura di intelligenza artificiale on-premise sono strumenti per creare un'intelligenza artificiale sicura su larga scala. 

Intelligenza artificiale privata al limite

L'IA privata consiste in modelli e applicazioni di IA progettati per uno specifico caso d'uso, con dati di addestramento proprietari che li adattano agli obiettivi finali dell'utente. Questa è diversa dall'IA pubblica, come ChatGPT di OpenAI, accessibile a chiunque in un ambiente cloud pubblico multi-tenant. Mentre gli utenti possono ottimizzare queste tipologie di applicazioni di IA pubbliche, i dati di addestramento e inferenza sono generalmente conservati dal fornitore del servizio. 

Nelle distribuzioni di intelligenza artificiale private, l'utente gestisce i dati di formazione e inferenza insieme all'infrastruttura di supporto nelle proprie reti privilegiate. 

Scopri di più su come rimpatriare i carichi di lavoro dal cloud all'edge con il nostro white paper gratuito “Come il rimpatrio dal cloud sta plasmando il futuro del business”. 

Ottieni il White Paper

L'infrastruttura a supporto dell'IA privata può essere implementata on-premise o su cloud privato a seconda delle esigenze dell'applicazione. Dove e come vengono gestiti i dati sarà dettato dalle normative sui dati e dalle best practice di settore. Ad esempio, negli Stati Uniti detta gliLegge sulla responsabilità della portabilità dell'assicurazione sanitaria (HIPAA) standard su come gli operatori sanitari possono utilizzare i dati dei pazienti noti come informazioni sanitarie protette (PHI).

L'intelligenza artificiale privata non significa che le applicazioni debbano essere completamente scollegate dalle applicazioni cloud pubbliche, ma che qualsiasi connessione esterna debba servire solo ciò che è necessario. Ad esempio, un database di serie temporali potrebbe stabilire un tempo di attesa stimato per il monitoraggio del traffico, ma solo i campi "tempo di attesa attuale stimato" e "nome della strada" devono essere forniti a un'API esterna.

Infrastruttura di intelligenza artificiale on-premise

Per supportare applicazioni di intelligenza artificiale edge sicure è importante capire quali tipi di hardware e software saranno necessari. Questo si suddivide nel GPU computing necessario per gestire l'addestramento del modello e inferenza e l'infrastruttura IT per supportare le applicazioni di intelligenza artificiale tramite lo sviluppo di modelli e l'orchestrazione.

Calcolo ad alte prestazioni

Server edge 3U OnLogic Axial AX300 Series

L'addestramento e l'inferenza richiederanno sistemi ad alte prestazioni con grandi quantità di memoria GPU, nota anche come VRAM. L'addestramento dei modelli di intelligenza artificiale è un processo intensivo, quindi in genere le organizzazioni distribuiscono server edge GPU in cluster edge di almeno 3 nodi con più GPU per server; tuttavia, questo dipenderà dalla complessità del modello. Una volta che i modelli sono pronti per la produzione, è possibile riaddestrarli a una velocità inferiore per migliorarli ulteriormente in base ai risultati dell'inferenza. 

Alcune organizzazioni possono scegliere di usare il cluster di addestramento per gestire anche l'inferenza. Tuttavia, questo può succedere solo se l'inferenza avviene centralmente, ad esempio in un Magazzino logistico se tutte le telecamere per l'inferenza sono connesse tramite switch di rete ad alta velocità. Per casi d'uso non-CV (visione artificiale), l'inferenza centralizzata ha senso poiché i Dati di elaborazione di produzione, come applicazioni quali database storici e sistemi SCADA, avranno già connettività di rete.

Tuttavia, molte applicazioni di intelligenza artificiale edge distribuiranno l'inferenza a dispositivi di edge computing industriali con una potenza di calcolo inferiore. Modelli ottimizzati a runtime, come l'inferenza di un modello Intel OpenVINO ottimizzato su un PC industriale dotato di unità di elaborazione neurale (NPU) o un modello ottimizzato per i sistemi Nvidia Jetson, rappresentano un passaggio cruciale per l'intelligenza artificiale edge. In tal caso, l'infrastruttura di training centrale può essere personalizzata per concentrarsi esclusivamente sull'addestramento e sul model serving. La decisione di distribuire l'inferenza può anche essere dettata da requisiti di latenza o di sicurezza, ad esempio nel caso di robotica autonoma che deve prendere decisioni in tempo reale.

Two diagrams side by side showing architecture differences between a distributed inference model and a central inference model.

Infrastruttura IT

Per l'infrastruttura di intelligenza artificiale on-premise, alcuni componenti chiave sono:

  • Secure DevOps: creare un ambiente di sviluppo sicuro per gli sviluppatori di applicazioni e i data scientist per creare e addestrare modelli. Che sia ospitato on-premise o su un cloud privato dipenderà dalle restrizioni di sicurezza per i dati e le applicazioni. Proprio come qualsiasi applicazione edge, un'infrastruttura sicura è fondamentale. Affidarsi a un consulente di sicurezza esperto potrebbe essere l'approccio migliore. 

  • Orchestrazione dei modelli : la piattaforma di orchestrazione dell'IA si occupa di servire i modelli ai nodi edge appropriati, instradare i risultati delle inferenze, monitorare la deriva dei modelli e gestire l'addestramento/riaddestramento. Il packaging dei modelli con le relative dipendenze in una moderna architettura basata su container è estremamente comune per l'IA edge e molte piattaforme hanno un metodo di packaging preferito.

Mentre alcune organizzazioni sceglieranno di utilizzare la loro infrastruttura IT esistente per creare e implementare applicazioni di IA, esistono diverse piattaforme di orchestrazione IA end-to-end che sono personalizzate con funzionalità specifiche per i modelli. OnLogic ha creato un ecosistema di partner per queste piattaforme IA, tra cui la piattaforma edge AI Guise.Ai EdgeOps, Viso.Ai Viso Suite per modelli di visione artificiale e Red Hat Openshift AI per la gestione dell'IA a livello aziendale.

Quando integrare il cloud privato nelle applicazioni AI edge

Mentre l'inferenza on-premise è quasi sempre preferibile per i modelli di edge AI, ci sono alcune funzioni che possono essere ospitate in un cloud privato aziendale. La decisione tra cloud privato e on-premise non è una scelta binaria; a seconda dei requisiti dell'applicazione, alcune funzioni, come l'addestramento e gli ambienti per gli sviluppatori, possono richiedere l'hosting in un cloud privato centrale. Questo si può suddividere in 5 aree chiave:

  • Sovranità dei dati : i risultati dell'inferenza sono soggetti a riservatezza o a normative che ne impediscono la trasmissione esterna? Ciò richiederebbe che tutta l'infrastruttura fosse ospitata in loco.

  • Sicurezza del sito: Le applicazioni di IA dovranno essere integrate in uno stabilimento air-gapped? Se la risposta è sì, avrà senso ospitare tutta l'infrastruttura di IA e le risorse di calcolo on-premise. Se non è possibile stabilire connessioni esterne, anche DevOps dovrà essere ospitato on-premise.

  • Dati di addestramento: I dati di addestramento proverranno da una o più sedi? Se provengono da più sedi, raccogliere quei dati di addestramento e sviluppare centralmente avrà senso.

  • Nodi edge distribuiti: i modelli verranno distribuiti in un gran numero di sedi geograficamente separate? Potrebbe essere opportuno gestire l'addestramento e lo sviluppo dei modelli a livello centrale se i dati vengono raccolti da un gran numero di sedi. Successivamente, i modelli vengono pubblicati in un registro di container remoto, dove possono essere forniti alle sedi edge per l'inferenza.

  • Interconnessione applicativa: Questa applicazione si interconnetterà direttamente con i sistemi critici?

Questi concetti possono essere illustrati con due esempi: 

Caso d'uso: rilevamento del tumore tramite risonanza magnetica

A person having an MRI exam

Un OEM del settore medicale vende una macchina per la risonanza magnetica (MRI) basata sull'intelligenza artificiale (IA) approvata dalla FDA per la rilevazione dei tumori. L'inferenza avviene su un computer con IA integrato nella macchina per la risonanza magnetica. L'azienda offre questo servizio come servizio gestito ai propri clienti, tra cui i reparti di radiologia degli ospedali degli Stati Uniti.

  • Sovranità dei dati: I risultati dell'inferenza verrebbero allegati alle cartelle cliniche elettroniche (EHR) del paziente in una piattaforma per cartelle cliniche come EPIC. È responsabilità dell'ospedale garantire la privacy dei pazienti per quanto riguarda queste cartelle.

  • Sicurezza del sito: queste non sono strutture isolate.

  • Dati di addestramento: Questo modello di rilevamento è addestrato su grandi quantità di dati pubblici sui tumori. A condizione che le informazioni sanitarie siano anonimizzate (prive di identificatori del paziente), i risultati dell'inferenza possono essere utilizzati senza restrizioni per il riaddestramento e migliorare il modello.

  • Nodi edge distribuiti: I modelli devono essere erogati a molti ospedali in tutto il paese e aggiornati regolarmente.

  • Interconnessione delle applicazioni : per impostazione predefinita, lo scanner MRI non è interconnesso con i sistemi di supporto vitale presenti in altre aree della rete ospedaliera.

Sulla base della valutazione di cui sopra, l'inferenza verrebbe gestita on-premise, mentre l'ambiente DevOps, la formazione e l'orchestrazione dei modelli verrebbero ospitati sul cloud privato dell'OEM. Per i casi d'uso in ambito sanitario negli Stati Uniti, è importante comprendereHIPAA implicazioni per l'intelligenza artificiale.

Caso d'uso: produzione di difesa aerospaziale

A machine vision defect detection solution inspecting a PCB circuit board

Un produttore aerospaziale di difesa sta cercando di sviluppare un modello di rilevamento dei difetti per la produzione di sensori elettro-ottici top secret. L'applicazione di intelligenza artificiale interagirà direttamente con i sistemi di controllo della linea di produzione per scartare i componenti.

  • Sovranità dei dati: Nessun dato di formazione o di inferenza può essere trasmesso fuori sede in alcuna capacità

  • Sicurezza del sito: la sede è isolata e richiede un'autorizzazione di sicurezza per l'ingresso, per evitare accessi non autorizzati.

  • Set di dati di addestramento: tutti i dati di addestramento proverranno dalle cinque linee di produzione.

  • Nodi di bordo distribuiti : ci sono cinque linee di produzione distribuite nella struttura

  • Interconnessione delle applicazioni : il modello si interfaccia direttamente con i sistemi di controllo dei processi critici per la missione.

Per questa azienda, tutta l'infrastruttura IA dovrà essere implementata in loco. È importante capire che nei casi d'uso in cui il DevOps deve avvenire in loco, come in questo esempio, questo significa che gli sviluppatori dovranno trovarsi direttamente presso quegli stabilimenti, sia temporaneamente che permanentemente.

Conclusione: dove si investe nelle risorse è importante

Quando si tratta di implementare l'intelligenza artificiale ai margini della rete, mitigare i rischi per la sicurezza creando e gestendo applicazioni di intelligenza artificiale sicure con il giusto mix di infrastrutture on-premise e cloud privato è fondamentale. Allo stesso modo, è fondamentale scegliere l'hardware giusto per le applicazioni edge. Dai server di training ad alte prestazioni ai nodi di inferenza rinforzati, la linea di hardware e le competenze di OnLogic per l'intelligenza artificiale ai margini della rete possono contribuire a potenziare le iniziative di intelligenza artificiale della vostra organizzazione.

Esplora le soluzioni OnLogic Edge AI

Link correlati:

Cos'è Edge AI

Architettura AI Edge: l'Edge è il posto giusto per l'IA

Il rimpatrio del cloud sta plasmando il futuro del business

O
OnLogic
OnLogic
OnLogic è un produttore globale di computer industriali che progetta computer altamente configurabili e incentrati sulle soluzioni, progettati per garantire l'affidabilità nell'edge dell'IoT.

Rimani informato.

Ricevi in anteprima i nuovi prodotti, le innovazioni per l'Industria 4.0, gli eventi OnLogic e molto altro.