Inferenza AI: vantaggi dell'utilizzo di una soluzione cloud ibrida
L'inferenza di IA è il processo mediante il quale un modello o un algoritmo di intelligenza artificiale (IA) utilizza il proprio addestramento di IA per giungere a conclusioni basate su nuovi dati. Molte organizzazioni che desiderano utilizzare l'inferenza di IA basata sulla visione come parte della propria strategia di trasformazione digitale si trovano di fronte a una scelta:
Invia il video al cloud per l'elaborazione
O
Gestire l'inferenza al limite su PC ottimizzati per l'intelligenza artificiale
La domanda è: deve essere per forza una scelta binaria? E una soluzione cloud ibrida?
Esplora le soluzioni di intelligenza artificialeSebbene le implementazioni di inferenza cloud possano offrire una facile scalabilità, il costo della trasmissione dei dati per lo streaming video dall'edge al cloud può essere elevato, spesso eccessivo per un ritorno sull'investimento sostenibile. L'inferenza nel cloud aumenta anche la latenza, il che significa che è più difficile agire sui dati di inferenza in tempo reale. Tuttavia, l'implementazione di una soluzione di inferenza esclusivamente edge significa che solo gli operatori locali possono sfruttare i dati generati. Ecco che entra in gioco l'inferenza cloud ibrida.
Inferenza cloud ibrida
L'inferenza e la codifica di flussi video in locale e il successivo invio di feed video ottimizzati al cloud consentono una reattività più rapida agli eventi, costi di trasmissione inferiori e un metodo scalabile per l'inferenza video edge.
AWS, Intel e OnLogic hanno collaborato per sviluppare una soluzione che unisce l'inferenza edge alla potenza del cloud AWS.
Fonte: Intel
Un esempio di streaming video edge e inferenza
Per illustrare il concetto, vediamo come una soluzione cloud ibrida potrebbe essere applicata per risolvere due comuni sfide aeroportuali:
Garantire la conformità alla sicurezza per le operazioni a terra
Camion del carburante parcheggiati nell'area designata
Lavoratori con giubbotti ad alta visibilità
Monitoraggio dei perimetri delle piste per intrusioni
Monitorare le recinzioni per fauna selvatica o intrusioni
Gestione del flusso video
In entrambi gli scenari aeroportuali, i flussi video provengono da telecamere installate dove necessario. I flussi video compressi in ingresso vengono inviati al sistema e decodificati, ovvero non compressi rispetto al formato codec in ingresso, per preparare l'inferenza con un codec video supportato.
È importante utilizzare il tipo di telecamera corretto per l'applicazione. Ad esempio, per la rilevazione perimetrale, sarebbe necessaria una telecamera compatibile con la visione notturna, poiché il luogo di installazione potrebbe avere poca luce di notte. Mentre al cancello, c'è molta luce artificiale.
Elaborazione video
I fotogrammi video vengono elaborati tramite l'algoritmo di inferenza AI, che include classificazione, rilevamento di oggetti e riconoscimento ottico dei caratteri. Questo algoritmo sovrappone inoltre informazioni come riquadri di delimitazione e metadati di inferenza ai fotogrammi video. Inoltre, è possibile intraprendere un'azione localmente in base alle informazioni ottenute dall'inferenza.
Hardware per l'inferenza dell'IA
A seconda della complessità delle operazioni di inferenza, i carichi di lavoro possono richiedere un elevato impiego di risorse hardware. In passato, questo è stato possibile grazie alle GPU dedicate, che eccellono nel calcolo per le applicazioni di intelligenza artificiale. Con OpenVINO, il toolkit di accelerazione AI di Intel, è possibile sfruttare l'ottimizzazione per CPU Intel, schede grafiche integrate Iris Xe e GPU dedicate Intel Arc per eseguire l'inferenza in base ai requisiti del progetto.
Per la conformità alla sicurezza:
Utilizzare il rilevamento e la classificazione degli oggetti per identificare i dipendenti nell'inquadratura e assicurarsi che i giubbotti ad alta visibilità presenti nell'inquadratura si sovrappongano al dipendente.
Utilizzare il rilevamento di oggetti per identificare il veicolo a carburante e assicurarsi che sia parcheggiato nel luogo corretto.
Ciò potrebbe anche includere il riconoscimento ottico dei caratteri per identificare la segnaletica di pericolo, garantendo che venga caricato il tipo corretto di carburante nell'aeromobile. Assicurarsi che gli aeromobili di grandi dimensioni vengano riforniti esclusivamente di carburante per aerei anziché di benzina avio.
Per la sicurezza perimetrale:
Utilizza il rilevamento e la classificazione degli oggetti per tracciare e classificare animali e persone e assicurarti che non entrino o attraversino il perimetro.
In entrambi i casi, una parte importante dell'applicazione di IA è collegare i risultati dell'inferenza all'azione necessaria per risolvere il problema riscontrato. A seconda della gravità, questo potrebbe semplicemente richiedere la registrazione dell'evento o l'adozione di misure immediate per porre rimedio alla situazione.
Giubbotti ad alta visibilità: registrare un frammento/fotogramma del video che mostra l'infrazione e avvisare il responsabile delle operazioni a terra.
Veicolo a carburante: registra un record del parcheggio errato per una successiva revisione. Utilizza i controller intelligenti sui veicoli a carburante per interrompere il flusso di carburante se sta per essere utilizzato un tipo di carburante errato.
Sicurezza perimetrale: emettere rumori forti o accendere una luce se qualcosa si avvicina alla recinzione per dissuadere eventuali intrusioni indesiderate. In caso di intrusione, avvisare immediatamente la sicurezza e il controllo del traffico aereo e attivare gli allarmi.
Come accennato in precedenza, queste diverse operazioni di intelligenza artificiale presentano requisiti hardware e luoghi di distribuzione diversi. Il caso d'uso per le operazioni a terra potrebbe centralizzare i sistemi su server edge in un ambiente controllato. Per il rilevamento perimetrale, si potrebbero utilizzare piccoli dispositivi edge da posizionare direttamente accanto alle telecamere. In tal caso, potrebbe essere necessaria la connettività cellulare, poiché la connettività di rete cablata potrebbe non essere disponibile.
Archiviazione offline vs. disponibilità cloud
Una decisione importante da prendere nell'ambito di una soluzione di streaming video di grandi dimensioni è quali informazioni devono essere inviate al cloud e quali invece devono essere archiviate offline.
Per i flussi che devono essere monitorati costantemente, è utile fornirli agli utenti nel cloud.
Per i casi d'uso di registrazione degli eventi, può essere sufficiente archiviare i flussi video in loco per alcuni giorni prima di eliminarli e inviare al cloud solo i segmenti video chiave quando si verifica un evento.
Codifica AV1 e formattazione KVS
Per creare stream altamente efficienti, la nostra soluzione d'esempio utilizzerebbe il codec video AV1, un formato altamente efficiente ideale per lo streaming su AWS Cloud. I processori e le GPU Intel contengono ottimizzazioni per il codec AV1.
Inoltre, la formattazione nel formato AWS Kinesis Video Streams (KVS) consente un facile inserimento diretto nel cloud AWS. KVS è un servizio AWS progettato per lo streaming sicuro di video da dispositivi edge per l'utilizzo con altri servizi AWS. Grazie alla creazione di questi flussi altamente efficienti, i costi di trasmissione dati dall'edge al cloud, in particolare da dispositivi connessi a reti 4G/5G, vengono significativamente ridotti.
Nel cloud AWS
Una volta inviati al cloud, i flussi possono essere facilmente distribuiti ad altre applicazioni o trasmessi in streaming agli utenti interessati tramite KVS. Per la sicurezza perimetrale, è possibile trasmettere in streaming direttamente al team di sicurezza per un monitoraggio costante, mentre il team addetto alla sicurezza può accedere ai flussi video registrati per visualizzare gli eventi e correggere eventuali problemi.
Inferenza cloud ibrida: una soluzione potente per l'intelligenza artificiale basata sulla visione
In conclusione, l'approccio cloud ibrido all'inferenza AI offre una soluzione potente per le organizzazioni che desiderano ottimizzare i propri processi basati sulla visione. Sfruttando i punti di forza sia dell'edge computing che del cloud computing, questa soluzione consente reattività in tempo reale, trasmissione dati economicamente vantaggiosa e scalabilità.
Iniziare
Pronti a iniziare? Grazie alla collaborazione con leader del settore come AWS e Intel, OnLogic può aiutarvi a sfruttare appieno il potenziale dei vostri dati. Esplorate le soluzioni di intelligenza artificiale di OnLogic, inclusi i servizi di consulenza, cliccando sul pulsante qui sotto.
Esplora le soluzioni di intelligenza artificialeContenuto correlato a OnLogic
Cos'è OpenVINO e quali sono i requisiti hardware?
3 motivi per cui è necessaria la comunicazione wireless per i computer edge
Introduzione all'inferenza dell'IA