Caricamento...
Caricamento...
Caricamento...
AI8 marzo 202411.7 MINUTI DI LETTURA

Architettura AI Edge: l'Edge è il posto giusto per l'IA

Un grafico dell'architettura AI edge

Ultimamente, l'IA sembra essere al centro di ogni dibattito tecnologico. Se per un certo periodo è sembrata più una trovata pubblicitaria che una realtà, ora sembra che ci troviamo a un punto di svolta importante. Come esempio dell'ubiquità dell'IA, ho avuto il piacere di partecipare al summit "AI Hardware and Edge AI" a settembre 2023, e Andrew Ng, uno dei leader di pensiero nel settore dell'IA, ha aperto il suo intervento descrivendo l'IA come la "Nuova Elettricità".

Secondo ilMIT Management Sloan School L'intelligenza artificiale può aumentare la produttività dei lavoratori altamente qualificati del 40% rispetto ai lavoratori che non la utilizzano. Questa è una proposta promettente. Mentre storicamente considereremmo miglioramenti di pochi punti percentuali enormi, tali balzi sono davvero trasformativi. Ma perché? Perché all'improvviso c'è così tanto slancio ed entusiasmo intorno all'intelligenza artificiale? L'intelligenza artificiale non è una novità; i concetti fondamentali esistono dagli anni '50. Diamo un'occhiata ai fattori che alimentano la crescita dell'intelligenza artificiale.

Cosa alimenta la crescita dell'intelligenza artificiale?

In primo luogo, sono stati compiuti progressi significativi per quanto riguarda le reti neurali profonde. L'introduzione dell'“Transformer Model” di Ashish Vaswani nel 2017 è considerato un momento spartiacque nel settore. Il modello basato sul trasformatore è più accurato di altri modelli perché è in grado di comprendere la relazione tra elementi sequenziali distanti tra loro. Inoltre, è veloce perché presta maggiore attenzione alle parti più importanti di una sequenza. Queste sfide avevano afflitto i modelli precedenti. Il modello del trasformatore è stato fondamentale per consentire i potenti modelli linguistici di grandi dimensioni di cui disponiamo oggi. Inoltre, negli ultimi anni è stato sviluppato un numero enorme di modelli pre-addestrati gratuiti, riducendo drasticamente il lavoro necessario per creare un modello personalizzato per un caso d'uso specifico.

Poi c'è l'abbondanza di dati. Enormi quantità di dati vengono prodotte ai margini, ad esempio nelle fabbriche moderne. Nel suodiscorso principale al CES 2024 Il Dott. Roland Busch, CEO di Siemens, ha stimato che oggi una fabbrica altamente automatizzata generi circa 2.000 TB di dati al mese (equivalenti al volume di dati di 500.000 film). Oggi, solo una piccolissima parte di questi dati viene effettivamente utilizzata, il che significa che esiste un enorme potenziale nel raccoglierli e ricavarne informazioni fruibili.

Un altro fattore importante è la crescita della potenza di calcolo necessaria per elaborare i carichi di lavoro di intelligenza artificiale. Oltre alla più tradizionale crescita della potenza di elaborazione della CPU secondo la Legge di Moore, stiamo assistendo all'emergere di specifiche cosiddette "architetture di accelerazione", come le unità di elaborazione neurale (NPU), molto più efficaci e potenti nell'elaborazione delle reti neurali, che costituiscono la base di molti modelli di intelligenza artificiale.

L'intelligenza artificiale diventa un nome familiare

Il rilascio di ChatGPT da parte di OpenAI al pubblico a novembre 2022 rappresenta una tappa importante per quanto riguarda l'IA. Perché? Perché ha dato a tutti, non solo a ricercatori o professionisti della tecnologia, la possibilità di avere un assaggio di ciò che l'IA poteva fare. Ha contribuito, in modo difficile da sottovalutare, ad aumentare la consapevolezza, l'interesse e la comprensione dei concetti e del potenziale dell'IA presso un vasto pubblico. Questo, a sua volta, ha alimentato l'interesse nell'identificare modi per usare l'IA.

Le aziende stanno comprendendo sempre di più i potenziali vantaggi dell'utilizzo dell'IA in tutte le funzioni aziendali. In OnLogic, ad esempio, abbiamo identificato oltre 100 potenziali casi d'uso nelle varie funzioni aziendali in cui l'IA potrebbe potenzialmente contribuire a migliorare l'efficienza e l'efficacia all'interno dell'organizzazione. Si tratta di un'enorme quantità di opportunità, ed è importante ricordare che siamo solo all'inizio dello sfruttamento del potenziale dell'IA. Le aziende stanno riconoscendo il rischio reale di rimanere indietro se non utilizzano l'IA per aumentare la propria competitività sul mercato. La domanda che le aziende si trovano ad affrontare è diventata rapidamente: possiamo permetterci di non investire nell'IA?Secondo Forbes Il 64% delle aziende si aspetta che l'intelligenza artificiale aumenti la produttività. Tuttavia,la ricerca mostra che solo il 35% delle aziende sfruttava l'intelligenza artificiale nel 2023. Ancora una volta, è chiaro che l'ondata di intelligenza artificiale sta raggiungendo il suo apice.

Di conseguenza, si prevede che l'IA registrerà un tasso di crescita annuo composto del 37,3% dal 2023 al 2030. Mettiamo le cose in prospettiva. Ipotizziamo, ad esempio, di avere 100.000 dollari nel tuo fondo pensione 401k all'inizio del 2023 e di non versare più contributi. Se il tuo saldo cresce del 37,3% annuo, entro la fine del 2030 il tuo saldo ammonterà a 1.262.886 dollari, con una crescita di oltre 12 volte superiore rispetto all'inizio del 2023. Una crescita davvero straordinaria! Questa crescita prevista dell'IA significa che c'è molto lavoro da fare per sviluppare e implementare queste soluzioni di IA, nonché i dispositivi e le infrastrutture per supportarle.

Cos'è e dov'è il limite?

Quindi, abbiamo stabilito che l'intelligenza artificiale ha del potenziale, ma come si relaziona all'edge computing? Innanzitutto, assicuriamoci di essere sulla stessa lunghezza d'onda su cosa sia l'edge computing. Di seguito è riportato un diagramma sviluppato daFondazione Linux che mostra il continuum tra confine e nuvole.

Un grafico che mostra il continuum tra bordo e nuvola

La nostra attenzione si concentra sull'"User Edge", che descrive l'hardware presente in azienda. Questo può includere qualsiasi cosa, dai dispositivi endpoint come i PLC che controllano le apparecchiature di produzione, all'hardware dei veicoli a guida automatica (AGV) che spostano prodotti o componenti all'interno di una fabbrica. L'user edge comprende anche tutti i PC industriali utilizzati in fabbrica che, ad esempio, potrebbero eseguire carichi di lavoro di inferenza per un sistema di visione artificiale. Il diagramma seguente mostra le attività di produzione con due stabilimenti. Ogni stabilimento può ospitare molti dispositivi edge che eseguono, ad esempio, operazioni di inferenza. L'user edge include in genere anche un data center localizzato che può essere utilizzato per l'archiviazione dei dati, la formazione di modelli, l'analisi dei dati e altro ancora.

Un grafico che spiega l'architettura dell'intelligenza artificiale edge

Perché un'architettura AI edge?

Ora arriviamo al nocciolo della questione: perché, in molti casi, è vantaggioso eseguire carichi di lavoro di intelligenza artificiale all'edge invece di affidarsi al cloud?

Innanzitutto, l'edge è il luogo in cui vengono creati i dati. È lì che risiede tutta la tecnologia operativa (OT) di un impianto di produzione. Inviare tutti i dati al cloud è costoso. Ricordate il volume di dati equivalente a 500.000 filmati generati ogni mese in una fabbrica altamente automatizzata? Sarebbe proibitivo inviare e archiviare tutti questi dati nel cloud. Oltre al costo per l'invio e l'archiviazione dei dati, c'è il costo per l'utilizzo delle risorse di elaborazione nel cloud. Il cloud è molto richiesto oggigiorno e il costo delle risorse di elaborazione nel cloud è sostanziale. Al contrario, se l'elaborazione dei dati viene eseguita all'edge sull'hardware di proprietà del cliente, l'unico costo è il costo dell'hardware e quello per il suo funzionamento e manutenzione, che possono essere ulteriormente mitigati grazie all'utilizzo di hardware industriale adeguato.

Oltre all'aspetto dei costi, la Latenza è un'altra considerazione importante. Questo può essere problematico e limitante a seconda del caso d'uso, poiché spesso sono necessarie decisioni rapide in fabbrica, o in generale ai margini (edge). Se, ad esempio, i connettori appena prodotti scorrono lungo la linea di produzione ad alta velocità, è fondamentale che la decisione su quale connettore superi e quale fallisca il controllo qualità venga presa quasi istantaneamente. Inoltre, se la vostra linea di produzione si basa esclusivamente su decisioni prese nel cloud, una perdita di connessione si traduce molto probabilmente in tempi di inattività per la linea di produzione, con conseguenti costi in termini di denaro, tempo e preziosa produttività.

Un altro importante vantaggio di un'architettura di edge computing è la sicurezza. Molte aziende sono restie a inviare dati riservati sulla propria azienda nel cloud e preferiscono conservarli on-premise, riducendo così i rischi per la sicurezza informatica. La fusione tra IT e OT aumenta la potenziale superficie di attacco ed è importante che le aziende rafforzino i propri nodi di edge computing per proteggere i propri dati. Molte tecniche, tra cui SASE (Secure Access Service Edge) e Zero Trust, vengono sempre più implementate per migliorare la sicurezza dei dati, ma un'architettura di edge computing è ancora preferita da molte aziende.

Gartner riassume i driver dell'edge computing nel diagramma seguente:

Un grafico che spiega l'architettura dell'intelligenza artificiale edge

Le considerazioni ambientali sono un ulteriore fattore determinante nell'adozione dell'edge computing. Ad esempio, l'utilizzo dell'edge rispetto al cloud riduce il profilo energetico complessivo. I data center consumano grandi quantità di energia, contribuendo così alle emissioni di gas serra. Inoltre, l'energia è necessaria per inviare e ricevere dati tra il cloud e l'edge.Le aziende possono ridurre i costi energetici spostando i carichi di lavoro dell'intelligenza artificiale dal cloud all'edge.

Vorrei aggiungere un altro punto a dimostrazione del fatto che l'intelligenza artificiale di Edge sta diventando realtà. Diamo un'occhiata aCiclo di Hype Gartner 2023™ Il grafico sottostante è stato pubblicato a luglio 2023 e mostra che l'intelligenza artificiale "Edge" ha raggiunto il "Plateau of Productivity", ovvero lo stato in cui raggiunge la piena maturità per l'implementazione, entro 2 anni da allora. Detto questo, passiamo in rassegna come implementiamo l'intelligenza artificiale nell'edge.

Un grafico che spiega l'architettura dell'intelligenza artificiale edge

Come implementare l'intelligenza artificiale ai margini della rete

Quindi, hai valutato le tue opzioni (e le informazioni di cui sopra) e hai deciso che un'implementazione di IA edge è la soluzione giusta per la tua azienda. Da dove iniziare? L'IA è intrinsecamente software, ma per implementare quel software avrai bisogno dell'hardware giusto. Ecco alcuni aspetti da considerare.

Ambiente

Nell'edge computing, l'ambiente di installazione spesso differisce notevolmente da un data center o un ufficio a temperatura controllata. Può essere caldo, freddo o umido, situato all'esterno o in un'acciaieria bollente (ad esempio). L'aria può essere ricca di particolato, che vanno dalla segatura di un produttore di mobili agli aromi in polvere di una linea di produzione di patatine . L'edge è costituito da una vasta gamma di luoghi in cui un computer standard non sopravviverebbe a lungo. Per superare questi ambienti difficili, sono necessari computer industriali o rugged. Questi tipi di sistemi sono costruiti per ambienti difficili e offrono affidabilità e tranquillità agli operatori.

Un computer rinforzato appoggiato su un tavolo in un ambiente di produzione metalmeccanica.

Carichi di lavoro

Per le operazioni di inferenza, le esigenze della potenza di calcolo dipenderanno dallo specifico caso d'uso, dalla quantità di dati da elaborare e dalla velocità di elaborazione richiesta. Potrebbe sorprendere alcuni, ma per molti casi d'uso di IA la potenza di calcolo integrata della CPU potrebbe essere sufficiente. Questo dato è diventato ancora più rilevante con l'introduzione dei processori Intel® Core™ Ultra, che vanno oltre il semplice aumento della potenza della CPU per includere un'elaborazione GPU integrata significativamente più performante all'interno del pacchetto del processore.

Un elemento differenziante fondamentale in questa ultima generazione è l'integrazione delle Neural Processing Units (NPU) direttamente nell'architettura del processore. Nei chip Intel® Core™ Ultra, questo motore AI dedicato consente di gestire in modo efficiente un numero crescente di casi d'uso di inferenza senza la necessità di un acceleratore aggiuntivo. Tuttavia, se l'applicazione richiede più potenza di quella che questa nuova architettura "AI PC" può offrire, come l'elaborazione di molteplici flussi video ad alto FPS, saranno ancora necessari PC industriali con schede grafiche dedicate o acceleratori specializzati.

Tutti i modelli delle serie Karbon e Helix 520 di computer industriali robusti, con l'elenco di tutti i modelli disponibili.

󠀰I computer OnLogic della Serie Helix 520 e della Serie Karbon 520 sono dotati di processori Intel Core Ultra.

Formazione del modello

Oltre al carico di lavoro di inferenza, nella maggior parte delle applicazioni i modelli devono essere costantemente addestrati per integrare l'apprendimento continuo. Questa formazione richiede in genere una maggiore potenza di calcolo e può essere gestita da un edge server . Questo edge server può risiedere nel reparto di produzione o in una sala server dedicata. Gli edge server possono quindi essere utilizzati anche per monitorare e gestire le deviazioni dei modelli o eseguire qualsiasi analisi richiesta dall'azienda. Per ulteriori informazioni, consultare "Accelerazione dell'IA all'Edge ”, una sessione tenutasi all'AWS re:invent 2023 e focalizzata su vari aspetti delle implementazioni edge.

Requisiti software

Per gestire questo tipo di architettura di edge computing sono necessari diversi livelli software oltre al livello del sistema operativo. Le distribuzioni edge richiedono spesso un gran numero di gateway, server edge, dispositivi di inferenza, ecc. La capacità di integrare, distribuire e aggiornare i dispositivi in modo efficiente e senza interruzioni è fondamentale. Questo è particolarmente importante perché spesso le risorse tecniche in loco sono poche o nulle e le aziende con più sedi possono incontrare difficoltà quando gli aggiornamenti o le distribuzioni di sistema non sono sincronizzati. Questo viene comunemente gestito da software di orchestrazione edge e gestione remota. Anche i carichi di lavoro di intelligenza artificiale vengono spesso eseguiti come container, richiedendo il software appropriato. E oltre a tutti questi livelli, è necessario il software applicativo di intelligenza artificiale per lo specifico caso d'uso.

Rimpatrio del cloud

Allora, abbiamo visto come implementare con successo l'IA all'edge, ma spesso le aziende iniziano con una soluzione di IA implementata nel cloud. Sempre più aziende stanno comprendendo il valore dell'edge computing e stanno procedendo alla cloud repatriation per spostare le risorse di calcolo all'edgeSecondo ComputerWeekly.com. In una recente indagine IDC, il 71% degli intervistati ha indicato di pianificare un rimpatrio parziale o completo. I motivi più comuni citati per questa mossa sono la riduzione dei costi, il miglioramento delle prestazioni e l'aumento della sicurezza. Vi suonano familiari?

Il fatto è che ogni azienda è unica e la posizione ottimale delle risorse per gli spostamenti dipenderà esattamente da cosa si intende fare con i propri dati. In molti casi, l'implementazione finale non sarà così netta come il cloud o l'edge, ma piuttosto una soluzione ibrida. Molti pacchetti software possono eseguire i carichi di lavoro sia sul cloud che sull'edge e sono indipendenti dall'hardware specifico utilizzato. Questo offre agli utenti molta flessibilità per perseguire un approccio che tenga conto di entrambi i mondi: i vantaggi del cloud in termini di potenza di calcolo e il controllo fisico dell'edge.

Conclusioni

Permettetemi di concludere citando un'altra statistica: Secondo Gartner, entro la fine del 2026 il 70% delle grandi aziende avrà una strategia documentata per l'edge computing, rispetto a meno del 10% nel 2023. Secondo lo stesso studio, entro il 2026 il 50% delle implementazioni di edge computing coinvolgerà il Machine Learning, rispetto al 5% nel 2022. Tutto questo significa che l'edge continuerà a essere il luogo ideale per le aziende di ogni dimensione nei prossimi anni e coloro che vi si avvicineranno consapevoli del suo valore saranno nella posizione migliore per trarne vantaggio.

Michael Kleiner
Michael Kleiner
Vicepresidente delle soluzioni Edge AI
Il Dott. Michael Kleiner, Vicepresidente delle Soluzioni Edge AI di OnLogic, porta il nostro hardware industriale nel mondo dell'AI e della consulenza edge. Entrato in OnLogic nel 2015, ha guidato Ingegneria e Product Management. Michael, appassionato di tecnologia, si dedica alla crescita dei team e allo sviluppo aziendale.

Rimani informato.

Ricevi in anteprima i nuovi prodotti, le innovazioni per l'Industria 4.0, gli eventi OnLogic e molto altro.