Dimensionamento corretto dell'hardware edge AI
Una guida per ottimizzare le implementazioni di computer vision
Orientarsi nel dinamico panorama dell'hardware per l'intelligenza artificiale (AI) rappresenta una sfida significativa. La vasta gamma di opzioni di elaborazione e le complesse considerazioni relative al software, rendono difficile individuare con sicurezza l'hardware ideale per la propria implementazione specifica. Ciò spesso porta a soluzioni IA che operano su un hardware sovradimensionato e non pienamente utilizzato. Le conseguenti spese inutili possono superare di gran lunga il costo di una soluzione hardware IA delle dimensioni corrette. Questo squilibrio tra costi e prestazioni si intensifica nelle implementazioni più grandi, riducendo potenzialmente il ritorno sull'investimento complessivo, man mano che le iniziative aziendali di IA crescono.
Questo articolo esplora i fattori essenziali per la scelta dell'hardware più adatto alle esigenze della tua applicazione di IA. Otterrai preziose informazioni su come ottimizzare le prestazioni, gestire efficacemente i costi e garantire la redditività a lungo termine della tua infrastruttura di IA. Il nostro obiettivo è fornirti le conoscenze necessarie per prendere decisioni informate in linea con le esigenze specifiche del tuo progetto, aiutandoti in ultima analisi a raggiungere i tuoi obiettivi di IA.
Sei pronto a sfruttare l'IA ma non sai da dove iniziare? Contatta il nostro team dedicato alla consulenza sull'IA.
Parla con un espertoDefinizione della tua visione dell'edge AI, a partire dagli obiettivi del progetto
Prima di immergersi nella selezione dell'hardware edge per qualsiasi implementazione di visione IA, è fondamentale definire chiaramente gli obiettivi dell'applicazione. Le caratteristiche prestazionali critiche includono in genere la latenza del modello di IA e il throughput del frame rate. Gli input coinvolgeranno generalmente fattori quali flussi video e risoluzione. Gli obiettivi del progetto saranno spesso misurati da metriche specifiche quali:
Frame rate (fps): numero di frame elaborati al secondo, fondamentale per le applicazioni in tempo reale.
Precisione: garantire che il modello di IA identifichi in modo affidabile il suo obiettivo, ad esempio un modello di rilevamento delle auto che distingue con precisione le auto dalle motociclette, dai camion, dalle biciclette o persino dai cavalli.
Latenza: velocità di elaborazione e ritardo ad essa associato all'interno dell'applicazione.
Una volta stabiliti questi obiettivi, è possibile regolare diverse variabili per ottenere il risultato desiderato. Nelle sezioni seguenti, esploreremo in modo specifico l'impatto delle dimensioni del modello di IA e del tipo di dispositivo sulle prestazioni complessive. Questi fattori contribuiscono a dimensionare in modo efficace l'hardware IA in base alle proprie esigenze specifiche.
I modelli edge AI hanno un output di tipo deterministico basato sugli input dei dati, sulle dimensioni del modello e sul dispositivo di inferenza.
Comprensione delle dimensioni del modello e dei compromessi sulle prestazioni
Quando si prendono in considerazione modelli di IA pre-addestrati, come i cinque diversi formati offerti da Ultralytics per YOLO11 (You Only Look Once), è importante comprendere le caratteristiche chiave che influenzano le prestazioni. Queste includono in genere:
Parametri: questa metrica indica la complessità e le dimensioni complessive del modello.
FLOP (operazioni in virgola mobile): i FLOP quantificano il carico di lavoro computazionale necessario al modello per eseguire i propri compiti.
mAP (Mean Average Precision): per il rilevamento degli oggetti, l'mAP rappresenta il parametro principale per la precisione e indica con quanta accuratezza il modello identifica e localizza gli oggetti.
Per illustrare questi compromessi, consideriamo i modelli YOLO11n (nano) e YOLO11x (extra-large). Il YOLO11n è il più piccolo: presenta 2,6 milioni di parametri e utilizza 6,5 miliardi di FLOP. Queste caratteristiche lo rendono eccezionalmente veloce per l'inferenza con una minima potenza di calcolo richiesta. Tuttavia, questa efficienza comporta un compromesso in termini di precisione.
Al contrario, YOLO11x è il modello più grande, con 56,9 milioni di parametri e ben 194,9 miliardi di FLOP. Sebbene ciò rappresenti un aumento significativo dei requisiti di calcolo (quasi 30 volte più FLOP rispetto al modello nano), il corrispondente miglioramento in termini di precisione è relativamente contenuto. Ad esempio, il modello YOLO11n arriva a un mAP di 39,5, mentre il modello YOLO11x arriva a 54,7, con un miglioramento di circa il 38%. Ciò dimostra che, sebbene i modelli più grandi offrano una maggiore precisione, i vantaggi spesso diminuiscono rispetto al notevole aumento della richiesta computazionale e al potenziale impatto sulla velocità di elaborazione. Questa comprensione è fondamentale per dimensionare correttamente l'hardware IA in modo efficiente.
Per illustrare ulteriormente questi compromessi, la tabella seguente mostra nel dettaglio le caratteristiche e le prestazioni delle diverse varianti del modello YOLO11:
Confronto tra le dimensioni del modello YOLO e la velocità e precisione.
Comprensione dei frame rate con una scheda grafica dedicata
Per molte implementazioni di edge AI impegnative, una scheda grafica dedicata (dGPU) come la GPU NVIDIA RTX 4000 Ada SFF è spesso considerata un punto di riferimento in termini di prestazioni. Per valutare le capacità di tale hardware su modelli IA di diverse dimensioni, OnLogic ha condotto un esperimento utilizzando vari tipi di dispositivi.
I nostri test sono incentrati sui risultati di inferenza per vari modelli YOLO11, ricorrendo a NVIDIA TensorRT per l'ottimizzazione con un singolo flusso video 640 x 640. I dati hanno rivelato frame rate impressionanti: il modello nano ha raggiunto 954 frame al secondo (fps), mentre il modello extra-large ha raggiunto 167 fps. Sebbene questi risultati siano stati ottenuti utilizzando un singolo flusso video a bassa risoluzione, questa configurazione rappresenta accuratamente molti casi d'uso comuni della computer vision all'edge.
Questi dati convincenti sollevano una domanda cruciale per molti project manager e ingegneri: una scheda grafica dedicata ad alte prestazioni è davvero necessaria per la propria applicazione specifica? Soprattutto quando questo singolo componente può aggiungere un costo considerevole, circa €1.380-€1.840, a un singolo nodo. Questa riflessione evidenzia l'importanza di dimensionare correttamente l'hardware IA per evitare spese superflue e garantire una progettazione ottimale del sistema.
Frame rate e prestazioni di latenza della NVIDIA RTX 4000 ADA su varie dimensioni di modelli, tutte superiori a 100 fps.
Dimensionamento corretto per l'edge IA: ottenere prestazioni ottimali senza spendere troppo
Molti dei nostri clienti puntano a circa 30 fotogrammi al secondo (fps) come obiettivo do prestazioni per varie applicazioni edge AI. Per dimostrare come raggiungere questo obiettivo in modo efficiente, OnLogic ha condotto ulteriori test incentrati sui modelli YOLO11 small (s), medium (m) e large (l), tutti eseguiti sui nostri computer industriali della Serie Helix 520.
I nostri risultati rivelano che, per uapplicazioni con singolo flusso video, l'utilizzo delle NPU Intel Core™ Ultra Series 1 (Meteor Lake) e Core Ultra Series 2 (Arrow Lake) con OpenVINO™ consente al sistema di raggiungere o superare comodamente l'obiettivo di 30 fps senza la necessità di un acceleratore discreto. Infatti, eseguire il modello sulla GPU integrata (iGPU) del sistema può facilmente superare questo requisito di prestazioni. Per le applicazioni che richiedono l'utilizzo di dispositivi CPU interni, le CPU Arrow Lake di Intel dimostrano risultati eccezionali, raggiungendo 76 fps con la NPU e ben 108 fps con la iGPU.
Dispositivi e modelli che raggiungono tra i 30 e i 240 fotogrammi al secondo. Per i modelli più piccoli, l'hardware integrato consente di raggiungere l'obiettivo senza scheda grafica dedicata.
Questi risultati evidenziano un aspetto fondamentale: per molte applicazioni con applicazioni con singolo flusso video, una scheda grafica dedicata è spesso superflua e rappresenta probabilmente una soluzione sovradimensionata. La scelta tra l'utilizzo della NPU o della iGPU diventa quindi una questione di messa a punto di fattori specifici come la latenza e il consumo energetico. Inoltre, i nostri test indicano che la GPU integrata nel pacchetto CPU Intel può persino superare le prestazioni degli acceleratori di inferenza AI dedicati, come l'Hailo-8 che abbiamo incluso nei nostri test.
Tuttavia, quando è necessario un modello di IA più ampio per applicazioni più impegnative o con prestazioni più elevate, le schede grafiche dedicate (o GPU discrete, dGPU) sono senza dubbio la scelta migliore. Per scenari che mirano a risultati di inferenza superiori a 120 fps con modelli medi, grandi o extra-grandi, la potenza di una dGPU diventa evidente. I nostri dati mostrano che NVIDIA RTX 2000 offre prestazioni quasi identiche al fattore di forma MXM A4500 in questi scenari ad alte prestazioni.
Qui, la scelta dell'hardware diventa cruciale e richiede un'attenta valutazione dei compromessi tra prezzo e prestazioni. Una caratteristica distintiva del fattore di forma MXM è la sua maggiore resistenza alla temperatura e l'isolamento dall'ingresso di agenti esterni. Questo lo rende più robusto in termini di prestazioni in condizioni ambientali avverse rispetto all'RTX 2000. D'altra parte, un sistema che utilizza l'RTX 2000 offrirebbe di solito un costo più vantaggioso. In definitiva, per applicazioni con singolo flusso video dove gli obiettivi di prestazione si attestano intorno ai 30 fps, le NPU e le iGPU integrate sono generalmente sufficienti. Questo sottolinea l'importanza di dimensionare correttamente l'hardware IA per soddisfare le esigenze impegnative del tuo progetto.
Le schede grafiche dedicate di fascia alta in stile MXM sono abbastanza paragonabili alle RTX 2000 ADA; sono più adatte ai modelli di inferenza più ampi nelle applicazioni edge AI in cui le condizioni operative possono essere avverse.
Dalla prototipazione alla scalabilità: come ottenere un'implementazione dell'IA conveniente
Considerando l'ampia gamma di risultati in termini di prestazioni ottenibili con diversi modelli di IA, input, obiettivi di precisione e dispositivi, è fondamentale affrontare l'implementazione dell'IA in modo fiscalmente responsabile. Per questo motivo, può essere vantaggioso iniziare lo sviluppo delle applicazioni con un sistema dotato di una scheda grafica dedicata ( o GPU discreta, dGPU). Questa configurazione consente agli ingegneri di sviluppare, quantizzare e ottimizzare i propri modelli, per poi sperimentare con sicurezza il ricorso a vari dispositivi per valutarne le prestazioni.
Se per esempio un ingegnere verifica la propria applicazione su un sistema della Serie Helix 520 dotato di una GPU NVIDIA RTX 4000 Ada, diventa fondamentale capire come i risultati si allineano con gli obiettivi finali dell'applicazione stessa. Questa valutazione può portare a due scenari principali:
Se il frame rate è significativamente superiore all'obiettivo:
Se il frame rate è significativamente inferiore all'obiettivo:
In generale, l'utilizzo di modelli più piccoli e ottimizzati si traduce direttamente in requisiti hardware meno costosi. Man mano che le applicazioni di IA passano dalla fase di prototipo alle implementazioni pilota e infine al lancio su larga scala, l'aumento nel numero di sistemi può comportare un aumento drastico dei costi, se l'hardware di IA non viene selezionato con attenzione. Consideriamo, per esempio, un'applicazione che punta a 30 fps e che utilizza inutilmente una scheda grafica dedicata sebbene sarebbe sufficiente una NPU integrata. In un'implementazione di 1.000 dispositivi, questa svista apparentemente piccola può comportare una differenza sbalorditiva pari a 1,5 milioni di dollari solo per la spesa hardware, per non parlare del notevole risparmio energetico a lungo termine.
Il frame rate medio varia a seconda dei dispositivi e dei modelli. In generale, i modelli più piccoli (YOLO11m e inferiori) possono utilizzare efficacemente le NPU o le iGPU integrate. Al contrario, i modelli più grandi (YOLO11l e superiori) ottengono prestazioni migliori con le schede grafiche dedicate (sia MXM che tradizionali).
Riassumendo, scegliere l'hardware giusto per le applicazioni di IA è una responsabilità importante che che merita un'attenta valutazione. Le schede grafiche dedicate sono strumenti potenti, ma non rappresentano una soluzione universale per ogni problema. Al contrario, è necessario dimensionare correttamente e valutare attentamente una soluzione adeguata, meticolosamente allineata agli obiettivi in termini di prestazioni del progetto. Questa scelta fondamentale può consentire un notevole risparmio in termini di hardware ed evitare che i progetti vengano ostacolati da costi di implementazione proibitivi, consentendo in ultima analisi alle iniziative di IA di svilupparsi su larga scala grazie a un hardware IA dimensionato in modo efficace.
Sei pronto a scoprire come l'hardware giusto può trasformare le tue implementazioni IA, ma non sai da dove iniziare? Contatta il nostro team dedicato alla consulenza sull'IA per discutere del tuo progetto.
Parla con un espertoNote sui test
Test condotti internamente da OnLogic utilizzando i prodotti OnLogic Serie HX520 e Serie HX600.
I test sono stati condotti a temperatura ambiente.
I test sono stati condotti utilizzando i modelli di rilevamento Ultralytics YOLO11, con un singolo input video 640x640.
Tutti i benchmark sono stati eseguiti con precisione FP16.
La capacità effettiva include il tempo di pre-elaborazione. La capacità effettiva del modello non lo tiene in considerazione.
La NPU non include NMS in ogni passaggio di inferenza.
Tutti i benchmark sono stati eseguiti utilizzando l'inferenza sincrona. Questo significa che ogni frame è stato elaborato singolarmente, solo dopo il completamento del precedente.