Laden...
Laden...
Laden...
AI5 september 20259 Min leestijd

Jouw Edge AI-hardware optimaal afstemmen

Een gids voor het optimaliseren van computer vision-implementaties
Een collectie industriële hardware van OnLogic

Navigeren door het dynamische landschap van hardware voor artificial intelligence (AI) vormt een aanzienlijke uitdaging. Met een breed scala aan rekenopties en complexe softwareoverwegingen kan het lastig zijn om met zekerheid de ideale hardware voor jouw specifieke implementatie te bepalen. Dit resulteert er vaak in dat AI-oplossingen werken op overgespecificeerde hardware die niet volledig wordt benut, wat leidt tot onnodige kosten die de kosten van een AI-hardwareoplossing op maat ver overstijgen. Deze onbalans tussen kosten en prestaties neemt toe bij grotere implementaties, waardoor het totale rendement op de investering voor bedrijven mogelijk afneemt naarmate hun AI-initiatieven groeien.

Dit artikel onderzoekt de essentiële factoren voor het selecteren van de precieze hardware die jouw Ai-toepassing nodig heeft. Je krijgt waardevolle inzichten in het optimaliseren van prestaties, het effectief beheren van kosten en het waarborgen van de levensvatbaarheid van je AI-infrastructuur op lange termijn. Ons doel is om je de kennis te geven die je nodig hebt om weloverwogen beslissingen te nemen die aansluiten bij de unieke uitdagingen van je project, zodat je uiteindelijk je AI-doelstellingen kunt bereiken.

Klaar om AI te benutten, maar weet je niet waar je moet beginnen? Neem contact op met ons dedicated AI-consultingteam.

Praat met een expert

Je edge AI visie bepalen: Begin bij de projectdoelen

Voordat je je verdiept in de selectie van edge-hardware voor een vision AI-implementatie, is het cruciaal om de doelen van de toepassing duidelijk te definiëren. Kritische prestatiekenmerken omvatten doorgaans de latency en de framesnelheid van het AI-model. Input omvat doorgaans factoren zoals videostreams en resolutie. Jouw projectdoelstellingen worden vaak gemeten aan de hand van specifieke parameters, zoals:

  • Framesnelheid (fps): het aantal frames dat per seconde wordt verwerkt, essentieel voor realtime-toepassingen.

  • Nauwkeurigheid: ervoor zorgen dat het AI-model het doelwit betrouwbaar identificeert, bijvoorbeeld een autodetectiemodel dat auto's nauwkeurig onderscheidt van motoren, vrachtwagens, fietsen of zelfs paarden.

  • Latency: de verwerkingssnelheid en de bijbehorende vertraging binnen de toepassing.

Met deze doelen in gedachten, kunnen verschillende variabelen worden aangepast om het gewenste resultaat te bereiken. In de volgende paragrafen gaan we specifiek in op de impact van de grootte van het AI-model en het type apparaat op de algehele prestaties. Deze dragen allemaal bij aan de effectieve keuze van de juiste AI-hardware voor jouw unieke behoeften.

Een diagram van een edge AI-model met gegevensinvoer, modelgrootte en inferentieapparaat.

Edge AI-modellen hebben deterministische output gebaseerd op data-inputs, modelgroottes en het inference-apparaat.

Inzicht in modelgroottes en prestatie-afwegingen

Bij het overwegen van voorgeprogrammeerde AI-modellen, zoals de vijf verschillende formaten die Ultralytics biedt voor YOLO11 (You Only Look Once) is het belangrijk om de belangrijkste kenmerken te begrijpen die van invloed zijn op prestaties. Deze omvatten doorgaans:

  • Parameters: Deze metriek geeft de totale omvang en complexiteit van het model aan.

  • FLOP's (Floating Point Operations): FLOP's kwantificeren de rekenkracht die het model nodig heeft om zijn taken uit te voeren.

  • mAP (gemiddelde precisie): voor objectdetectie fungeert mAP als primaire nauwkeurigheidsmaatstaf. Het geeft aan hoe precies het model objecten identificeert en lokaliseert.

Om deze afwegingen te illustreren, bekijken we de YOLO11n (nano) en YOLO11x (extra groot). De YOLO11n is de kleinste, met 2,6 miljoen parameters en 6,5 miljard FLOP's. Dit maakt hem uitzonderlijk snel voor interference en vereist minimale rekenkracht. Deze efficiëntie gaat echter ten koste van de nauwkeurigheid.

De YOLO11x is daarentegen het grootste model, met 56,9 miljoen parameters en een veeleisende 194,9 miljard FLOP's. Hoewel dit een aanzienlijke toename in rekenkracht vertegenwoordigt – bijna 30 keer meer FLOP's dan het nanomodel – is de bijbehorende verbetering in nauwkeurigheid relatief bescheiden. Zo behaalt het YOLO11n-model een mAP van 39,5, terwijl het YOLO11x-model 54,7 haalt, wat een verbetering van ongeveer 38% vertegenwoordigt. Dit toont aan dat hoewel grotere modellen een hogere nauwkeurigheid bieden, de winst vaak afneemt ten opzichte van de aanzienlijke toename in rekenkracht en de mogelijke impact op de verwerkingssnelheid. Dit inzicht is essentieel voor het effectief bepalen van de juiste AI-hardware.

Om deze afwegingen verder te illustreren, worden in de onderstaande tabel de kenmerken en prestaties van de verschillende YOLO11-modelvarianten beschreven:

Een tabel die de YOLO-modelgroottes vergelijkt met snelheid en nauwkeurigheid

Een vergelijking van YOLO-modelgroottes versus snelheid en nauwkeurigheid.

Inzicht in framesnelheden met een discrete GPU

Voor veel veeleisende edge AI-implementaties wordt een discrete GPU (dGPU), zoals de NVIDIA RTX 4000 Ada SFF GPU, vaak beschouwd als een benchmark voor prestaties. Om de mogelijkheden van dergelijke hardware voor verschillende AI-modelgroottes te evalueren, voerde OnLogic een experiment uit met verschillende apparaattypen.

Onze tests waren gericht op inference-resultaten voor verschillende YOLO11-modellen, waarbij we NVIDIA TensorRT gebruikten voor optimalisatie met één videostream van 640 x 640. De data lieten indrukwekkende framesnelheden zien: het nanomodel haalde 954 frames per seconde (fps), terwijl zelfs het extra grote model 167 fps haalde. Hoewel deze resultaten werden verkregen met één videostream met lage resolutie, vertegenwoordigt deze opstelling nauwkeurig veelvoorkomende toepassingen voor computer vision aan de edge.

Deze indrukwekkende cijfers roepen een cruciale vraag op voor veel projectmanagers en engineers: is een high-performance discrete GPU werkelijk nodig voor jouw specifieke toepassing, vooral wanneer dit ene component een aanzienlijke kostenpost van ongeveer 1.500 tot 2.000 dollar per node kan toevoegen? Deze vraag benadrukt het belang van het juist dimensioneren van AI-hardware om onnodige uitgaven te vermijden en een optimaal systeemontwerp te waarborgen.

NVIDIA RTX 4000 ADA-framesnelheid en latentieprestaties over modelgrootte, allemaal hoger dan 100 fps

NVIDIA RTX 4000 ADA-framesnelheid en latency-prestaties voor alle modelgroottes, allemaal hoger dan 100 fps.

De juiste maatvoering voor edge AI: optimale prestaties bereiken zonder te veel uit te geven

Veel van onze klanten streven naar ongeveer 30 frames per seconde (fps) als prestatiedoel voor diverse edge AI-toepassingen. Om te demonstreren hoe dit efficiënt kan worden bereikt, heeft OnLogic verdere tests uitgevoerd met de YOLO11 small (s), medium (m) en large (l) modellen, die allemaal draaien op onze Helix 520-serie industriële computers.

Onze bevindingen laten zien dat voor een enkele videostreamtoepassing, door gebruik te maken van Intel Core™ Ultra Series 1 (Meteor Lake) en Intel Core Ultra Series 2 (Arrow Lake) NPU met OpenVINO™, het systeem deze doelstelling van 30 fps gemakkelijk kan halen of overtreffen zonder dat een aparte accelerator nodig is. Sterker nog, door het model te draaien op de geïntegreerde GPU (iGPU) van het systeem kan deze prestatie-eis gemakkelijk worden overtroffen. Voor toepassingen die intern CPU-gebruik vereisen, laten Intel Arrow Lake CPU's uitzonderlijke resultaten zien, met 76 fps met de NPU en een indrukwekkende 108 fps met de iGPU.

Grafiek met apparaten en modellen die tussen de 30 en 240 frames per seconde halen. Voor kleinere modellen bereikt geïntegreerde hardware de doelen zonder aparte GPU's.

Apparaten en modellen die tussen de 30 en 240 frames per seconde halen. Bij kleinere modellen bereikt geïntegreerde hardware de doelen zonder discrete GPU's.

Deze resultaten benadrukken een cruciaal inzicht: voor veel toepassingen met één videostream is een discrete GPU vaak overbodig en waarschijnlijk een overgeprovisioneerde oplossing. De keuze tussen het gebruik van de NPU of iGPU wordt dan een kwestie van finetuning op basis van specifieke factoren, zoals latency en stroomverbruik. Bovendien tonen onze tests aan dat de geïntegreerde GPU in de Intel CPU-behuizing zelfs beter presteert dan dedicated AI-inference-versnellers, zoals de Hailo-8 die we in onze tests hebben opgenomen.

Wanneer echter een groter AI-model nodig is voor veeleisendere of krachtigere toepassingen, hebben discrete GPU's (dGPU's) onmiskenbaar de overhand. Voor scenario's die gericht zijn op inference-resultaten van meer dan 120 fps met middelgrote, grote of extra grote modellen, wordt de kracht van een dGPU duidelijk. Onze data toont aan dat de NVIDIA RTX 2000 vrijwel identiek presteert als het A4500 MXM-formaat in deze high-performance scenario's.

De hardwarekeuze is hier cruciaal en vereist een zorgvuldige afweging tussen prijs en prestaties. Een belangrijk onderscheid van het MXM-formaat is de hogere temperatuurbestendigheid en isolatie tegen binnendringend vocht, waardoor deze beter bestand is tegen prestaties onder ongunstige omgevingsomstandigheden dan de RTX 2000. Daarentegen biedt een systeem met de RTX 2000 doorgaans een prijsvoordeel. Uiteindelijk zijn geïntegreerde NPU's en iGPU's over het algemeen voldoende voor toepassingen met één videostream, waarbij de prestatiedoelen rond de 30 fps liggen. Dit onderstreept het belang van het kiezen van de juiste AI-hardware voor de specifieke eisen van jouw project.

Grafiek met discrete GPU-prestaties: MXM versus traditioneel

MXM-stijl GPU's van topklasse zijn goed te vergelijken met RTX 2000 ADA en kunnen het beste worden gebruikt in grotere inference-modellen in edge AI-toepassingen waarbij de bedrijfsomstandigheden ongunstig kunnen zijn.

Van prototyping tot schaalvergroting: het realiseren van een kosteneffectieve AI-implementatie

Gezien de brede reeks prestatieresultaten die haalbaar zijn met verschillende AI-modellen, inputs, nauwkeurigheidsdoelen en apparaten, is het van cruciaal belang om AI-implementaties op een financieel verantwoorde manier aan te pakken. Daarom kan het voordelig zijn om de toepassingsontwikkeling te starten met een systeem met een discrete GPU (dGPU). Deze opstelling stelt engineers in staat hun modellen te ontwikkelen, te kwantificeren en te optimaliseren, en vervolgens vol vertrouwen te experimenteren met het targeten van verschillende apparaten om de prestaties te benchmarken.

Als een engineer bijvoorbeeld zijn toepassing valideert op een Helix 520-serie systeem met een NVIDIA RTX 4000 Ada GPU, is het essentieel om te begrijpen hoe de resultaten aansluiten bij de uiteindelijke doelen van de toepassing. Deze evaluatie kan leiden tot twee primaire scenario's:

  • Als de framesnelheid aanzienlijk hoger is dan het doel:

  • Als de framesnelheid aanzienlijk lager is dan het doel:

Over het algemeen vertaalt het gebruik van kleinere, meer geoptimaliseerde modellen zich direct in goedkopere hardwarevereisten. Naarmate AI-toepassingen de overgang maken van de prototypefase naar pilot-implementaties en uiteindelijk een volledige uitrol, kan het toenemende aantal systemen leiden tot aanzienlijk hogere kosten als de AI-hardware niet zorgvuldig wordt geselecteerd. Denk bijvoorbeeld aan een toepassing die streeft naar 30 fps en onnodig een discrete GPU gebruikt terwijl een geïntegreerde NPU zou volstaan. Bij een implementatie van 1000 apparaten kan deze ogenschijnlijk kleine omissie resulteren in een duizelingwekkend verschil van $ 1,5 miljoen alleen al aan hardware-uitgaven, om nog maar te zwijgen van de aanzienlijke energiebesparingen op de lange termijn.

Table indicating that  in general, smaller models (yolov11m and below) can effectively utilize on-board NPUs or iGPUs where larger models (yolo11l and above) do better with discrete GPUs (either MXM or Traditional.

Gemiddelde framesnelheid voor alle apparaten en modellen. Over het algemeen kunnen kleinere modellen (YOLO11m en lager) effectief gebruikmaken van on-board NPU's of iGPU's, terwijl grotere modellen (YOLO11l en hoger) het beter doen met discrete GPU's (MXM of traditioneel).

Concluderend is de selectie van hardware voor AI-toepassingen een aanzienlijke verantwoordelijkheid die zorgvuldige overweging verdient. Discrete GPU's zijn krachtige tools, maar ze bieden geen pasklare oplossing voor elk probleem. In plaats daarvan moet een passende oplossing, die nauwgezet is afgestemd op de prestatiedoelen van jouw project, de juiste omvang hebben en grondig worden beoordeeld. Deze cruciale keuze kan enorme hardwarebesparingen opleveren en voorkomen dat projecten ontsporen door onbetaalbaar hoge implementatiekosten. Dit draagt er uiteindelijk aan bij dat jouw AI-initiatieven op schaal kunnen floreren door AI-hardware effectief op maat te maken.

Benieuwd hoe de juiste hardware jouw AI-implementaties kan transformeren, maar weet je niet waar je moet beginnen? Neem contact op met ons dedicated AI-consultingteam om jouw project te bespreken.

Praat met een expert

Opmerkingen over testen

  • Tests intern uitgevoerd door OnLogic met producten uit de OnLogic HX520-serie en HX600-serie.

  • Test uitgevoerd bij omgevingstemperatuur.

  • Tests uitgevoerd met Ultralytics YOLO11-detectiemodellen met één video-ingang van 640x640.

  • Alle benchmarks werden uitgevoerd met FP16-precisie.

  • De doorvoersnelheid omvat de voorverwerkingstijd. De modeldoorvoersnelheid negeert deze.

  • NPU neemt NMS niet op in elke inference pass.

  • Alle benchmarks werden uitgevoerd met behulp van synchrone inference (één frame tegelijk verwerkt, zodra het vorige voltooid is).

Hunter Golden
Hunter Golden
Hunter Golden is Senior Product Manager bij OnLogic. Hij geeft leiding aan de strategische richting en de groei van de productlijn voor industriële computers. Met een passie voor het oplossen van complexe klant- en industriële uitdagingen speelt Hunter een sleutelrol bij het vormgeven van de productroadmap.

Blijf op de hoogte.

Ontvang als eerste toegang tot de nieuwste producten en Industry 4.0-innovatie, OnLogic Live!-evenementen en meer.