Die richtige Dimensionierung Ihrer Edge-KI-Hardware
Ein Guide zur Optimierung von Computer-Vision-Bereitstellungen
Die Navigation im dynamischen Umfeld der KI-Hardware stellt eine große Herausforderung dar. Angesichts der Vielzahl an Computer-Optionen und komplexen Software-Überlegungen kann es schwierig sein, die ideale Hardware für den jeweiligen Einsatzzweck zu finden. Dies führt häufig dazu, dass KI-Lösungen auf überdimensionierter Hardware laufen, die nicht voll ausgelastet ist. Dies führt zu unnötigen Ausgaben, die die Kosten einer optimal dimensionierten KI-Hardwarelösung bei weitem übersteigen. Dieses Ungleichgewicht zwischen Kosten und Leistung verschärft sich bei größeren Implementierungen und kann die Gesamtrendite für Unternehmen mit zunehmenden KI-Initiativen mindern.
Dieser Artikel untersucht die wesentlichen Faktoren für die Auswahl der passenden Hardware für Ihre KI-Anwendung. Sie erhalten wertvolle Einblicke in die Leistungsoptimierung, die effektive Kostenverwaltung und die langfristige Sicherung Ihrer KI-Infrastruktur. Unser Ziel ist es, Sie mit dem nötigen Wissen auszustatten, damit Sie fundierte Entscheidungen treffen können, die den individuellen Anforderungen Ihres Projekts entsprechen, und Ihnen schlussendlich dabei zu helfen, Ihre KI-Ziele zu erreichen.
Sind Sie bereit, KI zu nutzen, wissen aber nicht, wo Sie anfangen sollen? Kontaktieren Sie unser engagiertes KI-Beratungsteam.
Mit Expert:innen sprechenDefinition Ihrer Edge-KI-Vision: Beginnen Sie mit den Projektzielen
Bevor Sie sich mit der Auswahl der Edge-Hardware für den Einsatz von Vision-KI befasst, ist es entscheidend, die Ziele der Anwendung klar zu definieren. Kritische Leistungsmerkmale umfassen typischerweise die Latenz des KI-Modells und den Durchsatz der Bildrate. Die Angaben umfassen in der Regel Faktoren wie Videostreams und Auflösung. Ihre Projektziele werden häufig anhand spezifischer Kennzahlen gemessen, wie zum Beispiel:
Bildrate (fps): Anzahl der pro Sekunde verarbeiteten Bilder, wichtig für Echtzeitanwendungen
Genauigkeit: Sicherstellung, dass das KI-Modell sein Ziel zuverlässig identifiziert – beispielsweise ein Modell zur Erkennung von Fahrzeugen, das Autos präzise von Motorrädern, Lastwagen, Fahrrädern oder sogar Pferden unterscheidet
Latenz: die Verarbeitungsgeschwindigkeit und die damit verbundene Verzögerung innerhalb der Anwendung
Sobald diese Ziele festgelegt sind, können verschiedene Variablen angepasst werden, um das gewünschte Ergebnis zu erzielen. In den folgenden Abschnitten untersuchen wir insbesondere die Auswirkungen der KI-Modellgröße und des Gerätetyps auf die Gesamtleistung. All dies trägt dazu bei, die richtige KI-Hardware für Ihre individuellen Anforderungen zu finden.
Edge-KI-Modelle verfügen über eine deterministische Ausgabe basierend auf Dateneingaben, Modellgrößen und dem Inferenzgerät.
Modellgrößen und Leistungskompromisse verstehen
Wenn Sie vortrainierte KI-Modelle in Betracht ziehen, wie die fünf verschiedenen Größen, die Ultralytics für YOLO11 (You Only Look Once) anbietet, ist es entscheidend, die wichtigsten Merkmale zu verstehen. Diese Merkmale beeinflussen die Leistung und umfassen typischerweise:
Parameter: Diese Kennzahl gibt die Gesamtgröße und Komplexität des Modells an.
FLOPs (Gleitkommaoperationen): FLOPs quantifizieren die Rechenleistung, die das Modell zur Ausführung seiner Aufgaben benötigt.
mAP (mittlere durchschnittliche Präzision): Bei der Objekterkennung dient mAP als primäre Messgröße für die Genauigkeit und gibt an, wie präzise das Modell Objekte identifiziert und lokalisiert.
Um diese Kompromisse zu veranschaulichen, betrachten wir die Modelle YOLO11n (Nano) und YOLO11x (extragroß). YOLO11n ist das kleinste Modell mit 2,6 Millionen Parametern und 6,5 Milliarden FLOPs. Dadurch ist es außergewöhnlich schnell in der Inferenz und benötigt nur minimale Rechenleistung. Diese Effizienz geht jedoch auf Kosten der Genauigkeit.
Im Gegensatz dazu ist YOLO11x mit 56,9 Millionen Parametern und anspruchsvollen 194,9 Milliarden FLOPs das größte Modell. Dies stellt zwar einen deutlichen Anstieg des Rechenaufwands dar – fast 30 Mal mehr FLOPs als beim Nano-Modell – die entsprechende Verbesserung der Genauigkeit ist jedoch relativ gering. Beispielsweise erreicht das YOLO11n-Modell einen mAP von 39,5, während das YOLO11x-Modell 54,7 erreicht. Dies entspricht einer Verbesserung von etwa 38 Prozent. Es zeigt, dass größere Modelle zwar eine höhere Genauigkeit bieten, die Gewinne jedoch im Verhältnis zum erheblichen Anstieg des Rechenaufwands und den potenziellen Auswirkungen auf die Verarbeitungsgeschwindigkeit oft geringer ausfallen. Dieses Verständnis ist der Schlüssel zur effektiven Dimensionierung von KI-Hardware.
Zur weiteren Veranschaulichung dieser Kompromisse zeigt die untenstehende Tabelle detailliert die Merkmale und die Leistung der verschiedenen YOLO11-Modellvarianten:
Ein Vergleich der YOLO-Modellgrößen im Hinblick auf Geschwindigkeit und Genauigkeit
Bildraten mit einer diskreten GPU verstehen
Für viele anspruchsvolle Edge-KI-Implementierungen wird eine diskrete GPU (dGPU) wie die NVIDIA RTX 4000 Ada SFF GPU oft als Maßstab für die Leistung angesehen. Um die Fähigkeiten solcher Hardware für verschiedene KI-Modellgrößen zu bewerten, hat OnLogic ein Experiment mit verschiedenen Gerätetypen durchgeführt.
Unsere Tests konzentrierten sich auf Inferenzergebnisse für verschiedene YOLO11-Modelle und nutzten NVIDIA TensorRT zur Optimierung mit einem einzelnen Videostream mit einer Auflösung von 640 x 640. Die Daten zeigten beeindruckende Bildraten: Das Nano-Modell erreichte 954 Bilder pro Sekunde (fps), während selbst das extragroße Modell 167 fps lieferte. Obwohl diese Ergebnisse mit einem einzelnen Videostream mit niedriger Auflösung erzielt wurden, bildet dieses Setup viele gängige Anwendungsfälle der Computer Vision am Edge präzise ab.
Diese überzeugenden Zahlen werfen bei vielen Projektleitenden und Ingenieur:innen eine kritische Frage auf: Ist eine leistungsstarke diskrete GPU für Ihre spezifische Anwendung wirklich notwendig, insbesondere wenn diese einzelne Komponente die Kosten eines einzelnen Knotens um etwa 1.500 bis 2.000 Euro erhöhen kann? Diese Untersuchung unterstreicht die Bedeutung einer angemessenen Dimensionierung der KI-Hardware, um unnötige Ausgaben zu vermeiden und ein optimales Systemdesign zu gewährleisten.
Die Bildrate und Latenzleistung der NVIDIA RTX 4000 ADA über alle Modellgrößen hinweg liegt durchweg über 100 fps.
Die richtige Dimensionierung für Edge-KI: optimale Leistung erzielen, ohne zu viel auszugeben
Viele unserer Kunden streben für verschiedene Edge-KI-Anwendungen ein Leistungsziel von etwa 30 Bildern pro Sekunde (fps) an. Um zu demonstrieren, wie dies effizient erreicht werden kann, führte OnLogic weitere Tests durch. Diese konzentrierten sich auf die YOLO11-Modelle klein (s), mittel (m) und groß (l), die alle auf unseren Industrie-Computern der Helix 520-Serie ausgeführt wurden.
Unsere Ergebnisse zeigen, dass das System bei einer einzelnen Videostream-Anwendung durch die Nutzung der Intel Core™ Ultra Series 1 (Meteor Lake) und Core Ultra Series 2 (Arrow Lake) NPU mit OpenVINO™ dieses 30-fps-Ziel bequem erreichen oder übertreffen kann, ohne dass ein separater Beschleuniger erforderlich ist. Tatsächlich kann die Ausführung des Modells auf der integrierten GPU (iGPU) des Systems diese Leistungsanforderung leicht übertreffen. Bei Anwendungen, die eine interne CPU-Geräteauslastung erfordern, erzielen die Arrow Lake-CPUs von Intel außergewöhnliche Ergebnisse. Sie erreichen 76 fps mit der NPU und beeindruckende 108 fps mit der iGPU.
Geräte und Modelle, die zwischen 30 und 240 Bilder pro Sekunde erreichen. Bei kleineren Modellen erreicht integrierte Hardware die Ziele ohne separate GPUs.
Diese Ergebnisse unterstreichen eine wichtige Erkenntnis: Für viele Anwendungen mit einzelnen Videostreams ist eine separate GPU oft unnötig und stellt wahrscheinlich eine überdimensionierte Lösung dar. Die Entscheidung zwischen NPU oder iGPU wird dann zu einer Frage der Feinabstimmung anhand spezifischer Faktoren wie Latenz und Stromverbrauch. Darüber hinaus zeigen unsere Tests, dass die integrierte GPU des Intel-CPU-Pakets sogar dedizierte KI-Inferenzbeschleuniger wie den von uns getesteten Hailo-8 übertreffen kann.
Wenn jedoch ein größeres KI-Modell für anspruchsvollere oder leistungsstärkere Anwendungen benötigt wird, sind diskrete GPUs (dGPUs) eindeutig die beste Wahl. In Szenarien, die auf Inferenzergebnisse mit mehr als 120 fps mit mittleren, großen oder extragroßen Modellen abzielen, zeigt sich die Leistung einer dGPU. Unsere Daten zeigen, dass die NVIDIA RTX 2000 in diesen Hochleistungsszenarien nahezu identisch mit dem A4500 MXM-Formfaktor abschneidet.
Hier ist die Hardwareauswahl entscheidend und erfordert eine sorgfältige Abwägung von Preis und Leistung. Ein wesentliches Unterscheidungsmerkmal des MXM-Formfaktors ist seine höhere Temperaturbeständigkeit und Isolierung gegen den Eintritt von Fremdkörpern. Dadurch ist er im Vergleich zum RTX 2000 widerstandsfähiger gegenüber widrigen Umgebungsbedingungen. Umgekehrt bietet ein System mit der RTX 2000 in der Regel einen Preisvorteil. Für einzelne Videostream-Anwendungen mit Leistungszielen um die 30 fps reichen integrierte NPUs und iGPUs in der Regel aus. Dies unterstreicht die Bedeutung einer optimal dimensionierten KI-Hardware, die den genauen Anforderungen Ihres Projekts entspricht.
MXM-Grafikprozessoren der Spitzenklasse sind durchaus mit der RTX 2000 ADA vergleichbar. Sie eignen sich optimal für größere Inferenzmodelle in Edge-KI-Anwendungen, insbesondere unter widrigen Betriebsbedingungen.
Vom Prototyping zur Skalierung: Eine kosteneffiziente KI-Implementierung erreichen
Angesichts der Vielzahl an Leistungsergebnissen, die mit unterschiedlichen KI-Modellen, Eingangsgrößen, Genauigkeitszielen und Geräten erzielt werden können, ist es von größter Bedeutung, den Einsatz von KI in finanziell verantwortungsvoller Weise anzugehen. Daher kann es vorteilhaft sein, die Anwendungsentwicklung mit einem System zu beginnen, das über eine diskrete GPU (dGPU) verfügt. Mit dieser Konfiguration können Ingenieur:innen ihre Modelle entwickeln, quantisieren und optimieren und anschließend sicher mit verschiedenen Geräten experimentieren, um ihre Leistung zu bewerten.
Wenn ein Ingenieur beispielsweise seine Anwendung auf einem System der Helix 520-Serie mit einer NVIDIA RTX 4000 ADA-GPU validiert, ist es wichtig zu verstehen, wie die Ergebnisse mit den Zielen der Anwendung übereinstimmen. Diese Evaluierung kann zu zwei Hauptszenarien führen:
Wenn die Bildrate deutlich über dem Ziel liegt:
Wenn die Bildrate deutlich niedriger ist als das Ziel:
Im Allgemeinen führt die Nutzung kleinerer, optimierterer Modelle direkt zu geringeren Hardwarekosten. Wenn KI-Anwendungen von der Prototypenphase über Pilotprojekte schließlich zur vollständigen Einführung übergehen, kann die steigende Anzahl von Systemen zu drastisch erhöhten Kosten führen, wenn die KI-Hardware nicht sorgfältig ausgewählt wird. Betrachten wir beispielsweise eine Anwendung, die 30 fps anstrebt und unnötigerweise eine diskrete GPU nutzt, obwohl eine integrierte NPU ausreichen würde. Bei einer Bereitstellung von 1.000 Geräten kann dieses scheinbar kleine Versäumnis allein bei den Hardware-Ausgaben zu einer erstaunlichen Differenz von 1,5 Millionen US-Dollar führen, ganz zu schweigen von erheblichen langfristigen Energieeinsparungen.
Die durchschnittlichen Bildraten werden geräte- und modellübergreifend ermittelt. Im Allgemeinen können kleinere Modelle (YOLO11m und darunter) integrierte NPUs oder iGPUs effektiv nutzen. Größere Modelle (YOLO11l und darüber) erzielen hingegen bessere Ergebnisse mit dedizierten GPUs (entweder MXM oder herkömmlich).
Zusammenfassend lässt sich sagen, dass die Auswahl der Hardware für KI-Anwendungen eine bedeutende Verantwortung ist, die sorgfältige Überlegung erfordert. Diskrete GPUs sind leistungsstarke Werkzeuge, aber sie sind keine Universallösung für jedes Problem. Vielmehr sollte eine geeignete Lösung passend dimensioniert und gründlich bewertet werden. Dabei muss sie sorgfältig auf die Leistungsziele Ihres Projekts abgestimmt sein. Diese entscheidende Wahl kann erhebliche Hardware-Einsparungen ermöglichen. Sie verhindert zudem, dass Projekte durch unerschwinglich hohe Bereitstellungskosten scheitern. Letztendlich ermöglicht dies, dass Ihre KI-Initiativen durch effektiv dimensionierte KI-Hardware in großem Maßstab erfolgreich umgesetzt werden können.
Möchten Sie erfahren, wie die richtige Hardware Ihre KI-Implementierungen transformieren kann, wissen aber nicht, wo Sie anfangen sollen? Kontaktieren Sie unser engagiertes KI-Beratungsteam, um Ihr Projekt zu besprechen.
Mit Expert:innen sprechenHinweise zu den Tests
Die Tests wurden intern von OnLogic unter Verwendung von Produkten der HX520- und HX600-Serien von OnLogic durchgeführt.
Die Tests wurden bei Umgebungstemperatur durchgeführt.
Die Tests wurden mit Ultralytics YOLO11-Erkennungsmodellen unter Verwendung eines einzelnen 640x640-Videoeingangs durchgeführt.
Alle Benchmarks wurden mit FP16-Präzision ausgeführt.
Der Durchsatz beinhaltet die Vorverarbeitungszeit. Der Modell-Durchsatz ignoriert diese.
NPU schließt NMS nicht in jeden Inferenzdurchlauf mit ein.
Alle Benchmarks wurden mit synchroner Inferenz ausgeführt (jeweils 1 Frame wird verarbeitet, sobald der vorherige abgeschlossen ist).