Laden...
Laden...
Laden...
KI9. November 20235.4 min Lesezeit

Was ist OpenVINO und welche Hardware-Anforderungen gibt es?

A graphic of the OpenVINO logo

Deep Learning ist eine Art der künstlichen Intelligenz (KI) und ein Teilbereich des machine learning. Der Schwerpunkt liegt darauf, einem Computer beizubringen, auf ähnliche Weise zu lernen wie das menschliche Gehirn. Um dies zu erreichen, nutzen Deep-Learning-Modelle neuronale Netzwerke.

Um die Leistung und Genauigkeit eines Deep-Learning-Modells zu erhöhen, gibt es mehrere Softwareangebote, die zum Zweck der Deep-Learning-Optimierung entwickelt wurden. Eine der beliebtesten Optionen ist OpenVINO™. Im Folgenden wird erläutert, was OpenVINO genau ist und wie es funktioniert. Wir zeigen Ihnen, wie es verwendet werden kann und welche Hardware-Anforderungen bestehen.

Was ist OpenVINO?

OpenVINO oder Open Visual Inference and Neural Network Optimization ist ein von Intel® entwickeltes Open-Source-Toolkit zur Optimierung von Deep-Learning-Modellen. OpenVINO kann zur Beschleunigung von Lösungen für die Verarbeitung natürlicher Sprache („Natural Language Processing, NLP), Machine Learning, Computer Vision und mehr verwendet werden. Das OpenVINO-Toolkit lässt sich von der Modellerstellung bis zur Bereitstellung einsetzen. Jedoch liegt eine seiner Hauptstärken in der Optimierung von Deep-Learning-KI-Modellen.

Wie funktioniert OpenVINO?

Der Workflow von OpenVINO lässt sich in vier Hauptschritten zusammenfassen:

  • Modell-Training: Zunächst wird das Deep-Learning-Modell außerhalb von OpenVINO mit dem Framework der Wahl trainiert. OpenVINO kann PyTorch-, ONNX- und TensorFlow-Modelle akzeptieren.

  • Modell-Optimierung: Der Model Optimizer lädt dieses Modell, liest es, erstellt eine interne Darstellung davon und optimiert es dann. Dabei wird das gewählte Framework verwendet. Danach wird die IR (Intermediate Representation) erzeugt. Diese liegt in Form von zwei Dateien vor: .xml und .bin.

  • Inferenz-Engine: Die Inferenz-Engine wird verwendet, um die IR zu lesen und die eigentliche Inferenz des Modells durchzuführen. Dazu verwendet sie unterstützte Intel-Hardware, darunter die CPU (Central Processing Unit), GPU (Graphics Processing Unit), NPU (Neural Processing Unit), FPGA (Field-Programmable Gate Array) oder Intel GNA (Gaussian and Neural Accelerator).

  • Bereitstellung der Anwendung: Die Anwendung wird auf verschiedenen spezifizierten Geräten bereitgestellt.

Was macht OpenVINO?

Die Hauptvorteile der Deep-Learning-Optimierung mit OpenVINO sind Effizienz und Geschwindigkeit. OpenVINO hilft bei der Koordinierung der verschiedenen Hardware-Elemente, die für das Training und die Optimierung eines KI-Modells erforderlich sind. Eine effektive Optimierung hilft dabei, die Verlustfunktion schneller zu minimieren. Die Verlustfunktion ist die Differenz zwischen der vorhergesagten Ausgabe und der tatsächlichen Ausgabe eines KI-Modells. Die Minimierung der Verlustfunktion wird durch die Anpassung der Hyperparameter des Modells während des Trainings erreicht. Hyper-Parameter sind Details, die dem Modell während des Trainings geliefert werden. Sie sind nicht zu verwechseln mit den Ausgabeparametern, die Teil des resultierenden Modells sind.

Zu den Hyperparametern, die innerhalb des Modells angepasst werden können, gehören Dinge wie Chargengröße, Gewichtsabbau, Dynamik und Lernrate. Betrachten wir die Optimierung der Lernrate als Beispiel.

Die Optimierung der Lernrate

Um die Verlustfunktion zu minimieren, kann die Lernrate (die Geschwindigkeit, mit der sich das Modell anpasst) entweder höher oder niedriger eingestellt werden. Ist die Lernrate zu niedrig, werden mehr Zeit und Speicherplatz benötigt, um das Modell zu trainieren. Allerdings bedeutet eine niedrigere Lernrate auch eine stetige Annäherung an die minimale Verlustfunktion. Andererseits kann eine höhere Lernrate das Modell viel schneller lernen lassen. Sie birgt aber auch das Risiko, dass der minimale Verlustwert überschritten wird.

Die Anpassung der Lernrate hilft dabei, den idealen Punkt zwischen einer zu niedrigen und einer zu hohen Lernrate zu finden.

Beispiele für die Anwendung von OpenVINO

OpenVINO wird in zahlreichen Bereichen eingesetzt, von der Fertigung bis hin zu Smart Cities und dem Gesundheitswesen. Hier finden Sie einige Beispiele für häufig verwendete computer vision-Modelle, bei deren Optimierung OpenVINO helfen kann:

  • Bildausbesserung: Mithilfe von Image Inpainting können beschädigte oder fehlende Pixel in Bildern und Videos wiederhergestellt werden. Inthis demo from Intel finden Sie ein Beispiel dafür, wie die Bildausbesserung aussieht.

  • Gesichtserkennung: Die Gesichtserkennung dient dazu, das Gesicht einer Person anhand eines Bildes oder Videos zu identifizieren. Viele moderne Smartphones verfügen beispielsweise über eine Gesichtserkennungstechnologie. So können Sie Ihr Telefon entsperren, indem das Gerät einfach Ihr Gesicht liest.

  • Objekterkennung: Die Objekterkennung ermöglicht es einem Computer-Vision-System, bestimmte Objekte in visuellem Input wie Bildern und Videos zu erkennen. Ein Objekterkennungsmodell könnte zum Beispiel ein Bild einer Straße analysieren und Dinge wie Gesichter, Handtaschen oder andere Dinge erkennen, für deren Wahrnehmung das Modell trainiert wurde.

Open Vino Examples

OpenVINO und generative KI

Generative AI ist eine Art der künstlichen Intelligenz. Sie konzentriert sich auf die Generierung neuer Inhalte aus Trainingsdaten und stützt sich weitgehend auf die Inferenz von Modellen. OpenVINO kann verwendet werden, um diese Inferenz und die Entwicklung von generativen KI-Modellen zu beschleunigen. Nehmen wir Stable Diffusion als Beispiel.

Stable Diffusion ist eine Art von generativem KI-Text-zu-Bild-Modell. Es wird zur Erstellung realistischer, detaillierter Bilder aus Texteingaben verwendet. Diffusionsmodelle funktionieren, indem sieGaussian noise zu den Trainingsdaten hinzufügen und dieses Rauschen dann entfernen (oder „entrauschen“), um die Daten wiederherzustellen. Auf diese Weise lernt das Modell, wie das Rauschen entfernt werden kann, um qualitativ hochwertigere Bilder zu erstellen. Dieser Prozess erweist sich jedoch oft als sehr langsam. Außerdem können die Modelle sehr viel Speicherplatz beanspruchen. Aus diesem Grund müssen Sie das Modelltraining und die Inferenzierung optimieren, um die Lösung praktikabel zu machen. An dieser Stelle kommt OpenVINO ins Spiel.

OpenVINO beschleunigt das Modelltraining und optimiert die Inferenz. Es erweitert die Möglichkeiten, wo und wie Sie Modellinferenzen durchführen können.

Die Hardware-Anforderungen für OpenVINO

OpenVino kann nur auf Intel-Hardware ausgeführt werden. Um das OpenVINO-Toolkit verwenden zu können, muss Ihr System über eine Intel CPU, GPU, NPU, FPGA oder GNA verfügen. Weitere Informationen über OpenVINO-Geräte und die unterstützte Hardware finden Sie auf this page.

OpenVINO mit dem Axial Edge-Server von OnLogic nutzen

Ein Foto einer Hand, die die Oberseite des Axial Edge Servers von OnLogic öffnet

OpenVINO von Intel ermöglicht die Optimierung von Deep-Learning-Modellen von nahezu jedem Framework aus. Es kann auf einer Vielzahl von Intel-Hardware wie CPUs, GPUs (einschließlich iGPUs), NPUs, FPGAs und GNAs eingesetzt werden.

Der AC101 Axial Edge-Server von OnLogic unterstützt die Intel Hybrid-Core-Prozessoren der 13. Generation (früher bekannt als „Raptor Lake“). Sie besitzen integrierte Intel UHD 770 Grafikkarten und können bis zu 128 GB DDR5-Speicher unterstützen. Darüber hinaus unterstützt der AC101 GPUs in voller Länge, wie die Intel Arc A40 und A60. So werden noch leistungsfähigere Verarbeitungsfunktionen ermöglicht. In Verbindung mit OpenVINO bietet Axial die ideale Lösung für das Training und die Inferenz von KI-Modellen am Edge.

Sie möchten mehr zur Verwendung von OpenVINO mit dem Axial-Edge-Server von OnLogic erfahren? Dann contact our technical support team.

Claireice Mathai
Claireice Mathai
Claireice Mathai ist Content Creator bei OnLogic. Wenn sie nicht schreibt, spielt sie gerne Gitarre und Computerspiele.

Bleiben Sie auf dem Laufenden.

Seien Sie unter den Ersten, die Zugang zu den neuesten Produkten und Industrie 4.0-Innovationen, OnLogic-Events und mehr erhalten.