KI-Inferenz: Vorteile einer Hybrid-Cloud-Lösung
KI-Inferenz ist der Prozess, bei dem ein Modell oder Algorithmus der künstlichen Intelligenz (KI) sein KI-Training nutzt, um auf der Grundlage neuer Daten Schlussfolgerungen zu ziehen. Da viele Unternehmen bildverarbeitungsbasierte KI-Inferenz als Teil ihrer Strategie zur digitalen Transformation nutzen möchten, werden sie vor folgende Wahl gestellt:
Entweder senden sie das Video zur Verarbeitung in die Cloud
oder
sie erfassen die Inferenz am Edge auf KI-optimierten PCs.
Die Frage ist – muss es eine Entscheidung zwischen zwei Möglichkeiten sein? Wie wäre es mit einer Hybrid-Cloud-Lösung?
Entdecken Sie KI-LösungenWährend Cloud-Inferenz-Implementierungen eine einfache Skalierbarkeit bieten, können die Kosten für die Datenübertragung für das Video-Streaming vom Edge zur Cloud teuer sein und sind oft zu hoch, um eine angemessene Investitionsrendite zu erzielen. Die Auswertung in der Cloud erhöht auch die Latenzzeit. Das bedeutet, dass es schwieriger ist, auf die Inferenzdaten in Echtzeit zu reagieren. Der Einsatz einer ausschließlich edge-basierten Inferenzlösung bedeutet jedoch, dass nur lokale Anwender von den generierten Daten profitieren können. Hier kommt die Hybrid-Cloud-Inferenzierung ins Spiel.
Hybrid-Cloud-Inferenz
Die lokale Inferenzierung und Kodierung von Video-Streams und das anschließende Senden von optimierten Video-Feeds an die Cloud ermöglichen eine schnellere Reaktion auf Ereignisse, geringere Übertragungskosten und eine skalierbare Methode für die Edge-Video-Inferenz.
AWS, Intel und OnLogic haben gemeinsam eine Lösung entwickelt, die Edge-Inferenzierung mit der Leistungsfähigkeit der AWS-Cloud kombiniert.
Source: Intel
Ein Beispiel für Edge-Video-Streaming und -Inferenzierung
Zur Veranschaulichung des Konzepts zeigen wir Ihnen, wie eine Hybrid-Cloud-Lösung eingesetzt werden kann, um zwei häufige Herausforderungen an Flughäfen zu lösen:
Sicherstellung der Einhaltung von Sicherheitsvorschriften für den Bodenbetrieb
das Abstellen von Tankwagen in ausgewiesenen Bereichen
das Tragen von Warnwesten durch die Mitarbeitenden
Überprüfung der Start- und Landebahnbegrenzungen auf unbefugtes Eindringen
die Überwachung von Zäunen im Hinblick auf das Eindringen von Wildtieren oder Menschen
Umgang mit dem Video-Stream
In beiden Flughafenszenarien werden die Video-Streams von Kameras übertragen, die dort installiert sind, wo sie benötigt werden. Eingehende komprimierte Video-Streams werden an das System gesendet und dekodiert. Das heißt, sie werden aus dem eingehenden Codec-Format dekomprimiert, um eine Inferenz mit einem unterstützten Video-Codec vorzubereiten.
Es ist wichtig, den richtigen Kameratyp für die jeweilige Anwendung zu verwenden. Beispielsweise wäre für die Erkennung der Umgebung eine nachtsichtfähige Kamera erforderlich, da der Einsatzort in der Nacht möglicherweise nur wenig Licht erhält. Am Tor hingegen gibt es reichlich künstliches Licht.
Videoverarbeitung
Die Videobilder durchlaufen den KI-Inferenz-Algorithmus mit Klassifizierung, Objekterkennung und Erkennung optischer Zeichen. Dabei werden auch Informationen wie Begrenzungsrahmen und Inferenz-Metadaten in die Videobilder integriert. Außerdem kann auf der Grundlage der aus der Inferenz gewonnenen Informationen lokal eine Aktion durchgeführt werden.
Hardware für KI-Inferenz
Je nach Komplexität der Inferenzvorgänge können die Arbeitslasten erhebliche Hardware-Ressourcen beanspruchen. In der Vergangenheit wurde dies mit separaten GPUs erreicht, die sich bei der Berechnung für KI-Anwendungen auszeichnen. Mit OpenVINO, dem KI-Beschleunigungs-Toolkit von Intel, können Sie die Vorteile der Optimierung für Intel CPUs, integrierte Iris Xe-Grafikkarten und separate Intel Arc-Grafikprozessoren nutzen. So können Sie die Inferenz entsprechend den Projektanforderungen durchführen.
Zur Einhaltung der Sicherheitsvorschriften:
Verwenden Sie die Objekterkennung und -klassifizierung, um Mitarbeitende innerhalb eines Rahmens zu identifizieren und sicherzustellen, dass sich die Warnwesten im Bildausschnitt mit den Mitarbeitenden überschneiden.
Verwenden Sie die Objekterkennung, um das Tankfahrzeug zu identifizieren und sicherzustellen, dass es an der richtigen Stelle geparkt ist.
Dazu könnte auch eine Erkennung optischer Zeichen zur Identifizierung der Gefahrenkennzeichnung gehören. So wird sichergestellt, dass das Flugzeug mit der richtigen Kraftstoffsorte betankt wird.
Für die Sicherheit im Umkreis:
Nutzen Sie die Objekterkennung und -klassifizierung, um Tiere und Menschen zu verfolgen und zu kategorisieren. So wird sichergestellt, dass sie in den entsprechenden Umkreis nicht eindringen oder ihn durchqueren.
In beiden Fällen besteht ein wichtiger Teil der KI-Anwendung darin, die Ergebnisse der Rückschlüsse mit den Maßnahmen zu verknüpfen, die zur Behebung des aufgezeigten Problems erforderlich sind. Je nach Schweregrad kann dies einfach die Protokollierung des Ereignisses oder die sofortige Einleitung von Maßnahmen zur Behebung der Situation erfordern.
Warnwesten: Zeichnen Sie einen Videoausschnitt/Bild auf, der den Verstoß zeigt, und benachrichtigen Sie die Betriebsleitung am Boden.
Betankung des Fahrzeugs: Protokollieren Sie das falsche Parken zur späteren Überprüfung. Verwenden Sie intelligente Steuergeräte an den Kraftstofffahrzeugen, um den Kraftstofffluss zu stoppen, wenn eine falsche Kraftstoffsorte verwendet wird.
Sicherheit im Umkreis: Spielen Sie laute Geräusche ab oder schalten Sie ein Licht ein, wenn sich jemand dem Zaun nähert, um ein unbefugtes Eindringen zu verhindern. Sollte es dennoch zu einem Betreten des Geländes kommen, benachrichtigen Sie sofort den Sicherheitsdienst und die Flugsicherung und lösen Sie einen Alarm aus.
Wie bereits erwähnt, haben diese verschiedenen KI-Operationen unterschiedliche Hardware-Anforderungen und Einsatzorte. Für den Einsatz am Boden könnten die Systeme auf Edge-Servern in einer kontrollierten Umgebung zentralisiert werden. Für die Erkennung im Umkreis könnten kleine Edge-Geräte direkt neben den Kameras eingesetzt werden. In diesem Fall ist möglicherweise eine Mobilfunkverbindung erforderlich, da eine drahtgebundene Netzwerkanbindung eventuell nicht verfügbar ist.
Offline-Speicher vs. Verfügbarkeit in der Cloud
Eine wichtige Entscheidung, die im Rahmen einer großen Video-Streaming-Lösung getroffen werden muss, ist die Frage, welche Informationen in die Cloud gesendet und welche offline gespeichert werden müssen.
Für Datenströme, die kontinuierlich überwacht werden müssen, ist es hilfreich, sie den Nutzer:innen in der Cloud bereitzustellen.
Für die Ereignisprotokollierung kann es ausreichen, die Video-Streams vor Ort einige Tage lang zu speichern, bevor sie gelöscht werden, und die wichtigsten Videosegmente nur im Falle eines Ereignisses an die Cloud zu senden.
AV1-Kodierung und KVS-Formatierung
Um hocheffiziente Streams zu erstellen, würde unsere Beispiellösung den AV1-Video-Codec verwenden, ein hocheffizientes Format, das sich ideal für das Streaming in die AWS Cloud eignet. Intel-Prozessoren und -GPUs enthalten Optimierungen für den AV1-Codec.
Darüber hinaus ermöglicht die Formatierung auf das AWS Kinesis Video Streams (KVS)-Format eine einfache Aufnahme direkt in die AWS Cloud. KVS ist ein AWS-Service, der für das sichere Streaming von Videos von Edge-Geräten zur Verwendung mit anderen AWS-Services entwickelt wurde. Durch die Erstellung dieser hocheffizienten Streams werden die Kosten für die Datenübertragung von Edge-zu-Cloud-Geräten erheblich reduziert, insbesondere von Geräten mit 4G/5G-Verbindung.
In der AWS-Cloud
Sobald die Streams an die Cloud gesendet wurden, können sie einfach an andere Anwendungen oder an relevante Benutzer gestreamt werden, die KVS nutzen. Für die Sicherheit der Umgebung können diese Streams direkt an das Sicherheitsteam zur kontinuierlichen Überwachung weitergeleitet werden. Gleichzeitig kann das Sicherheitsteam auf protokollierte Videostreams zugreifen, um Ereignisse zu erkennen und Probleme zu beheben.
Hybrid-Cloud-Inferenz: Eine leistungsstarke Lösung für bildverarbeitungsbasierte KI
Zusammenfassend lässt sich sagen, dass der Hybrid-Cloud-Ansatz für KI-Inferenz eine leistungsstarke Lösung für Unternehmen darstellt, die ihre bildverarbeitungsbasierten Prozesse optimieren möchten. Indem die Stärken von Edge- und Cloud-Computing genutzt werden, bietet diese Lösung eine Reaktionsfähigkeit in Echtzeit, eine kostengünstige Datenübertragung sowie Skalierbarkeit.
Erste Schritte
Sie möchten gleich loslegen? Durch die Zusammenarbeit mit Branchenführern wie AWS und Intel hilft OnLogic Ihnen, das volle Potenzial Ihrer Daten zu erschließen. Entdecken Sie die KI-Lösungen von OnLogic, darunter auch Beratungsdienste.
Entdecken Sie KI-LösungenÄhnliche Inhalte von OnLogic
Was ist OpenVINO und welche Hardware-Anforderungen gibt es?
3 Gründe, warum Sie Wireless-Kommunikation für Edge-Computer benötigen
Mit AWS Greengrass kompatible Gateways
Getting started with AI Inference (auf Englisch)