Laden...
Laden...
Laden...
KI8. März 202411.7 min Lesezeit

Edge-KI-Architektur: Das Edge als Zuhause für KI

A graphic of edge AI architecture

KI scheint in letzter Zeit Teil jeder Diskussion über Technologie zu sein. Während KI eine Zeit lang mehr Hype als Realität zu sein schien, befinden wir uns jetzt offenbar an einem wichtigen Wendepunkt. Ein Beispiel für die Allgegenwärtigkeit von KI ist der „KI-Hardware- und Edge-KI“-Gipfel, an dem ich im September 2023 teilnehmen durfte. Andrew Ng, einer der führenden Köpfe auf dem Gebiet der KI, eröffnete seine Rede mit der Beschreibung von KI als „neue Elektrizität“.

Nach Angaben von Accenture und Frontier Economics kann KI die Produktivität hochqualifizierter Arbeitskräfte um bis zu 40 Prozent steigern. Das ist ein vielversprechender Ansatz. Während wir in der Vergangenheit Produktivitätssteigerungen von ein paar Prozent für eine enorme Verbesserung hielten, sind solche Sprünge wirklich transformativ. Aber warum? Warum gibt es plötzlich so viel Bewegung und Enthusiasmus in Sachen KI? KI ist nicht neu. Schließlich gibt es die grundlegenden Konzepte bereits seit den 1950er Jahren. Werfen wir einen Blick auf die Faktoren, die das Wachstum der KI vorantreiben.

Was treibt das Wachstum der KI voran?

Zunächst einmal wurden bei den tiefen neuronalen Netzen erhebliche Fortschritte erzielt. Die Einführung des „Transformatormodells" durch Ashish Vaswani im Jahr 2017 im Jahr 2017 gilt als Wendepunkt in diesem Bereich. Das auf einem Transformator basierende Modell ist genauer als andere Modelle. Es ist nämlich in der Lage, die Beziehung zwischen aufeinanderfolgenden Elementen zu verstehen, die weit voneinander entfernt sind. Darüber hinaus ist es schnell, weil es den wichtigsten Teilen einer Sequenz mehr Aufmerksamkeit schenkt. Diese Herausforderungen stellten bisherige Modelle vor große Probleme. Das Transformatormodell war entscheidend für die leistungsfähigen großen Sprachmodelle, die wir heute haben. Darüber hinaus wurde in den letzten Jahren eine enorme Anzahl von vortrainierten Modellen entwickelt, die kostenlos verwendet werden können. Dadurch hat sich der Arbeitsaufwand zur Erstellung eines maßgeschneiderten Modells für einen bestimmten Anwendungsfall drastisch verringert.

Als nächstes ist da die Unmenge an Daten. In modernen Fabriken zum Beispiel werden enorme Datenmengen produziert. In seiner Keynote auf der CES 2024 schätzte Dr. Roland Busch, CEO von Siemens, dass eine hochautomatisierte Fabrik heute jeden Monat etwa 2.000 TB (entspricht dem Datenvolumen von 500.000 Filmen) an Daten erzeugt. Heute wird nur ein sehr kleiner Teil dieser Daten tatsächlich genutzt. Das bedeutet, dass es ein riesiges Potenzial gibt, diese Daten zu sammeln und daraus verwertbare Erkenntnisse zu gewinnen.

Eine weitere wichtige Triebkraft ist der Anstieg der Computerleistung, die KI-Workloads verarbeiten kann. Über das herkömmliche Wachstum der CPU-Rechenleistung nach dem Mooreschen Gesetz hinaus entstehen spezifische sogenannte „Beschleunigerarchitekturen“. Dazu gehören beispielsweise Neural Processing Units (NPUs). Sie sind viel effektiver und leistungsfähiger bei der Verarbeitung neuronaler Netze, die die Grundlage für viele KI-Modelle bilden.

KI wird zu einem festen Begriff

Die Freigabe von ChatGPT durch OpenAI für die Öffentlichkeit im November 2022 ist ein wichtiger Meilenstein in Sachen KI. Warum? Weil es jedem, nicht nur Forschenden oder Technologieexpert:innen, die Möglichkeit gibt, einen kleinen Einblick in die Fähigkeiten von KI zu erhalten. ChatGPT hat in kaum zu überbietender Weise dazu beigetragen, das Bewusstsein, das Interesse und das Verständnis für die Konzepte und das Potenzial der KI bei einem breiten Publikum zu steigern. Dies wiederum hat den Wunsch gestärkt, Wege zur Nutzung von KI zu ermitteln.

Unternehmen erkennen zunehmend die potenziellen Vorteile des Einsatzes von KI in allen Funktionen eines Unternehmens. Bei OnLogic haben wir beispielsweise mehr als 100 potenzielle Anwendungsfälle in den verschiedenen Unternehmensfunktionen identifiziert, in denen KI potenziall zur Steigerung der Effizienz und Effektivität innerhalb des Unternehmens beitragen kann. Das ist eine enorme Chance, und wir dürfen nicht vergessen, dass wir erst am Anfang der Erschließung des Potenzials von KI stehen. Die Unternehmen erkennen, dass sie Gefahr laufen, den Anschluss zu verlieren, wenn sie KI nicht nutzen, um ihre Wettbewerbsfähigkeit auf dem Markt zu steigern. Die Frage, mit der sich die Unternehmen konfrontiert sehen, ist mittlerweile: Können Sie es sich leisten, nicht in KI zu investieren? Laut Forbes erwarten 64 Prozent der Unternehmen weltweit, dass KI die Produktivität steigern wird. Untersuchungen zeigen jedoch, dass im Jahr 2023 in Deutschland nur 13,3 Prozent der Unternehmen KI eingesetzt haben. Einmal mehr wird deutlich, dass eine KI-Welle auf uns zurollt.

Infolgedessen wird erwartet, dass KI von 2023 bis 2030 eine durchschnittliche jährliche Wachstumsrate von 37,3 Prozent aufweisen wird. Lassen Sie uns das in Relation setzen. Nehmen wir zum Beispiel an, dass Sie Anfang 2023 100.000 Euro auf Ihrem Konto haben und keine weiteren Beiträge einzahlen. Wenn Ihr Guthaben mit 37,3 Prozent pro Jahr wächst, dann würde Ihr Guthaben Ende 2030 1.262.886 Euro betragen. Das entspricht einem Wachstum um mehr als den Faktor 12 im Vergleich zu Anfang 2023. Das ist wirklich ein enormes Wachstum! Dieses atemberaubende erwartete Wachstum der KI bedeutet, dass noch viel Arbeit vor uns liegt, um diese KI-Lösungen sowie die Geräte und Infrastruktur zu ihrer Unterstützung zu entwickeln und umzusetzen.

Was und wo ist das Edge?

Wir haben also festgestellt, dass KI Potenzial hat, aber was hat sie mit Edge-Computing zu tun? Lassen Sie uns zunächst sicherstellen, dass wir auf dem gleichen Stand sind, wenn es darum geht, was das Edge ist.

Unser Schwerpunkt liegt auf dem „User Edge“. Dies beschreibt die Hardware in den Räumlichkeiten des Unternehmens. Es kann alles umfassen, von Endpunktgeräten wie SPSen, die Fertigungsanlagen steuern, bis hin zu Hardware auf fahrerlosen Transportfahrzeugen (Automated Guided Vehicles, AGVs), die Produkte oder Komponenten in einer Fabrikhalle bewegen. Das User Edge umfasst auch alle Industrie-PCs, die in der Fabrikhalle eingesetzt werden und auf denen beispielsweise Inferenz-Workloads für ein Machine-Vision-System ausgeführt werden können. Das folgende Diagramm zeigt einen Fertigungsbetrieb mit zwei Produktionsstätten. In jeder Anlage können viele Edge-Geräte untergebracht sein, die beispielsweise Inferenzoperationen durchführen. Das User Edge umfasst in der Regel auch ein lokales Datenzentrum, das für die Datenspeicherung, das Training von Modellen, die Datenanalyse usw. genutzt werden kann.

Eine Grafik zur Erläuterung der Edge-KI-Architektur

Warum Edge-KI-Architektur?

Jetzt kommen wir zum Kern der Frage: Warum ist es in vielen Fällen vorteilhaft, KI-Workloads am Edge auszuführen, anstatt sich auf die Cloud zu verlassen?

Zunächst einmal ist das Edge der Ort, an dem die Daten erzeugt werden. Hier befindet sich die gesamte Betriebstechnologie (Operational Technology, OT) einer Produktionsanlage. Das Senden aller Daten in die Cloud ist teuer. Erinnern Sie sich an das Datenvolumen von 500.000 Filmen, die jeden Monat in einer hochautomatisierten Fabrik erzeugt werden? Es wäre unerschwinglich, all diese Daten in die Cloud zu senden und dort zu speichern. Zu den Kosten für das Senden und Speichern von Daten kommen noch die Kosten für die Nutzung von Datenverarbeitungsressourcen in der Cloud hinzu. Die Cloud ist heutzutage sehr gefragt, und die Kosten für Rechenressourcen in der Cloud sind beträchtlich. Wird die Datenverarbeitung dagegen im Edge auf der eigenen Hardware des Kunden durchgeführt, fallen nur die Kosten für die Hardware sowie die Betriebs- und Wartungskosten an. Letztere können durch den Einsatz geeigneter industrieller Hardware weiter gesenkt werden.

Neben dem Kostenaspekt ist die Latenzzeit ein weiterer wichtiger Punkt. Dies kann je nach Anwendungsfall problematisch und einschränkend sein, da in der Fertigungshalle oder allgemein am Edge oft schnelle Entscheidungen getroffen werden müssen. Wenn etwa frisch produzierte Steckverbinder mit hoher Geschwindigkeit die Fertigungslinie durchlaufen, muss die Entscheidung, welcher Steckverbinder die Qualitätsprüfung besteht und welcher nicht, nahezu sofort getroffen werden. Wenn Ihre Produktionslinie außerdem auf Entscheidungen angewiesen ist, die ausschließlich in der Cloud getroffen werden, führt ein Verbindungsverlust höchstwahrscheinlich zu Ausfallzeiten der Produktionslinie. Das kostet Geld, Zeit und wertvollen Produktionsdurchsatz.

Ein weiterer großer Vorteil einer Edge-Computing-Architektur ist die Sicherheit. Viele Unternehmen scheuen sich davor, vertrauliche Daten über ihr Unternehmen in die Cloud zu übertragen. Sie bevorzugen es, diese Daten vor Ort zu behalten und so die Risiken für die Cybersicherheit zu verringern. Die Verschmelzung von IT und OT vergrößert die potenzielle Angriffsfläche. Daher ist es wichtig, dass Unternehmen ihre Edge-Computing-Knotenpunkte absichern, um ihre Daten zu schützen. Viele Techniken, darunter SASE (Secure Access Service Edge) und Zero Trust, werden zunehmend eingesetzt, um die Datensicherheit zu verbessern. Jedoch bevorzugen viele Unternehmen nach wie vor eine Edge-Computing-Architektur.

Ein weiterer Grund für die Einführung des Edge-Computing sind Überlegungen zur Umgebung. Die Verwendung des Edge gegenüber der Cloud reduziert beispielsweise das gesamte Energieprofil. Datenzentren verbrauchen große Mengen an Energie und tragen damit zu den Treibhausgasemissionen bei. Darüber hinaus wird Energie benötigt, um Daten zwischen der Cloud und dem Edge hin und her zu senden. Unternehmen können ihre Energiekosten senken, indem sie KI-Workloads aus der Cloud zum Edge verlagern.

Lassen Sie mich noch einen weiteren Punkt hinzufügen, der zeigt, dass Edge-KI Realität wird. Werfen wir einen Blick auf den Gartner Hype Cycle™ für 2023. Das unten abgebildete Diagramm wurde im Juli 2023 veröffentlicht und zeigt, dass „Edge-KI“ innerhalb von 2 Jahren das „Plateau der Produktivität“ erreicht, das heißt den Zustand, in dem sie die volle Reife für die Implementierung erreicht. Vor diesem Hintergrund möchten wir einen Blick darauf werfen, wie wir KI am Edge implementieren.

 Eine Grafik, die die Edge-KI-Architektur erklärt

Wie KI am Edge implementiert werden kann

Sie haben also Ihre Optionen (und die obigen Informationen) geprüft und entschieden, dass eine Edge-KI-Implementierung das Richtige für Ihr Unternehmen ist. Wo fangen Sie an? Grundsätzlich ist KI ist eine Software. Aber um diese Software einzusetzen, brauchen Sie die richtige Hardware. Hier sind ein paar Dinge zu beachten.

Umgebung

Beim Edge-Computing unterscheidet sich die Installationsumgebung oft drastisch von einem klimatisierten Rechenzentrum oder Büro. Es kann heiß, kalt oder feucht sein, im Freien oder in einem kochend heißen Stahlwerk (zum Beispiel). Die Luft kann voll von Partikeln sein, von Sägemehl bei einem Möbelhersteller bis zu pulverförmigen Aromastoffen in einer Produktionslinie für Kartoffelchips. Das Edge beinhaltet eine ganze Reihe von Orten, an denen ein Standardcomputer nicht lange überleben würde. Um solche rauen Umgebungen zu meistern, werden Industrie- oder Rugged-Computer benötigt. Diese Systeme sind für raue Umgebungen ausgelegt und bieten den Betreibern Zuverlässigkeit und Sicherheit.

Ein robustes Computersystem auf einem Tisch in einer metallverarbeitenden Produktionsumgebung.

Arbeitslasten

Bei Inferenzoperationen hängt Ihr Bedarf an Rechenleistung vom jeweiligen Anwendungsfall, der zu verarbeitenden Datenmenge und der erforderlichen Geschwindigkeit der Datenverarbeitung ab. Für viele mag es überraschend sein, aber für zahlreiche KI-Anwendungsfälle reicht die integrierte Leistungsfähigkeit der CPU möglicherweise aus. Dies hat mit der Einführung der Intel® Core™ Ultra-Prozessoren noch mehr an Bedeutung gewonnen. Sie bieten nicht nur eine höhere CPU-Leistung, sondern auch eine deutlich leistungsfähigere integrierte GPU-Rechenleistung innerhalb des Prozessorpakets.

Ein wesentliches Unterscheidungsmerkmal dieser neuesten Generation ist die Integration von Neural Processing Units (NPUs) direkt in die Prozessorarchitektur. In Intel Core Ultra-Chips ermöglicht diese dedizierte KI-Engine die effiziente Verarbeitung einer wachsenden Anzahl von Inferenzanwendungen ohne zusätzlichen Beschleuniger. Wenn die Anwendung jedoch mehr Leistung erfordert, als diese neue „KI-PC”-Architektur bieten kann, sind weiterhin Industrie-PCs mit diskreten Grafikkarten oder speziellen Beschleunigern erforderlich. Dies ist beispielsweise bei der Verarbeitung mehrerer Kamera-Feeds mit hoher Bildfrequenz der Fall.

Alle Modelle der Karbon- und Helix 520-Serie robuster Industriecomputer werden hier mit allen verfügbaren Modellen dargestellt.

󠀰Die Computer der OnLogic Helix 520er-Serie und Karbon 520er-Serie verfügen über Intel Core Ultra-Prozessoren.

Modelltraining

Neben der Inferenzarbeit müssen die Modelle in den meisten Anwendungen kontinuierlich trainiert werden, um fortlaufendes Lernen zu ermöglichen. Dieses Training erfordert in der Regel eine größere Menge an Rechenleistung und kann von einem Edge-Server bewältigt werden. Dieser Edge-Server kann sich in der Produktionshalle oder in einem speziellen Serverraum befinden. Edge-Server können dann auch zur Überwachung und Behandlung von Modelldrift oder zur Durchführung von Analysen verwendet werden, die das Unternehmen benötigt. Weitere Informationen finden Sie in der Session „AI acceleration at the Edge„, die auf der AWS re:invent 2023 abgehalten wurde. Dabei lag der Schwerpunkt auf verschiedenen Aspekten von Edge-Implementierungen.

Software-Anforderungen

Für den Betrieb einer solchen Edge-Computing-Architektur ist eine Reihe von Software-Schichten über die Betriebssystemebene hinaus erforderlich. Edge-Implementierungen erfordern oft eine große Anzahl von Gateways, Edge-Servern, Inferenzgeräten usw. Die Fähigkeit, Geräte nahtlos einzubinden, einzusetzen und effizient zu aktualisieren, ist von entscheidender Bedeutung. Dies ist besonders wichtig, da oft nur wenige oder gar keine technischen Ressourcen vor Ort vorhanden sind. Unternehmen mit mehreren Standorten stehen oft vor dem Problem, dass Systemaktualisierungen oder -bereitstellungen nicht mehr synchronisiert werden können. Dies wird in der Regel durch Edge-Orchestrierungs- und Remote-Management-Software gelöst. KI-Workloads werden außerdem häufig als Container ausgeführt, wofür die entsprechende Software erforderlich ist. Und über all diesen Ebenen wird die KI-Anwendungssoftware für den jeweiligen Anwendungsfall benötigt.

Rückführung in die Cloud

Wir haben uns also angeschaut, wie man KI erfolgreich am Edge einsetzt, aber oft beginnen Unternehmen mit einer in der Cloud implementierten KI-Lösung. Immer mehr Unternehmen erkennen den Wert von Edge-Computing und sind dabei, Rechenressourcen aus der Cloud zum Edge zu führen. Laut ComputerWeekly gaben in einer aktuellen IDC-Umfrage 71 Prozent der Befragten an, dass sie entweder eine teilweise oder vollständige Verlagerung planen. Die am häufigsten genannten Gründe für diese geplante Verlagerung sind Kostensenkung, Leistungssteigerung und Erhöhung der Sicherheit. Kommen Ihnen diese Gründe bekannt vor?

Tatsache ist, dass jedes Unternehmen einzigartig ist. Der optimale Standort für Ihre Datenverarbeitungsressourcen hängt davon ab, was genau Sie mit Ihren Daten erreichen möchten. Die endgültige Implementierung wird in vielen Fällen nicht so schwarz-weiß sein wie Cloud oder Edge, sondern eher eine Hybridlösung. Viele Softwarepakete können die Workloads entweder in der Cloud oder am Edge ausführen und sind unabhängig von der verwendeten Hardware. Dies bietet den Anwendern eine große Flexibilität, um die Vorteile beider Welten zu nutzen – die Vorteile der Cloud in Bezug auf die Rechenleistung und die physische Kontrolle des Edge.

Fazit

Lassen Sie mich abschließend noch eine weitere Statistik anführen: Laut Gartner werden bis Ende 2026 70 Prozent der Großunternehmen eine dokumentierte Strategie für Edge-Computing haben, verglichen mit weniger als 10 Prozent im Jahr 2023. Derselben Studie zufolge wird bis 2026 bei 50 Prozent der Edge-Computing-Implementierungen Machine Learning zum Einsatz kommen, im Vergleich zu 5 Prozent im Jahr 2022. All dies bedeutet, dass das Edge auch in den kommenden Jahren für Unternehmen jeder Größe der richtige Ort sein wird. Somit werden diejenigen, die es mit dem Wissen um die Vorteile angehen, die besten Voraussetzungen haben, davon zu profitieren.

michael kleiner
Michael Kleiner
VP of Edge AI Solutions
Dr. Michael Kleiner ist VP of Edge AI Solutions bei OnLogic und trägt dazu bei, unsere industrieerprobte Hardware in die Welt der Edge-Lösungen und KI-Beratung zu bringen. Er kam 2015 zu OnLogic und leitete die Teams für Entwicklung und Produktmanagement. Er liebt Technologie und hat eine Leidenschaft für den Aufbau von Teams und Geschäftsfeldern.

Bleiben Sie auf dem Laufenden.

Seien Sie unter den Ersten, die Zugang zu den neuesten Produkten und Industrie 4.0-Innovationen, OnLogic-Events und mehr erhalten.