Sichere Edge-KI: Die Rolle von privater KI und lokaler Infrastruktur
Da die KI-Fähigkeiten steigen und der Einsatz von KI in Unternehmen weiter zunimmt, sind viele Unternehmen über die Auswirkungen von KI auf den Datenschutz und die Sicherheit besorgt. KI-Lösungen sind mit vertraulichen Datenquellen wie Kundeninformationen, Betriebsdaten und anderem geistigen Eigentum konfrontiert. Darüber hinaus interagieren diese Anwendungen mit unternehmenskritischen Systemen und Netzwerken. Das macht diese Herausforderung für die Sicherheit zu einer Top-Priorität.
Als Teil eines umfassenden Sicherheitsplans sind sowohl die private KI als auch die KI-Infrastruktur vor Ort Werkzeuge zum Aufbau einer sicheren Edge-KI im großen Maßstab.
Private KI am Edge
Private KI besteht aus KI-Modellen und -Anwendungen, die für einen bestimmten Anwendungsfall mit firmeneigenen Trainingsdaten entwickelt werden. So werden sie auf die Zielsetzungen des jeweiligen Nutzers zugeschnitten. Dies unterscheidet sie von öffentlicher KI wie beispielsweise ChatGPT von OpenAI, die in einer öffentlichen Cloud-Umgebung mit vielen Teilnutzern für alle zugänglich ist. Während die Nutzer diese Art von öffentlichen KI-Anwendungen anpassen können, verbleiben die Trainings- und Inferenzdaten in der Regel beim Serviceanbieter.
Bei privaten KI-Implementierungen verwalten die Anwender:innen Trainings- und Inferenzdaten zusammen mit der unterstützenden Infrastruktur in ihren eigenen vertraulichen Netzwerken.
Erfahren Sie mehr darüber, wie Sie Workloads aus der Cloud ins Edge verlagern können, in unserem kostenlosen Whitepaper „Wie die Cloud-Rückführung die Zukunft der Unternehmenswelt prägt".
Whitepaper anfordernDie Infrastruktur zur Unterstützung privater KI kann je nach den Anforderungen der Anwendung vor Ort oder in einer privaten Cloud bereitgestellt werden. Wo und wie Daten gehandhabt werden, wird durch Datenschutzbestimmungen und bewährte Verfahren der Branche bestimmt. In der EU geht der Europäische Raum für Gesundheitsdaten (EHDS) aus der EU-Datenstrategie hervor und bildet den ersten gemeinsamen EU-Datenraum. So soll ein gemeinsamer Rahmen für Nutzung und Austausch elektronischer Gesundheitsdaten in der gesamten EU geschaffen werden.
Private KI bedeutet nicht, dass Anwendungen vollständig von öffentlichen Cloud-Anwendungen getrennt werden müssen, aber alle externen Verbindungen dürfen nur das liefern, was benötigt wird. So könnte beispielsweise eine Zeitseriendatenbank eine geschätzte Wartezeit für die Verkehrsüberwachung ermitteln, aber nur die Felder „geschätzte aktuelle Wartezeit“ und „Straßenname“ müssen an eine externe API übermittelt werden.
KI-Infrastruktur vor Ort
Um sichere Edge-KI-Anwendungen zu unterstützen, ist es wichtig zu verstehen, welche Arten von Hardware und Software benötigt werden. Dies betrifft zum einen die für das Modelltraining und die Inferenzierung erforderliche GPU-Rechenleistung und zum anderen die IT-Infrastruktur zur Unterstützung von KI-Anwendungen durch Modellentwicklung und Orchestrierung.
Datenverarbeitung mit höchster Leistung
Training und Inferenzierung erfordern Hochleistungssysteme mit großen GPU-Speichern, auch bekannt als VRAM. Das Training von KI-Modellen ist ein intensiver Prozess, daher setzen Unternehmen in der Regel GPU-Edge-Server in einem Edge-Cluster mit mindestens drei Knoten und mehreren GPUs pro Server ein. Dies hängt jedoch von der Komplexität des Modells ab. Sobald die Modelle produktionsreif sind, kann das Modell mit geringerer Geschwindigkeit erneut trainiert werden, um es auf Basis der Inferenzergebnisse weiter zu verbessern.
Einige Unternehmen entscheiden sich dafür, das Trainingscluster auch für die Inferenzierung zu verwenden. Dies ist jedoch nur möglich, wenn die Inferenz zentral erfolgt, beispielsweise in einem Logistiklager, wenn alle Inferenzkameras über High-Speed-Netzwerk-Switches verbunden sind. Für Anwendungsfälle, bei denen es sich nicht um Computer Vision handelt, ist eine zentrale Inferenz sinnvoll, da die Daten aus dem Fertigungsprozess sowie Anwendungen wie Datenbanken mit historischen Daten und SCADA-Systeme bereits über eine Netzwerkanbindung verfügen.
Allerdings werden viele Edge-KI-Anwendungen die Inferenz auf industrielle Edge-Computing-Geräte mit geringerer Rechenleistung verteilen. Laufzeitoptimierte Modelle wie die Inferenzierung eines für Intel OpenVINO optimierten Modells gegen einen mit einer neuronalen Verarbeitungseinheit (NPU) ausgestatteten Industrie-PC oder ein für Nvidia Jetson-Systeme optimiertes Modell sind ein entscheidender Schritt für Edge-KI. In diesem Fall kann die zentrale Trainingsinfrastruktur so angepasst werden, dass sie sich ausschließlich auf das Training und die Modellbereitstellung konzentriert. Die Entscheidung, die Inferenzierung zu verteilen, kann auch von Latenz- oder Sicherheitsanforderungen diktiert werden. Dies gilt beispielsweise für autonome Roboter, die Entscheidungen in Echtzeit treffen müssen.
IT-Infrastruktur
Einige Schlüsselkomponenten für die KI-Infrastruktur vor Ort sind:
Sicheres DevOps: Eine sichere Entwicklungsumgebung für Anwendungsentwickler:innen und Datenwissenschaftler:innen zur Erstellung und zum Training von Modellen muss geschaffen werden. Ob dies vor Ort oder in einer privaten Cloud gehostet wird, hängt von den Sicherheitseinschränkungen für die Daten und Anwendungen ab. Wie bei jeder Edge-Anwendung ist eine sichere Infrastruktur von entscheidender Bedeutung. Die Beschäftigung einer erfahrenen Sicherheitsberatung kann ein sinnvoller Ansatz sein.
Modellorchestrierung: Die Bereitstellung von Modellen an die richtigen Edge-Knoten, die Weiterleitung von Inferenzergebnissen, die Überwachung der Modelldrift und die Verwaltung von Training/Nachtraining sind allesamt Aufgaben der KI-Orchestrierungsplattform. Die Bündelung von Modellen mit ihren Abhängigkeiten in einer modernen containerbasierten Architektur ist für Edge-KI äußerst verbreitet und viele Plattformen haben eine bevorzugte Bündelungsmethode.
Während einige Unternehmen ihre bestehende IT-Infrastruktur für die Erstellung und Bereitstellung von KI-Anwendungen nutzen werden, gibt es eine Reihe von End-to-End-KI-Orchestrierungsplattformen, die mit modellspezifischen Funktionen ausgestattet sind. OnLogic hat ein Partner-Ökosystem für derartige KI-Plattformen aufgebaut, darunter die EdgeOps-KI-Plattform Guise.Ai, die Viso Suite von Viso.Ai für Computer-Vision-Modelle und Red Hat Openshift AI für das KI-Management in Unternehmen.
Wann sollte eine private Cloud in Edge-KI-Anwendungen integriert werden?
Während die Inferenzierung vor Ort fast immer für Edge-KI-Modelle vorzuziehen ist, gibt es einige Funktionen, die in einer privaten Unternehmens-Cloud gehostet werden können. Die Entscheidung zwischen einer privaten Cloud und einer lokalen Lösung ist keine triviale Entscheidung. Je nach Anforderungen der Anwendung können einige Funktionen, wie etwa Trainings- und Entwicklungsumgebungen, ein Hosting in einer zentralen privaten Cloud erforderlich machen. Dies kann in fünf Schlüsselbereiche untergliedert werden:
Datenhoheit: Unterliegen Inferenzierungsergebnisse der Vertraulichkeit oder anderen Vorschriften, sodass sie nicht extern übertragen werden können? Dies erfordert die Bereitstellung der gesamten Infrastruktur vor Ort.
Sicherheit des Standorts: Müssen die KI-Anwendungen in Anlagen mit Luftschleusen integriert werden? Wenn ja, ist es sinnvoll, die gesamte KI-Infrastruktur und die Rechenressourcen vor Ort zu hosten. Wenn keine externen Verbindungen hergestellt werden können, müssen auch die DevOps vor Ort gehostet werden.
Trainingsdatensätze: Stammen die Trainingsdaten von einem oder mehreren Standorten? Wenn die Antwort „mehrere“ lautet, ist es sinnvoll, diese Trainingsdaten zu sammeln und zentral zu entwickeln.
Dezentrale Edge-Knoten: Werden die Modelle an einer großen Anzahl geografisch getrennter Standorte eingesetzt? Es kann sinnvoll sein, das Training und die Modellentwicklung zentral durchzuführen, wenn Daten von vielen Standorten gesammelt werden. Anschließend werden die Modelle in einer dezentralen Container-Registry veröffentlicht, von wo aus sie dann an die Edge-Standorte zur Inferenzierung weitergeleitet werden können.
Verbindung der Anwendungen: Wird diese Anwendung direkt mit unternehmenskritischen Systemen verbunden sein?
Diese Konzepte lassen sich anhand zweier Beispiele veranschaulichen:
Anwendungsfall: Erkennung von Tumoren im MRT
Ein medizinischer OEM verkauft ein von der FDA zugelassenes KI-fähiges MRT-Gerät zur Tumorerkennung. Die Inferenz erfolgt über einen in das MRT-Gerät integrierten KI-Computer. Das Unternehmen bietet dies als verwalteten Service für seine Kunden an. Zu diesen gehören die radiologischen Abteilungen von Krankenhäusern in den Vereinigten Staaten.
Datenhoheit: Die Ergebnisse der Ableitungen werden mit den elektronischen Patientenakten (Electronic Health Records, EHR) auf einer Plattform für medizinische Daten wie EPIC verknüpft. Es liegt in der Verantwortung des Krankenhauses, die Privatsphäre der Patient:innen in diesen Unterlagen zu wahren.
Sicherheit des Standorts: Es handelt sich dabei nicht um Einrichtungen mit Luftschleusen.
Trainingsdatensätze: Dieses Erkennungsmodell wird anhand umfangreicher öffentlicher Daten über Tumoren trainiert. Solange die Gesundheitsdaten von Patientenidentifikatoren befreit sind, können die Inferenzergebnisse ohne Einschränkung für ein erneutes Training verwendet werden, um das Modell zu verbessern.
Dezentrale Edge-Knoten: Die Modelle müssen an viele Krankenhäuser im ganzen Land verteilt und regelmäßig aktualisiert werden.
Verbindung der Anwendungen: Der MRT-Scanner ist herstellerbedingt nicht mit den lebenserhaltenden Systemen in anderen Bereichen des Krankenhausnetzes verbunden.
Basierend auf der obigen Einschätzung wird die Inferenz vor Ort durchgeführt, während die DevOps-Umgebung, das Training und die Modellorchestrierung in der privaten Cloud des OEMs gehostet werden. Für Anwendungsfälle im Gesundheitswesen in den Vereinigten Staaten ist es wichtig, die HIPAA-Implikationen (Health Insurance Portability and Accountability Act) für KI zu verstehen.
Anwendungsfall: Die Fertigung in der Luft- und Raumfahrtindustrie
Ein Luft- und Raumfahrtunternehmen aus dem Verteidigungssektor möchte ein Fehlererkennungsmodell für die Herstellung streng geheimer elektro-optischer Sensoren entwickeln. Die KI-Anwendung wird direkt mit den Steuerungssystemen der Fertigungslinie interagieren, um Teile zurückzuweisen.
Datenhoheit: Trainings- oder Inferenzdaten können in keiner Weise außerhalb des Unternehmens übertragen werden.
Sicherheit des Standorts: Der Standort ist durch eine Luftschleuse gesichert und erfordert eine Sicherheitsüberprüfung, um unbefugten Zutritt zu verhindern.
Trainingsdatensätze: Alle Trainingsdaten stammen aus den fünf Produktionslinien.
Dezentrale Edge-Knoten: Das Werk verfügt über fünf Produktionslinien.
Verbindung der Anwendungen: Das Modell hat eine direkte Schnittstelle zu unternehmenskritischen Prozesssteuerungssystemen.
Bei diesem Unternehmen muss die gesamte KI-Infrastruktur vor Ort implementiert werden. Es ist wichtig zu verstehen, dass in Anwendungsfällen, in denen DevOps vor Ort stattfinden muss, wie in diesem Beispiel, dies auch bedeutet, dass sich die Entwickler:innen direkt in diesen Einrichtungen befinden müssen, sei es vorübergehend oder dauerhaft.
Fazit: Es kommt darauf an, wo die Ressourcen platziert werden
Bei der Bereitstellung von KI am Edge ist es entscheidend, Sicherheitsrisiken zu minimieren, indem sichere Edge-KI-Anwendungen mit der richtigen Mischung aus lokaler und privater Cloud-Infrastruktur erstellt und gepflegt werden. Ebenso wichtig ist es, die richtige Hardware für Edge-Anwendungen zu wählen. Von hochleistungsfähigen Trainingsservern bis hin zu robusten Inferenzknoten können die KI-Hardware und das Know-how von OnLogic dazu beitragen, die KI-Initiativen Ihres Unternehmens zu optimieren.
Entdecken Sie die Edge-KI-Lösungen von OnLogicWeiterführende Links:
Edge-KI-Architektur: Das Edge als Zuhause für KI
Die Cloud-Rückführung prägt die Zukunft der Unternehmenswelt