Laden...
Laden...
Laden...
AI6 mei 20257 Min leestijd

Veilige AI aan de edge: de rol van private AI en on-premise infrastructuur

Een afbeelding van een edge server die wordt gebruikt in een drukke productie

Naarmate AI-mogelijkheden groeien en het enterprise gebruik van AI blijft toenemen, zijn veel organisaties bezorgd over dataprivacy en veiligheidsimplicaties van AI. AI-oplossingen worden blootgesteld aan vertrouwelijke gegevensbronnen zoals klantinformatie, operationele gegevens en ander intellectueel eigendom. Bovendien zullen deze applicaties samenwerken met bedrijfskritische systemen en netwerken, waardoor de beveiliging een topprioriteit is. 

Private AI en on-premise AI-infrastructuur maken deel uit van een groot beveiligingsplan en zijn de tools om veilige AI aan de edge op schaal te bouwen. 

Private AI aan de edge

Private AI bestaat uit AI-modellen en toepassingen die zijn ontworpen voor een specifiek gebruiksscenario met eigen trainingsgegevens die deze aanpassen aan de doelstelling van die gebruiker. Dit verschilt van Public AI zoals OpenAI's ChatGPT, die toegankelijk zijn voor iedereen in een multi-tenant publieke cloudomgeving. Hoewel gebruikers deze soorten publieke AI-toepassingen kunnen verfijnen, worden de trainings- en inferencedata over het algemeen door de serviceprovider bewaard. 

In private AI-implementaties onderhoudt de gebruiker trainings- en inferencedata samen met de ondersteunende infrastructuur in hun eigen bevoorrechte netwerken. 

In onze gratis whitepaper ‘Cloudrepatriëring is de toekomst van het bedrijfsleven’ lees je meer over hoe je workloads repatrieert van de cloud naar de edge. 

Download de whitepaper

De infrastructuur voor de ondersteuning van private AI kan op locatie of in een privécloud worden geïmplementeerd, afhankelijk van de behoeften van de toepassing. Waar en hoe gegevens worden verwerkt, wordt bepaald door gegevensvoorschriften en best practices in de branche. In de EU is de European Health Data Space (EHDS) voortgekomen uit de EU-gegevensstrategie en vormt de eerste gemeenschappelijke EU-gegevensruimte. Het doel is om een gemeenschappelijk kader te creëren voor het gebruik en de uitwisseling van elektronische gezondheidsgegevens in de hele EU.

Private AI betekent niet dat applicaties volledig moeten worden losgekoppeld van openbare cloud-applicaties; het houdt in dat externe verbindingen alleen gebruikt moeten worden waar dat echt nodig is. Zo kan bijvoorbeeld een tijdreeks database een geschatte wachttijd voor verkeersbewaking bepalen, maar alleen de velden ‘geschatte huidig wachttijd’ en ‘wegnaam’ hoeven aan een externe API te worden doorgegeven.

On-premise AI infrastructuur

Om veilige AI-toepassingen aan de edge te ondersteunen, is het belangrijk om te weten welke typen hardware en software je nodig hebt. Dit kun je opsplitsen in de GPU computing die je nodig hebt voor modeltraining en inferencing en de IT-infrastructuur om AI-applicaties te ondersteunen via modelontwikkeling en orkestratie.

High-performance computing

 OnLogic Axial AX300-serie 3U Edge-server

Voor training en inferencing heb je hoogwaardige systemen met grote hoeveelheden GPU-geheugen nodig, ook wel VRAM genoemd. AI-modeltraining is een intensief proces, dus meestal zullen organisaties GPU edge servers implementeren in ten minste een 3-node edge cluster met meerdere GPU's per server. Dit hangt echter af van de complexiteit van het model. Zodra de modellen klaar zijn voor productie, kan het model met een lagere snelheid opnieuw worden getraind om het model verder te verbeteren op basis van inferencingresultaten. 

Sommige organisaties kunnen ervoor kiezen om het trainingscluster ook te gebruiken voor inferencing. Dit kan echter alleen gebeuren als de inferencing centraal plaatsvindt, bijvoorbeeld in een logistiek magazijn, als alle afgeleide camera's zijn verbonden via snelle netwerkswitches. Voor gebruiksscenario’s zonder CV (computer vision) is een centrale conclusie logisch, omdat productieprocesgegevens zoals toepassingen als historische databases en SCADA-systemen al netwerkconnectiviteit hebben.

Veel AI-toepassingen aan de edge zullen echter de inferencing verspreiden naar industriële edge computing-apparaten met een lager rekenvermogen. Runtime geoptimaliseerde modellen zoals inferencing van een Intel OpenVINO geoptimaliseerd model tegen een industriële pc, uitgerust met een neurale verwerkingseenheid (NPU) of een model dat is geoptimaliseerd voor Nvidia Jetson systemen zijn een cruciale stap voor AI aan de edge. In dat geval kan de infrastructuur voor centrale training zodanig worden aangepast dat deze uitsluitend is gericht op training en modellering. De beslissing om inferencing te verspreiden kan ook worden ingegeven door latency- of veiligheidseisen, bijvoorbeeld autonome robotica die real-time beslissingen moeten nemen.

Twee diagrammen naast elkaar die de architectuurverschillen tussen een gedistribueerd inferentiemodel en een centraal inferentiemodel weergeven.

IT-infrastructuur

Enkele belangrijke aspecten voor de AI-infrastructuur op locatie zijn:

  • Veilige DevOps: het creëren van een veilige ontwikkelomgeving voor applicatieontwikkelaars en data scientists om modellen te maken en te trainen. Of dit op locatie wordt gehost of in een privécloud, is afhankelijk van de beveiligingsbeperkingen voor de data en toepassingen. Net als elke edge-toepassing is een veilige infrastructuur van het grootste belang. Het gebruik van een ervaren security consultant zou de beste aanpak kunnen zijn. 

  • Modelorkestratie: het verwerken van modellen op de juiste edge-knooppunten, het routeren van inferencingresultaten, het monitoren van modeldrift en het beheren van training/hertraining zijn allemaal rollen van het AI-orkestratieplatform. Het verpakken van modellen met hun afhankelijkheden in een moderne container-gebaseerde architectuur is zeer gebruikelijk voor AI aan de edge. Veel platforms hebben een favoriete container oplossing.

Hoewel sommige organisaties ervoor kiezen om hun bestaande IT-infrastructuur te gebruiken voor het maken en implementeren van AI-toepassingen, zijn er een aantal end-to-end AI-orkestratieplatforms die zijn afgestemd op modelspecifieke mogelijkheden. OnLogic heeft een partner ecosysteem gebouwd voor dergelijke AI-platforms, waaronder Guise.Ai EdgeOps edge AI-platform, Viso.Ai Viso Suite voor computer vision-modellen en Red Hat Openshift AI voor Enterprise AI management.

Wanneer moet de private cloud worden geïntegreerd in AI-toepassingen aan de edge?

Hoewel inferencing op locatie bijna altijd de voorkeur heeft voor AI-modellen aan de edge, zijn er enkele functies die kunnen worden gehost in een enterprise private cloud. De keuze tussen private cloud en on-premise is geen of/of-keuze. Afhankelijk van de situatie kunnen sommige functies, zoals trainings- en ontwikkelomgevingen, hosting in een centrale private cloud vereisen. Dit kan worden onderverdeeld in 5 hoofdgebieden:

  • Datasoevereiniteit: Zijn de inferencingresultaten zeer vertrouwelijk of aan voorschriften gebonden wanneer deze niet off-site kunnen worden verzonden? Dan moet alle infrastructuur op locatie worden gehost.

  • Beveiliging van de site: Moeten de AI-toepassingen worden geïntegreerd in een air-gapped faciliteit? Als het antwoord ja is, is het logisch om alle AI-infrastructuur en computerresources op locatie te hosten. Als er geen externe verbindingen tot stand kunnen worden gebracht, dan moet DevOps ook op locatie worden gehost.

  • Datasets voor training: Komen de trainingsgegevens van een of meer locaties? Als ze van meer locaties komen, is het verstandig om die trainingsgegevens te verzamelen en centraal te ontwikkelen.

  • Gedistribueerde edge-knooppunten: Worden de modellen geïmplementeerd op een groot aantal geografisch gescheiden locaties? Het kan zinvol zijn om training en modelontwikkeling centraal af te handelen als er data worden verzameld op een groot aantal locaties. Vervolgens worden de modellen gepubliceerd naar een extern containerregister, waar ze vervolgens voor inferencing kunnen worden geleverd aan edge-locaties.

  • Verbinding tussen toepassingen: Kan deze toepassing rechtstreeks worden gekoppeld aan bedrijfskritische systemen?

Deze concepten kunnen met twee voorbeelden worden geïllustreerd: 

Klantcase: MRI-tumordetectie

Een persoon die een MRI-onderzoek ondergaat

Een medische OEM verkoopt een door de FDA goedgekeurde MRI-machine met AI-ondersteuning voor tumordetectie. Inferencing vindt plaats op een AI-computer die in het MRI-apparaat is geïntegreerd. Ze bieden dit aan hun klanten aan als een managed service. Tot hun klanten behoren radiologieafdelingen van ziekenhuizen in de Verenigde Staten.

  • Soevereiniteit van data: De inferencingresultaten zouden worden toegevoegd aan de elektronische patiëntendossiers (EPD) in een platform voor medische dossiers zoals EPIC. Het is de verantwoordelijkheid van het ziekenhuis om de privacy van de patiënt van deze dossiers te waarborgen.

  • Beveiliging van de site: Dit zijn geen air-gapped faciliteiten.

  • Datasets voor training: Dit detectiemodel is getraind met grote openbare data over tumoren. Zolang gezondheidsinformatie wordt geanonimiseerd van de identificatie van patiënt-id's, kunnen de resultaten van inferencing onbeperkt worden gebruikt om het model te hertrainen om het te verbeteren.

  • Gedistribueerde edge-knooppunten: Modellen moeten aan veel ziekenhuizen in het hele land worden aangeboden en regelmatig worden bijgewerkt.

  • Verbinding tussen toepassingen: Volgens het ontwerp van de fabrikant is de MRI-scanner niet verbonden met levensondersteunende systemen in andere gebieden van het ziekenhuisnetwerk.

Op basis van de bovenstaande beoordeling zou de inferencing op locatie worden afgehandeld terwijl de DevOps-omgeving, training en modelorkestratie in de private cloud van de OEM zou worden gehost. Voor het gebruiksscenario over de gezondheidszorg in de Verenigde Staten is het belangrijk dat je de HIPAA-implicaties voor AI begrijpt.

Klantcase: productie van defensieapparatuur voor de lucht- en ruimtevaart

Een oplossing voor het detecteren van machine vision-defecten bij het inspecteren van een PCB-printplaat

Een fabrikant van defensieapparatuur voor de lucht- en ruimtevaart is op zoek naar een detectie model voor defecten in de productie van uiterst geheime elektro-optische sensoren. De AI-toepassing werkt rechtstreeks samen met de regelsystemen van de productielijn om onderdelen af te wijzen.

  • Soevereiniteit van data: Trainings- of inferencingdata kunnen op geen enkele manier off-site worden verzonden.

  • Beveiliging van de site:  De locatie is air-gapped en vereist een veiligheidsmachtiging om toegang door onbevoegden te voorkomen.

  • Datasets voor training: Alle trainingsdata zijn afkomstig van de vijf productielijnen.

  • Gedistribueerde edge-knooppunten: Er zijn vijf productielijnen verspreid over de locatie.

  • Verbinding tussen toepassingen: Het model is rechtstreeks gekoppeld aan bedrijfskritische procesregelsystemen.

Voor dit bedrijf moet alle AI-infrastructuur ter plaatse worden ingezet. Het is belangrijk om te begrijpen dat in gebruiksscenario’s waarin DevOps op locatie moet plaatsvinden, zoals in dit voorbeeld, ontwikkelaars zich op die faciliteiten zelf moeten bevinden, hetzij tijdelijk of permanent.

Conclusie: het is belangrijk waar je resources zich bevinden.

Als het gaat om de implementatie van AI aan de edge, is het van cruciaal belang om beveiligingsrisico's te beperken door veilige AI-applicaties met de juiste mix van on-premise en private cloud-infrastructuur te bouwen en te onderhouden. Ook is het belangrijk om de juiste hardware te kiezen voor edge-toepassingen. Van high-performance trainingsservers tot ruggedized inferencingknooppunten, de geavanceerde AI-hardware en expertise van OnLogic kunnen de AI-initiatieven van je organisatie ondersteunen.

Ontdek de oplossingen van OnLogic voor AI aan de edge

Verwante koppelingen: 

Wat is AI aan de edge

Edge AI-architectuur: De edge is de plek waar je moet zijn voor AI

Cloudrepatriëring is de toekomst van het bedrijfsleven

O
OnLogic
OnLogic
OnLogic is een toonaangevende fabrikant van industriële computers die zeer configureerbare en oplossingsgerichte computers ontwikkelt voor betrouwbaarheid in de IoT-edge.

Blijf op de hoogte.

Krijg als eerste toegang tot de nieuwste producten en Industry 4.0-innovatie, OnLogic Live!-evenementen en meer.