Laden...
Laden...
Laden...
AI8 april 20257 Min leestijd

Edge-LLM's versus cloud-LLM's: Beveiliging, kostenefficiëntie en aanpassing

Een diagram dat een cloud-LLM-infrastructuur en de edge-LLM-infrastructuur weergeeft

Het is momenteel de zoektocht van vrijwel elk vooruitstrevend bedrijf — kunstmatige intelligentie (AI) die naadloos in je bedrijf integreert, niet alleen als een verre cloudservice, maar als een krachtig hulpmiddel wat je meteen binnen handbereik hebt. Het gaat verder dan de vraag of het gebruik van Large Language Models (LLM's) voordelen heeft; dat is een gegeven. De echte vraag is, hoe zorg je ervoor dat AI echt voor je werkt?

Wat als je de meest gevoelige data zou kunnen vergrendelen, geld zou kunnen besparen op de steeds stijgende cloudkosten en je AI-implementatie perfect zou kunnen afstemmen op je bedrijf?

Dat is de belofte van edge-LLM’s. Het gaat erom de controle over je data te krijgen en deze van een extern, vaak mysterieus 'cloud-ding' over te brengen naar een tastbare, veilige en aanpasbare locatie binnen je netwerk. Dit is niet alleen een betere manier om AI in te zetten; het is de sleutel tot hoe je in control blijft in deze AI-revolutie.

Als je al begonnen bent met het verplaatsen van je data naar de cloud, vind je in onze whitepaper over cloudrepatriëring meer informatie over hoe je data weer terugbrengt naar de edge. 

Meer informatie over cloudrepatriëring

De transformatieve kracht van LLM’s

Tekst- en beeldgenererende language modellen hebben de mogelijkheden van computergebruik drastisch uitgebreid. Ze hebben taken aangepakt waarvan ooit werd gedacht dat ze alleen door mensen konden worden uitgevoerd en hebben daardoor de definitie van AI veranderd. In slechts een paar jaar tijd zijn ze gegroeid van een nieuwe tool voor digitale trucs naar een krachtige tool voor bedrijven van elke grootte. 

Een vergelijking van een door AI gegenereerd beeld met dezelfde prompt in 2022 versus 2024. PROMPT: Een cyborg-installatie met circuit- en netwerkmogelijkheden, close-up, realistisch, hi-res.

Een vergelijking van een door AI gegenereerd beeld met dezelfde prompt in 2022 versus 2024. PROMPT: Een cyborg-installatie met circuit- en netwerkmogelijkheden, close-up, realistisch, hi-res. (bron)

Bedrijven ontdekken dat gerichte LLM-implementaties veel meer waarde bieden dan alleen chatbots of het genereren van afbeeldingen. Binnen de gehele bedrijfsvoering kunnen LLM's repetitieve taken stroomlijnen, innovatieve ideeën genereren en de productiviteit verhogen, terwijl ze voortdurend leren en zich aanpassen.

Naarmate organisaties steeds meer analytische AI onderzoeken (voor voorspelling, risicobeoordeling, optimalisatie van de toeleveringsketen, enz.) en generatieve AI integreren, wordt de waarde van de implementatie van LLM's onmiskenbaar. De optimale strategie blijft echter een cruciale overweging. Om gegevensbeveiliging, kostenefficiëntie en aanpasbaarheid te maximaliseren, kunnen organisaties de controle over hun AI-oplossingen overnemen door aan de edge te werken. Deze benadering benadrukt het belang van het in eigendom hebben van data en de infrastructuur die daarvoor noodzakelijk is.

De uitdagingen aanpakken: Beveiliging en controle

De implementatie van organisatorische AI brengt een aantal kritische vragen en overwegingen met zich mee waarmee organisaties worstelen om succesvol te zijn. Een wereldwijd onderzoek, uitgevoerd door McKinsey:The State of AI in Early 2024, heeft de belangrijkste risico's in verband met de invoering van AI in kaart gebracht. Uit het onderzoek bleek dat onder andere inbreuk op intellectueel eigendom, cyberbeveiliging en persoonlijke/individuele privacy de belangrijkste aandachtspunten voor organisaties zijn. Cloudgebaseerde AI kan deze risico's verergeren, omdat hierbij gevoelige data worden overgebracht naar externe datacenters, mogelijk via kwetsbare kanalen. De snelle uitbreiding van datacenters als gevolg van toegenomen AI-gebruik kan ook leiden tot meer toegangspunten voor hackers. Het verhoogde aantal toegangspunten voor gevoelige data en het gebrek aan interne controles verhoogt tevens het risico op bedreigingen van binnenuit.

Externe bedreigingen zijn ook een punt van zorg. Een recent beveiligingslek in de AI-systemen in de cloud van Nvidia steldemeer dan 35% van de cloudomgevingen die op Nvidia GPU's draaien bloot aan potentiële host takeovers. Dit type backdoor attack kan gevoelige data en infrastructuur in gevaar brengen voor elk bedrijf dat gebruikmaakt van AI-modellen of container images van derden.

Edge computing biedt een betrouwbare oplossing voor deze beveiligingsproblemen. Door AI-oplossingen in staat te stellen gevoelige of bedrijfseigen data te gebruiken zonder dat deze ooit de locatie verlaten, biedt edge computing een betere controle en beperkt het de risico’s. Om volledig te kunnen profiteren van de huidige AI-mogelijkheden, hebben modellen context nodig. Hoewel algemene chatbots nuttig zijn voor brede taken, kan in datasystemen geïntegreerde AI waardevol zijn voor alle bedrijfsfuncties. Dit verhoogt de productiviteit bij taken die gespecialiseerde informatie en genuanceerd inzicht vereisen.

De evolutie van AI-productiviteit richt zich erop modellen de mogelijkheid te bieden meer te bereiken met minder toezicht. Dit begint met het verschaffen van toegang tot relevante data voor geïnformeerde reacties en het vermogen van AI om te interageren met digitale tools. Dit overbrugt de kloof tussen tekstgebaseerde output en concrete acties. Aangepaste edge-oplossingen bieden de benodigde datacontrole om deze geavanceerde mogelijkheden te ontsluiten. Een betrouwbare hardware-infrastructuur is een essentieel onderdeel van deze oplossingen. 

AI aan de edge: Een kosteneffectieve strategie

Naast beveiliging biedt edge computing een aantrekkelijke kostenbesparende aanpak voor enterprise AI. De implementatie van een aangepaste, geïntegreerde AI-oplossing in de cloud leidt tot terugkerende kosten voor cloud computing. Hyperscale-services, die flexibele rekenkracht bieden voor het hosten van AI-modellen, kunnen snel leiden tot operationele kosten die de initiële investering in een lokale oplossing overtreffen.

Als we bijvoorbeeld aannemen dat cloudservices met een wekelijkse gebruiksduur van 84 uur ongeveer $ 100.000 per jaar kosten (terwijl de werkelijke kosten variëren), kan de investering in robuuste edge computing-hardware in veel gevallen vergelijkbare rekenkracht bieden tegen voorspelbare kosten. Voor continue AI-operaties kan een oplossing op locatie binnen maanden aanzienlijke besparingen opleveren. Edge computing biedt de meest rendabele en duurzame manier om echt eigenaar te zijn van je AI-oplossing.

Een grafiek waarin de kostenontwikkelingen over een periode van 3 jaar voor de edge en de cloud worden weergegeven. De grafiek laat zien dat de kosten voor cloud computing op de lange termijn de investeringen in edge-implementatie overstijgen.

Kostentrajecten voor edge en cloud: De kosten van cloud computing overtreffen de investeringen in edge-implementatie in de loop van de tijd.

De snelle evolutie van AI

De toekomst van AI heeft een enorm potentieel en snelle vooruitgang. Recente modelontwikkeling van DeepSeek AI toont aan dat AI in staat is om meer te bereiken met minder middelen en dat AI sneller evolueert dan verwacht. DeepSeek-R1 heeft vergelijkbare prestaties laten zien als OpenAI's o1 model in wiskundige, wetenschappelijke en programmerings-benchmarks tegen een fractie van de kosten. DeepSeek-R1 kost $2,17 per 1M output tokens, vergeleken met $60 per 1M voor OpenAI. 

Het open-source karakter van R1 bevordert verdere innovatie, waardoor andere modelbouwers gebruik kunnen maken van DeepSeek's algoritmische ontwikkelingen. De toegenomen concurrentie in de AI-ruimte zal creatieve oplossingen voor computerbeperkingen stimuleren. Open-source software zal de toegang tot deze nieuwe technologieën democratiseren. 

Naarmate AI-modellen zich ontwikkelen, zullen organisaties die hebben geïnvesteerd in de juiste edge-infrastructuur goed gepositioneerd zijn om te profiteren van nieuwe kansen zonder gehinderd te worden door exorbitante kosten. Dit stelt hen in staat om vrij te innoveren en controle te houden over hun oplossingen.

Inzicht in LLM-architectuur

Toonaangevende AI-modellen zoals ChatGPT en open-source alternatieven (DeepSeek R1, Llama) bestaan uit honderden miljarden parameters die abstract semantische informatie over taal en feitelijke kennis over de wereld opslaan. Modellen met meer parameters hebben over het algemeen meer mogelijkheden om informatie van training te ‘onthouden’ en beschikken daardoor over betere redeneer- en schrijfvaardigheden. Deze grote modellen, met hun enorme aantal parameters, vereisen echter aanzienlijke rekenkracht. Voor de verwerking van elke query heeft een model als DeepSeek R1 (671 miljard parameters) mogelijk honderden gigabytes geheugen en geavanceerde GPU's nodig.

Modelontwikkelaars maken ook kleinere versies, zoals DeepSeek's 1B, 5.7B, 6.7B en 33B iteraties. Deze modellen zijn minder veeleisend en kunnen zelfs draaien op low-power CPU’s. Deze beschikken echter niet altijd over de uitgebreide kennis en genuanceerde interpretatiemogelijkheden zoals hun grotere tegenhangers.

Hoewel zowel grote als kleine architecturen zijn geoptimaliseerd voor algemene chatbotprestaties, zijn ze misschien niet ideaal voor organisaties die zeer betrouwbare antwoorden in specifieke domeinen nodig hebben. Eén oplossing is het tot op detailniveau afstemmen van modellen met grote parameters met domeinspecifieke gegevens. Dit proces stelt AI in staat om feiten te ‘leren’ die relevant zijn voor de use cases, het specialiseren om zeer geïnformeerde antwoorden te produceren en tegelijkertijd gebruik te maken van de kennis die is opgedaan uit de initiële training. Het trainen van LLM's vereist echter veel rekenkracht en de implementatie van modellen met honderden miljarden parameters kan een uitdaging zijn. 

Kleinere AI-modellen kunnen deze uitdagingen verlichten en in combinatie met een gespecialiseerde architectuur kunnen ze nog steeds specifieke, geïnformeerde antwoorden leveren. Retrieval-Augmented Generation (RAG) is een techniek waarmee LLM's verbinding kunnen maken met een database met relevante data, waarbij de meest relevante informatie voor elke query wordt opgehaald om context te bieden voor de antwoorden.

Een Retrieval-Augmented Generation (RAG)-diagram laat zien hoe LLM's verbinding kunnen maken met een database met relevante gegevens. Zo kunnen ze voor elke query de meest relevante informatie ophalen om context te bieden voor de antwoorden.

RAG-diagram: RAG gebruikt eigen databases om LLM-antwoorden te informeren.

RAG vereenvoudigt de specialisatie van modellen voor het ophalen en interpreteren van bedrijfseigen data. Bij gebruik in combinatie met een kleiner model worden de vereisten aan het systeem tot een minimum beperkt, waardoor modellen zowel geïnformeerd als draagbaar zijn. Dit leidt tot lagere operationele kosten en een flexibelere implementatie van edge devices. De juiste hardware is essentieel om deze implementaties effectief te ondersteunen. 

De toekomst van AI: autonome agents

De huidige trends in onderzoek naar en ontwikkeling van AI wijzen op een stap in de richting van meer autonomie. Modellen zouden meer taken moeten kunnen uitvoeren met minder toezicht, wat leidt tot de opkomst van AI-agents. AI-agents, gebouwd op LLM's, verschillen in hun probleemoplossende aanpak. Terwijl traditionele language modellen voornamelijk tekst lezen en schrijven, kunnen AI-agents gebruikmaken van andere hulpmiddelen, zoals API calls, navigeren door grafische gebruikersinterfaces (GUI's) en interactie met andere agents.

Technieken zoals COT-redenering (Chain of Thought) stellen LLM's in staat om meer uitgebreide en meer gedetailleerde antwoorden te geven op complexe problemen. Bovendien worden LLM's steeds meer multimodaal en interageren ze met mensen via verschillende methoden, naast tekst ook via afbeeldingen en audio. De AI van de toekomst zal op meer verschillende manieren interageren met zowel de digitale als de fysieke wereld, waardoor de interactie tussen mens en AI verandert.

OpenAI introduceerde onlangs een research preview van hun nieuwe agent, Operator, gebaseerd op het CUA-model (Computer-Using Agent). Deze agent combineert de vision-verwerking van GPT-4o met geavanceerde redeneringstechnieken om te functioneren als een assistent die zijn eigen internetbrowser kan ‘zien’ en ‘begrijpen’. In plaats van te vertrouwen op besturingssystemen of webspecifieke API's, navigeert de operator als een mens, onderzoekt en reageert hij op nieuwe informatie en hanteert hij probleemoplossingsstrategieën. Vroege resultaten suggereren dat deze agent beter presteert dan andere web-browsing agents, met implicaties voor AI die verder gaan dan webnavigatie.

AI heeft zijn kunnen bewezen in gestructureerde benchmarks, zoals coderings- en wiskundewedstrijden. Zo behaalde OpenAI o3 een top-200--plaats in codeforces en een 99e percentiel score op het 2024 American Invitational Mathematics Exam (AIME). Agentic AI toont echter het potentieel voor AI om autonoom te opereren in ongestructureerde omgevingen, zich voortdurend aan te passen en te leren. Naarmate deze technologie zich verder ontwikkelt, worden LLM's integraal voor toekomstige toepassingen, waardoor onze interactie met de digitale wereld fundamenteel verandert.

Overwegingen voor de implementatie van AI aan de edge

De succesvolle implementatie van AI-oplossingen aan de edge vereist zorgvuldige overweging van de onderliggende hardware-infrastructuur. Factoren zoals verwerkingskracht, betrouwbaarheid, milieuvriendelijkheid en schaalbaarheid zijn essentieel voor het garanderen van optimale prestaties en levensvatbaarheid op lange termijn. Het kiezen van de juiste hardwarepartner kan essentieel zijn bij het navigeren in deze complexiteit en het bouwen van een robuust Ai-systeem aan de edge.

Neem contact op met het OnLogic-team om de mogelijkheden van LLM's op edge devices en de hardwareaspecten voor een succesvolle implementatie verder te verkennen. Meer informatie over onze volledige reeks van AI-adviesdiensten vind:

Meer informatie over AI Consulting

Henry Kraessig
Henry Kraessig
Henry Kraessig is Applications Engineer bij OnLogic. Hij is afgestudeerd aan de Universiteit van Vermont in data science en wiskunde en zet zijn expertise in om oplossingen te bouwen die de kracht van moderne edge AI laten zien. Hij is gepassioneerd door technologie en vult zijn vrije tijd graag met koffie drinken, boeken en honkbal.

Blijf op de hoogte.

Krijg als eerste toegang tot de nieuwste producten en Industry 4.0-innovatie, OnLogic Live!-evenementen en meer.