AI Inference: voordelen van het gebruik van een hybride cloudoplossing
AI inference is het proces waarbij een AI-model (kunstmatige intelligentie) of algoritme gebruikmaakt van zijn AI-training om conclusies te trekken op basis van nieuwe gegevens. Aangezien veel organisaties kijken naar het gebruik van op vision gebaseerde AI inference als onderdeel van hun digitale transformatiestrategie, moeten ze kiezen tussen:
Video naar de cloud verzenden om daar te worden verwerkt
of
Inferencing aan de edge uitvoeren op pc's die zijn geoptimaliseerd voor AI.
De vraag is: is het per se een of/of-keuze? Of bestaat er ook een hybride cloudoplossing?
Ontdek AI-oplossingenHoewel cloud inference-implementaties eenvoudige schaalbaarheid kunnen bieden, zijn de kosten van gegevensoverdracht voor videostreaming van edge-naar-cloud vaak hoog; vaak te hoog voor een rendabel rendement. Inferencing in de cloud verhoogt ook de latency. Dat betekent dat het moeilijker is om in real-time op de inference-data te reageren. De implementatie van een exclusieve inference-oplossing aan de edge betekent echter dat alleen lokale operators kunnen profiteren van de gegenereerde gegevens. Zo komen we bij hybride cloud inferencing.
Hybride-cloud inference
Als je de inferencing en codering van videostreams lokaal uitvoert en daarna de geoptimaliseerde videofeeds naar de cloud verstuurt, kun je sneller op gebeurtenissen reageren. Het leidt ook tot lagere transmissiekosten en maakt een schaalbare methode voor video inference aan de edge mogelijk.
AWS, Intel en OnLogic hebben samengewerkt aan de ontwikkeling van een oplossing die edge inferencing combineert met de kracht van de AWS-cloud.
Source: Intel
Een voorbeeld van videostreaming en -inferencing aan de edge
Om het concept te illustreren, bekijken we hoe een hybride cloudoplossing kan worden toegepast om twee veelvoorkomende uitdagingen op luchthavens op te lossen:
De naleving van de veiligheidsvoorschriften voor grondwerkzaamheden
Brandstoftrucks geparkeerd in aangewezen gebied
Werknemers dragen goed zichtbare vesten
Bewaking van landingsbaan
Bewaking van hekken tegen indringing door mensen of dieren
De videostream verwerken
In beide luchthavenscenario's worden de videostreams verbonden vanaf camera's die worden gebruikt waar ze nodig zijn. Inkomende gecomprimeerde videostreams worden naar het systeem verzonden en gedecodeerd, d.w.z. ongecomprimeerd vanuit de inkomende codec-indeling, om inferencing met een ondersteunde videocodec voor te bereiden.
Het is belangrijk dat het juiste type camera voor de toepassing wordt gebruikt. Bij perimeterdetectie is bijvoorbeeld een camera vereist die compatibel is met nachtzicht, omdat de locatie waar de apparatuur wordt gebruikt 's nachts slecht verlicht is. Terwijl er bij de poort juist veel kunstlicht is.
Videoverwerking
De videoframes worden uitgevoerd via het AI-algoritme, inclusief classificatie, objectdetectie en optische tekenherkenning. Dit overlapt ook informatie zoals begrenzende vakken en inference-metagegevens van de videoframes. Bovendien kan lokaal actie worden ondernomen op basis van de informatie die wordt verkregen door inferencing.
Hardware voor AI inference
Afhankelijk van de complexiteit van de inferencing-activiteiten, kunnen workloads veel hardwareresources gebruiken. Dit is in het verleden opgelost met discrete GPU's, die uitblinken in de verwerking voor AI-toepassingen. Met OpenVINO, Intel's AI Acceleration toolkit, kun je profiteren van optimalisatie voor Intel CPU's, Iris XE Integrated Graphics en discrete Intel Arc GPU's om inferencing volgens de projectvereisten uit te voeren.
Voor naleving van veiligheidsvoorschriften:
Gebruik objectdetectie en -classificatie om werknemers in frame te identificeren en te controleren of de werknemers hun veiligheidsvesten dragen.
Gebruik objectdetectie om de tankwagen te identificeren en te controleren of deze op de juiste plaats is geparkeerd.
Het kan ook worden gebruikt met optische tekenherkenning, om de gevarensticker te identificeren en te controleren of het vliegtuig met het juiste type brandstof wordt getankt. Ervoor zorgen dat alleen jetbrandstof in grote vliegtuigen wordt getankt in plaats van vliegtuigkerosine.
Voor perimeterbeveiliging:
Gebruik objectdetectie en -classificatie om dieren en mensen te traceren en te classificeren om te controleren dat ze het terrein niet betreden of overschrijden.
In beide gevallen bestaat de AI-toepassing grotendeels uit het koppelen van de inferencing-resultaten in de actie die nodig is om het getoonde probleem op te lossen. Afhankelijk van de ernst van de situatie kan het nodig zijn de gebeurtenis te registreren of onmiddellijk actie te ondernemen om de situatie te verhelpen.
Zichtbaarheidsvesten: Registreer een videofragment/frame waarop de inbreuk zichtbaar is en informeer de manager van het grondpersoneel.
Brandstof voertuig: Maak melding van de onjuiste parkeerstand voor later onderzoek. Gebruik slimme controllers op de tankwagens om de brandstofstroom te stoppen als er een verkeerd type brandstof wordt getankt.
Perimeterbeveiliging: Speel harde geluiden af of doe een licht aan als er iets in de richting van het hek komt om inbraak te ontmoedigen. Als er zich toch een inbraak voordoet, meld dit dan onmiddellijk bij de beveiliging en de luchtverkeersleiding en laat een alarm afgaan.
Zoals hierboven vermeld, hebben deze verschillende AI-bewerkingen verschillende vereisten wat de hardware en implementatielocatie betreft. Het gebruiksscenario voor grondbewerkingen kan systemen centraliseren op edge servers in een gecontroleerde omgeving. Voor perimeterdetectie kunnen kleine edge devices direct naast camera's worden neergezet. In dat geval kan een mobiele verbinding nodig zijn, omdat een vaste netwerkverbinding mogelijk niet beschikbaar is.
Offline opslag versus beschikbaarheid in de cloud
Een belangrijke beslissing die moet worden genomen als onderdeel van een grote oplossing voor videostreaming is welke informatie naar de cloud moet worden verzonden in plaats van offline opgeslagen.
Voor streams die continu moeten worden bewaakt, is het handig om deze te bedienen aan gebruikers in de cloud.
Voor gebruiksscenario's voor gebeurtenisregistratie kan het voldoende zijn om videostreams gedurende een paar dagen op locatie op te slaan voordat ze worden verwijderd en alleen videosegmenten naar de cloud te verzenden wanneer er een gebeurtenis plaatsvindt.
AV1-codering en KVS-formattering
Om zeer efficiënte streams te creëren, zou onze voorbeeldoplossing gebruik maken van de AV1-videocodec, een zeer efficiënte indeling die ideaal is voor streaming naar AWS Cloud. Intel-processors en GPU's bevatten optimalisaties voor de AV1-codec.
Bovendien vergemakkelijkt een formattering naar de AWS KVS-indeling (Kinesis Video Streams) rechtstreeks opname in AWS Cloud. KVS is een AWS-service die is ontwikkeld voor het veilig streamen van video van edge devices voor gebruik met andere AWS-services. Door deze zeer efficiënte streams te creëren, worden de kosten voor gegevensoverdracht van edge naar cloud, met name van 4G/5G-apparaten, aanzienlijk verlaagd.
In de AWS-cloud
Zodra streams naar de cloud zijn verzonden, kunnen de streams eenvoudig worden aangeboden aan andere toepassingen of met behulp van KVS worden gestreamd naar relevante gebruikers. Voor perimeterbeveiliging kan dit rechtstreeks naar het beveiligingsteam worden gestreamd voor constante bewaking, terwijl het veiligheidsteam toegang heeft tot geregistreerde videostreams om gebeurtenissen te zien en problemen te verhelpen.
Hybride cloud inferencing: Een krachtige oplossing voor op vision gebaseerde AI
Kortom, de hybride cloudbenadering van AI inference biedt een krachtige oplossing voor organisaties die hun op vision gebaseerde processen willen optimaliseren. Door gebruik te maken van de sterke punten van edge computing en cloud computing, maakt deze oplossing real-time responsiviteit, kosteneffectieve gegevensoverdracht en schaalbaarheid mogelijk.
Aan de slag
Klaar om van start te gaan? Door samenwerking met toonaangevende bedrijven als AWS en Intel kan OnLogic je helpen je gegevens optimaal te benutten. Ontdek de AI-oplossingen van OnLogic, inclusief AI Consultancy Services, hieronder.
Ontdek AI-oplossingenGerelateerde OnLogic-content
Wat is OpenVINO en wat zijn de hardwarevereisten?
3 redenen waarom je draadloze communicatie nodig hebt voor edge computers