Laden...
Laden...
Laden...
Techniek uitgelegd6 september 20237.1 Min leestijd

Compute Express Link (CXL) inzetten aan de edge

Compute Express-link

Wat is Compute Express Link?

Compute Express Link™, of CXL™, is een open standaard voor een high-speed CPU-verbinding met geheugen en andere apparaten. Eigenlijk is CXL ontstaan vanuit de lang gekoesterde wens om een modulair en dynamisch samenstelbaar en schaalbaar computersysteem te realiseren. 

Bijvoorbeeld: 

  • Heb je meer RAM nodig? Voeg dan een paar geheugenuitbreidingsmodules toe. 

  • Nog processorkernen nodig? Voeg gewoon nog een processormodule toe. 

  • Meer connectiviteit? Kwestie van een nieuwe netwerkmodule toevoegen. 

…het is ook nog eens hot-pluggable. Het systeem hoeft dus niet uit de lucht voor onderhoud of opnieuw te worden opgestart zodat de nieuwe hardware wordt herkend.

De website van het CXL-consortium stelt het als volgt:

“Compute Express Link™ (CXL™) is een door de industrie ondersteunde Cache-Coherent Interconnect voor processors, geheugenuitbreiding en versnellers. CXL-technologie zorgt voor een goede coherentie tussen de geheugenruimte van de processor en het geheugen op aangesloten apparaten. Daardoor kunnen middelen worden gedeeld voor betere prestaties, een minder complexe softwarestack en lagere totale systeemkosten. Hierdoor kunnen gebruikers zich eenvoudig richten op de beoogde workloads in plaats van op hardware voor het beheer van redundant geheugen in hun versnellers. 

CXL is ontworpen als een industrie-open standaardinterface voor snelle communicatie. Versnellers worden immers steeds vaker gebruikt als aanvulling op CPU’s ter ondersteuning van opkomende toepassingen zoals Artificial Intelligence en machine learning.”

Waarom is CXL dan nog niet wijdverspreid?

Conceptueel klinkt dit allemaal geweldig. Het is echter belangrijk om op te merken dat dit concept zich langzaam ontwikkelt. Veel computertechnici spelen al decennia lang met deze gedachte. Er is vooruitgang geboekt om deze droom te verwezenlijken en we komen telkens een beetje dichter bij het doel. Echter, een van de grootste barrières tot nu toe wordt gevormd door effectieve doorvoer- en bandbreedtemogelijkheden van verschillende busarchitecturen en interconnects. 

Deze bandbreedtebeperking beïnvloedt het vermogen van gedeelde geheugenruimten (zoals de cache) om coherent te worden onderhouden (bv. op meerdere plaatsen tegelijk worden bijgewerkt). Dit is van cruciaal belang wanneer extreem grote workloads die veel geheugen verbruiken, moeten worden verwerkt via meerdere CPU’s (of meerdere versnellers zoals GPU’s, DPU’s, VPU’s).

Helaas is het zonder een voldoende snelle bus moeilijk om de noodzakelijke coherentie tussen het geheugen van een primaire hostprocessor en apparaten te behouden. 

En precies op dit vlak hebben proprietary leverancierspecifieke cache-coherente bussen, zoals Ultra Path Interconnect (UPI) van Intel, eXternal Global Memory Interconnect (XGMI) van AMD en NVLink van Nvidia, een aantal coherentie- en schaalbaarheidsproblemen aangepakt.

Met het bandbreedtepotentieel en de snelheid van de mogelijkheden van PCIe 5.0 bij 32GT/s per lane en binnenkort PCIe 6.0 bij 64GT/s per lane, brokkelt de bandbreedtebarrière af. Deze verbeterde mogelijkheden, in combinatie met de leverancierspecifieke methodologieën die gegevenscoherentie en -schaalbaarheid mogelijk maken, maken de weg vrij voor de volgende generatie van een op open standaarden gebaseerde schaalbare berekeningsmethode via Compute Express Link.

De CXL-standaard wordt geïmplementeerd en gedocumenteerd door het CXL-consortium. Het consortium brengt de functionaliteiten, functies en mogelijkheden van CXL uit als een revisiegecontroleerde specificatie (ongeveer zoals het USB Integrators Forum doet voor de USB-standaard).

Compute Express Link-versies en -mogelijkheden

Tot op heden heeft het CXL-consortium de volgende specificaties uitgebracht:

  • CXL 1.0

  • CXL 1.1

  • CXL 2.0

  • CXL 3.0

Compute Express Link 1.0

CXL 1.0 is de oorspronkelijke CXL-specificatie die in maart 2019 werd uitgebracht. Deze specificatie definieert een standaardmanier voor verbinding met I/O-, caching- en geheugensubsystemen. Deze specificatie is overeengekomen en wordt ondersteund door 170 bedrijven. CXL maakt gebruik van de PCIe Express® (PCIe®) fysieke bus op gen 5.0 (en achterwaarts tot gen 3.0 in een gedegradeerde modus) en bestaat uit drie protocollen:

  • CXL.IO – voor initialisatie, verbinding, apparaatdetectie/inventarisatie, toegangsregistratie;

  • CXL.MEM – opdat CXL-apparaten hostgeheugen met lage latentie in cache kunnen opslaan;

  • CXL.CACHE – opdat de hostprocessor toegang heeft tot het aangesloten geheugen van het apparaat.

Met deze drie protocollen kan CXL als volgt worden ingeschakeld voor drie typen apparaten:

Een onderverdeling van de typen apparaten waarvoor CXL kan worden ingeschakeld en de gebruikte protocollen.

Compute Express Link 1.1

CXL 1.1 werd uitgebracht in september 2019 met enkele errata en extra context met betrekking tot CXL-naleving. CXL 1.1 is de eerste specificatie die op grote schaal wordt geïmplementeerd. De mogelijkheden van CXL 1.1 zijn beschikbaar op Intel 4e generatie Xeon- (voorheen bekend als Sapphire Rapids) en 4e generatie AMD EPYC™- processors (voorheen bekend als Genoa).

Compute Express Link 2.0

CXL 2.0 werd uitgebracht in november 2020. De belangrijkste extra functionaliteit van de CXL 2.0-specificatie is ondersteuning voor connectiviteit via een single-level switch. Dit biedt de mogelijkheid van nauwkeurige dynamische (hot-plug) toewijzing van resources van CXL-apparaten aan de beschikbare host(s) via een fabric manager. En dit alles met behoud van volledige achterwaartse compatibiliteit met CXL 1.1. Daarnaast zijn telemetrie, load management en extra beveiligingsfuncties toegevoegd in CXL 2.0.

Compute Express Link 3.0

CXL 3.0 werd uitgebracht in augustus 2022 en is bedoeld om het pad van de CXL 2.0-specificatie voort te zetten door de schaalfunctionaliteit van CXL verder uit te breiden. 

CXL 3.0 is gebaseerd op PCIe 6.0-technologie, die de overdrachtsnelheid van PCIe 5.0 verdubbelt tot 64GT/s zonder extra latentie en tot 256GB/s gegevensoverdracht via een x16-link mogelijk maakt.

De belangrijkste kenmerken van CXL 3.0 zijn:

  • Verbeterde coherentie – de mogelijkheid om de caches van de host voor Type 2-apparaten (versnellers met geheugen) uit te schakelen.

  • Geheugen poolen en delen – de mogelijkheid om CXL-gekoppeld geheugen te behandelen als een onderling verwisselbare resource die, afhankelijk van de behoefte, flexibel kan worden toegewezen aan en weer kan worden weggehaald bij verschillende systemen.

  • Fabrics – de mogelijkheid om verder te gaan dan traditionele architecturale boomstructuren van PCIe- en eerdere CXL-generaties. Dat betekent dat GFAM-apparaten kunnen worden gebruikt (Global Fabric Attached Memory). Een GFAM-apparaat is als een traditioneel CXL Type-3-apparaat, behalve dat het door meerdere knooppunten kan worden benaderd.

Overzicht CXL-functies per specificatierelease

Kenmerk

CXL 1.0/1.1

CXL 2.0

CXL 3.0

Uitgavejaar

2019

2020

2022

Max. link rate

32 GT/s

32 GT/s

64 GT/s

Type 1, 2 en 3 apparaten

X

X

X

Geheugen bundelen w/MLDs

X

X

Global Persistent Flush

X

X

CXL IDE (Integrity and Data Encryption)

X

X

Switching (Single-level)

X

X

Switching (Multi-level)

X

Directe geheugentoegang voor peer-to-peer

X

Verbeterde coherentie (flit van 256 bytes)

X

Geheugen delen (256 byte flit)

X

Meerdere Type 1/Type 2 apparaten per root-poort

X

Fabric-mogelijkheden (256 byte flit)

X

Hoe wordt CXL vandaag gebruikt?

Aangezien CXL 1.1 nog maar net, eind 2022, beschikbaar is geworden vanuit het perspectief van datacenterklasse CPU’s, bevindt CXL zich in een zeer vroeg stadium van implementatie in grote datacenters (zoals die welke eigendom zijn van en worden beheerd door grote cloudserviceproviders zoals Microsoft en Amazon). 

Hoewel grote CPU-leveranciers nu CXL 1.1 ondersteunen, is het belangrijk op te merken dat CXL alleen kan functioneren als deze ook door de endpoint-leveranciers (bijv. apparaten) wordt ondersteund.

Omdat de CXL-functionaliteit nog zo nieuw is, bevinden we ons dus in een spannende tijd waarin implementaties nu pas werkelijkheid beginnen te worden. 

Velen beweren dat de impact van CXL op het geheugengebruik in het datacenter enorm zal zijn. Eigenlijk zien veel grote industrieleiders dat een aanzienlijk deel van het systeemgeheugen (tot wel 25%) op een bepaald moment strandt (ongebruikt blijft).

Hoe kan CXL aan de edge worden gebruikt?

Redelijkerwijs kun je verwachten dat het CXL-gebruik aan de edge achterblijft op dat van het datacenter, met name omdat CXL is ontworpen met het oog op het datacenter. Dat wil echter niet zeggen dat de functies en mogelijkheden die CXL mogelijk maakt, uiteindelijk geen waarde aan de edge zullen hebben voor scenario’s waarbij high-performance, on-premise computerkracht vereist is.

Zo kan de cachecoherentie die CXL biedt voor Smart-NIC’s (Type 1-apparaten), GPU’s en andere versnellers (Type 2-apparaten) heel gunstig zijn voor de prestaties van edge computing.

Bovendien kan geheugenuitbreiding (Type 3-apparaten) zorgen voor meer flexibiliteit en een langere levensduur voor computerapparaten aan de edge. Dat betekent dat bestaande apparaten in de loop van de tijd kunnen worden uitgebreid en verbeterd. Ze hoeven dus niet altijd te worden vervangen.

Nu bijvoorbeeld kunstmatige intelligentie (AI) alomtegenwoordig lijkt te worden, groeit de omvang van inferentiemodellen in een hoog tempo. En grotere inferentiemodellen hebben meer geheugen nodig. Generatieve AI-modellen met miljarden parameters beginnen al te overschrijden wat kan worden ondersteund door de hoeveelheid geheugen die beschikbaar is op een aantal van de meest krachtige GPU’s op de markt. Als we in de toekomst nieuwe AI-mogelijkheden aan de edge toevoegen, kan het toevoegen van extra geheugen aan een GPU of CPU, zonder de processor te vervangen, ongelooflijk waardevol worden.

De mogelijkheden zijn ogenschijnlijk eindeloos en overweldigend, maar bij OnLogic zijn we enthousiast over de toekomst en over alles waartoe nieuwe technologieën, zoals Compute Express Link, zullen leiden.

Dit artikel werd voor het eerst gepubliceerd op LinkedIn op 11 juli 2023.

Author Image of Ross Hamilton
Ross Hamilton
Senior Solution Architect , OnLogic
Ross is Senior Solution Architect bij OnLogic en verantwoordelijk voor onderzoek, strategie en productinnovatie. Als hij niet aan het werk is, brengt Ross graag tijd door met zijn gezin. Hij houdt van films/televisie/games en het verzorgen van zijn vele dieren.

Blijf op de hoogte.

Ontvang als eerste toegang tot de nieuwste producten en Industry 4.0-innovatie, OnLogic Live!-evenementen en meer.