Laden...
Laden...
Laden...
Technik erklärt6. September 20237.1 min Lesezeit

Compute Express Link (CXL) am Edge nutzen

Express-Link berechnen

Was ist Compute Express Link?

Compute Express Link™, oder CXL™, ist ein offener Standard für Hochgeschwindigkeits-CPU-Verbindungen zu Arbeitsspeichern und anderen Geräten. Im Kern geht CXL auf den lang gehegten Wunsch zurück, ein modulares, dynamisch zusammensetzbares und skalierbares Computersystem zu schaffen.

Zum Beispiel:

  • Sie brauchen mehr RAM? Setzen Sie einige Speichererweiterungsmodule ein. 

  • Benötigen Sie Prozessorkerne? Fügen Sie ein weiteres Prozessormodul hinzu. 

  • Mehr Anschlussmöglichkeiten? Bauen Sie ein neues Netzwerkmodul ein.

…und ganz nebenbei ist alles hot-plug-fähig, sodass das System nicht zur Wartung heruntergefahren oder neu gestartet werden muss, um die neue Hardware zu erkennen.

Auf der Website des CXL-Konsortiums wird dies folgendermaßen beschrieben (übersetzt):

„Compute Express Link™ (CXL™) ist eine von der Industrie unterstütztes cache-kohärente Zwischenverbindung (Cache-Coherent Interconnect) für Prozessoren, Arbeitsspeichererweiterungen und Beschleuniger. Die CXL-Technologie sorgt für die Aufrechterhaltung der Arbeitsspeicherkohärenz zwischen dem CPU-Speicherbereich und dem Arbeitsspeicher der angeschlossenen Geräte. Das ermöglicht die gemeinsame Nutzung von Ressourcen für eine höhere Leistung, eine geringere Komplexität des Software-Stacks und niedrigere Gesamtsystemkosten. Dadurch können sich die Benutzer:innen einfach auf die Ziel-Workloads konzentrieren anstatt auf die Hardware für die redundante Speicherverwaltung in ihren Beschleunigern. 

CXL ist als offene branchenübliche Schnittstelle für die Hochgeschwindigkeitskommunikation konzipiert, da Beschleuniger zunehmend als Ergänzung zu CPUs eingesetzt werden. Sie unterstützen neu entstehende Anwendungen wie künstliche Intelligenz und Machine Learning.“

Warum findet CXL noch keine breite Anwendung?

Vom Konzept her klingt das alles hervorragend. Jedoch ist es wichtig zu wissen, dass sich dieses Konzept langsam entwickelt und viele IT-Ingenieur:innen in den letzten Jahrzehnten daran gearbeitet haben. Es wurden Fortschritte in Richtung dieses Traums gemacht und man kam dem Ziel immer näher. Allerdings bestand eines der größten Hindernisse bisher in den effektiven Durchsatz- und Bandbreitenfähigkeiten der verschiedenen Bus-Architekturen und Zwischenverbindungen.

Diese Bandbreitenbeschränkung wirkt sich auf die Fähigkeit gemeinsam genutzter Arbeitsspeicherbereiche (z. B. Cache) aus, kohärent zu bleiben, das heißt, an mehreren Stellen gleichzeitig aktualisiert zu werden. Dies ist von entscheidender Bedeutung, wenn extrem große Arbeitslasten, die einen erheblichen Speicherverbrauch erfordern, über mehrere CPUs (oder mehrere Beschleuniger wie GPUs, DPUs, VPUs) verarbeitet werden müssen.

Leider ist es ohne einen ausreichend schnellen Bus schwierig, die erforderliche Speicherkohärenz zwischen dem Speicher und den Geräten eines primären Host-Prozessors aufrechtzuerhalten.

Dies ist der Punkt, an dem herstellerspezifische cache-kohärente Busse wie der Ultra Path Interconnect (UPI) von Intel, der eXternal Global Memory Interconnect (XGMI) von AMD und der NVLink von Nvidia einige der Kohärenz- und Skalierbarkeitsprobleme gelöst haben.

Mit dem Bandbreitenpotenzial und der Geschwindigkeit von PCIe 5.0 bei 32 GT/s pro Lane und bald PCIe 6.0 bei 64 GT/s pro Lane wird die Bandbreitenbarriere durchbrochen. Diese Leistungssteigerung zusammen mit den herstellerspezifischen Methoden zur Realisierung von Datenkohärenz und Skalierbarkeit ebnet den Weg für die nächste Generation einer auf offenen Standards basierenden skalierbaren Datenverarbeitungsmethode über Compute Express Link.

Der CXL-Standard wird vom CXL-Konsortium implementiert und dokumentiert. Das Konsortium veröffentlicht die Eigenschaften, Funktionen und Fähigkeiten von CXL als revisionskontrollierte Spezifikation (ähnlich wie das USB Integrators Forum für den USB-Standard).

Die Versionen und Funktionen von Compute Express Link

Bislang hat das CXL-Konsortium die folgenden Spezifikationen veröffentlicht:

  • CXL 1.0

  • CXL 1.1

  • CXL 2.0

  • CXL 3.0

Compute Express Link 1.0

CXL 1.0 ist die erste CXL-Spezifikation, die im März 2019 veröffentlicht wurde. Diese Spezifikation definiert eine Standardmethode für die Verbindung mit I/O-, Caching- und Speicher-Subsystemen, die von 170 Unternehmen vereinbart und unterstützt wird. CXL nutzt den physikalischen PCIe Express® (PCIe®)-Bus mit Gen 5.0 (und bis zu Gen 3.0 in einem reduzierten Modus). Es besteht aus drei Protokollen:

  • CXL.IO – für Initialisierung, Verknüpfung, Geräteerkennung/-auflistung, Registerzugriff

  • CXL.MEM – ermöglicht CXL-Geräten das Zwischenspeichern von Host-Speicher mit geringer Latenzzeit

  • CXL.CACHE – ermöglicht dem Host-Prozessor den Zugriff auf den an das Gerät angeschlossenen Speicher

Mit diesen drei Protokollen kann CXL für drei verschiedene Gerätetypen wie folgt aktiviert werden:

Eine Aufschlüsselung der Arten von Geräten, für die CXL aktiviert werden kann, sowie der verwendeten Protokolle.

Compute Express Link 1.1

CXL 1.1 wurde im September 2019 mit einigen Korrekturen und zusätzlichem Kontext in Bezug auf die CXL-Konformität veröffentlicht.CXL 1.1 ist die erste Spezifikation, die in großem Umfang implementiert wird. Die CXL 1.1-Funktionen sind auf Intel Xeon-Prozessoren der 4. Generation (früher bekannt als Sapphire Rapids) und AMD EPYC™-Prozessoren der 4. Generation verfügbar (früher bekannt als Genoa).

Compute Express Link 2.0

CXL 2.0 wurde im November 2020 veröffentlicht. Die wichtigste zusätzliche Funktion, die durch die CXL 2.0-Spezifikation ermöglicht wird, ist die Unterstützung der Konnektivität über einen einstufigen Switch, der eine detaillierte dynamische Ressourcenzuweisung (Hot-Plug) von CXL-Geräten an den/die verfügbaren Host(s) über einen Strukurmanager ermöglicht. Dabei bleibt die vollständige Rückwärtskompatibilität mit CXL 1.1 erhalten. Darüber hinaus wurden mit CXL 2.0 auch Telemetrie, Lastmanagement und zusätzliche Sicherheitsfunktionen hinzugefügt.

Compute Express Link 3.0

CXL 3.0 wurde im August 2022 veröffentlicht und soll den Weg der CXL 2.0-Spezifikation fortsetzen, indem die Skalierungsfunktionalität des CXL weiter ausgebaut wird.

CXL 3.0 basiert auf der PCIe 6.0-Technologie, die die Übertragungsrate von PCIe 5.0 auf 64 GT/s ohne zusätzliche Latenz verdoppelt. Dadurch ist eine Datenübertragung von bis zu 256 GB/s auf einem x16-Link möglich.

Zu den wichtigsten Merkmalen des CXL 3.0 gehören:

  • verbesserte Kohärenz – die Fähigkeit, die Caches des Hosts für Geräte vom Typ 2 (Beschleuniger mit Speicher) rückgängig zu machen

  • Speicherpooling und -freigabe – die Möglichkeit, an CXL angeschlossenen Arbeitsspeicher als flexible Ressource zu behandeln, die je nach Bedarf verschiedenen Systemen zugewiesen und freigegeben werden kann

  • Strukturen – die Möglichkeit, über die traditionellen baumbasierten Architekturstrukturen von PCIe und früheren CXL-Generationen hinauszugehen; dadurch sind Global Fabric Attached Memory (GFAM)-Geräte möglich. Das bedeutet, dass ein GFAM-Gerät wie ein traditionelles CXL-Typ-3-Gerät funktioniert, mit dem Unterschied, dass es von mehreren Knoten aus zugänglich ist.

CXL-Funktionsübersicht nach Spezifikationsversion

Funktionen

CXL 1.0/1.1

CXL 2.0

CXL 3.0

Datum der Veröffentlichung

2019

2020

2022

Maximale Link-Rate

32 GT/s

32 GT/s

64 GT/s

Typ 1, Typ 2 und Typ 3-Geräte

X

X

X

Memory-Pooling mit MLDs

X

X

Global Persistent Flush

X

X

CXL IDE (Integrität und Datenverschlüsselung)

X

X

Switching (Single-level)

X

X

Switching (Multi-level)

X

Direkter Speicherzugang für Peer-to-Peer

X

Verbesserte Kohärenz (256 Byte Flit)

X

Memory-Sharing (256 Byte Flit)

X

Mehrere Typ 1/Typ 2-Geräte pro Root-Port

X

Fabric-Fähigkeiten (256 Byte Flit)

X

Wie wird CXL heute eingesetzt?

Da CXL 1.1 erst ab Ende 2022 für CPUs auf Rechenzentrumniveau verfügbar ist, befindet sich CXL in einem sehr frühen Stadium der Implementierung in größeren Rechenzentren (z. B. in denen, die von großen Cloud-Service-Anbietern wie Microsoft und Amazon betrieben werden).

Darüber hinaus ist anzumerken, dass die großen CPU-Lieferanten zwar jetzt CXL 1.1 unterstützen. Damit CXL funktioniert, muss es jedoch auch von den Anbietern der Endpunkte (d.h. der Geräte) unterstützt werden.

Aufgrund der Neuheit der CXL-Funktionalität befinden wir uns also in einer spannenden Zeit, in der die Umsetzung gerade erst beginnt, Wirklichkeit zu werden.

Viele spekulieren, dass CXL im Rechenzentrum tiefgreifende Auswirkungen auf die Speichernutzung haben wird. Tatsächlich gehen viele führende Unternehmen der Branche davon aus, dass ein erheblicher Teil des Systemspeichers (mehr als 25 Prozent) zu einem bestimmten Zeitpunkt ungenutzt ist.

Wie könnte CXL im Edge eingesetzt werden?

Es ist verständlich und vernünftig zu erwarten, dass die Anwendung von CXL am Edge der Verwendung im Rechenzentrum hinterherhinken wird. Dies ist insbesondere vor dem Hintergrund zu sehen, dass CXL mit Blick auf das Rechenzentrum entwickelt wurde. Das bedeutet jedoch nicht, dass die Funktionen und Möglichkeiten, die durch CXL ermöglicht werden, nicht auch im Edge für Szenarien genutzt werden können, in denen eine hohe Rechenleistung vor Ort erforderlich ist.

So könnte beispielsweise die Cache-Kohärenz, die CXL für Smart-NICs (Geräte des Typs 1), GPUs und andere Beschleuniger (Geräte des Typs 2) bietet, für die Leistung des Edge-Computings von erheblichem Nutzen sein.

Darüber hinaus könnte die Speichererweiterung (Geräte des Typs 3) die Flexibilität und Langlebigkeit von Endgeräten erhöhen. So könnten bestehende Geräte im Laufe der Zeit erweitert und verbessert und nicht nur ersetzt werden.

Da beispielsweise künstliche Intelligenz (KI) immer allgegenwärtiger wird, wächst die Größe von Inferenzmodellen in rasantem Tempo. Je größer das Inferenzmodell, desto mehr Arbeitsspeicher wird benötigt. Generative KI-Modelle mit Milliarden von Parametern haben bereits begonnen, den Arbeitsspeicherbedarf einiger der leistungsstärksten GPUs auf dem Markt zu übersteigen. Wenn wir in Zukunft neue KI-Fähigkeiten im Edge hinzufügen, könnte zusätzlicher Speicher für eine GPU oder CPU ohne Austausch des Prozessors, unglaublich wertvoll werden.

Die Möglichkeiten sind scheinbar endlos und überwältigend, aber wir bei OnLogic freuen uns auf die Zukunft und alles, was neue Technologien wie Compute Express Link bringen werden.

Dieser Artikel wurde erstmals am 11. Juli 2023 auf LinkedIn veröffentlicht.

Author Image of Ross Hamilton
Ross Hamilton
Senior Solution Architect , OnLogic
Ross ist Senior Solution Architect bei OnLogic und zuständig für Forschung, Strategie und Produktinnovation. Außerhalb der Arbeit verbringt Ross seine Zeit gerne mit seiner Familie. Er mag Filme, Fernsehen und Spiele und kümmert sich um seine vielen Tiere.

Bleiben Sie auf dem Laufenden.

Seien Sie unter den Ersten, die Zugang zu den neuesten Produkten und Industrie 4.0-Innovationen, OnLogic-Events und mehr erhalten.