Caricamento...
Caricamento...
Caricamento...
Tecnologia spiegata6 settembre 20237.1 MINUTI DI LETTURA

Sfruttare Compute Express Link (CXL) all'Edge

Collegamento rapido di calcolo

Che cos'è Compute Express Link?

Compute Express Link™, o CXL™, è uno standard aperto per la connessione ad alta velocità della CPU alla memoria e ad altri dispositivi. Fondamentalmente, CXL risponde al desiderio, a lungo ricercato, di realizzare un sistema di calcolo modulare, dinamicamente componibile e scalabile. Ad esempio: 

  • Hai bisogno di più RAM? Aggiungi qualche modulo di espansione di memoria. 

  • Hai bisogno di core di elaborazione? Aggiungi un altro modulo processore. 

  • Più connettività? Integra un nuovo modulo di rete. 

…e oh a proposito, è tutto hot-pluggable, quindi non c'è bisogno di spegnere il sistema per manutenzione o riavviarlo per far riconoscere il nuovo hardware. Ecco comeSito web del consorzio CXL lo afferma:

Compute Express Link™ (CXL™) è un'interconnessione con coerenza di cache supportata dal settore per processori, espansione di memoria e acceleratori. La tecnologia CXL mantiene la coerenza della memoria tra lo spazio di memoria della CPU e la memoria sui dispositivi collegati, il che consente la condivisione delle risorse per prestazioni superiori, una ridotta complessità dello stack software e un costo complessivo del sistema inferiore. Ciò consente agli utenti di concentrarsi semplicemente sui carichi di lavoro target anziché sull'hardware ridondante per la gestione della memoria nei loro acceleratori. 

CXL è progettato per essere un'interfaccia standard aperta nel settore per le comunicazioni ad alta velocità, poiché gli acceleratori sono sempre più utilizzati per integrare le CPU a supporto di applicazioni emergenti come l'intelligenza artificiale e l'apprendimento automatico.

Cosa impedisce al CXL di essere utilizzato su larga scala?

Concettualmente, tutto ciò sembra fantastico, ma è importante notare che questo concetto si è sviluppato lentamente ed è stato al centro dell'attenzione di molti ingegneri informatici negli ultimi decenni. Sono stati compiuti passi da gigante nella direzione di questo sogno, avvicinandosi sempre di più all'obiettivo, ma uno dei maggiori ostacoli fino ad oggi è stata la capacità effettiva di throughput e larghezza di banda delle varie architetture di bus e interconnessioni. 

Questa limitazione della larghezza di banda influisce sulla capacità degli spazi di memoria condivisi (come la cache) di essere mantenuti in modo coerente (ad esempio aggiornati in più posti contemporaneamente), il che è di fondamentale importanza quando carichi di lavoro estremamente grandi che richiedono un consumo di memoria significativo devono essere elaborati su più CPU (o più acceleratori come GPU, DPU, VPU).

Sfortunatamente, senza un bus sufficientemente veloce, è difficile mantenere la coerenza di memoria necessaria tra la memoria e i dispositivi di un processore host primario. 

Detto questo, è qui che i bus di cache coerenti proprietari specifici del fornitore, come Ultra Path Interconnect (UPI) di Intel, eXternal Global Memory Interconnect (XGMI) di AMD e NVLink di Nvidia, hanno risolto alcuni dei problemi di coerenza e scalabilità.

Grazie al potenziale di larghezza di banda e alla velocità di PCIe 5.0 a 32 GT/s per corsia, e presto anche a PCIe 6.0 a 64 GT/s per corsia, la barriera della larghezza di banda sta crollando. Questo miglioramento delle capacità, insieme alle metodologie specifiche dei fornitori per garantire coerenza e scalabilità dei dati, sta aprendo la strada alla prossima generazione di un metodo di calcolo scalabile basato su standard aperti tramite Compute Express Link.

Lo standard CXL è implementato e documentato dal consorzio CXL, il quale rilascia le caratteristiche, le funzioni e le capacità di CXL come specifiche sottoposte a revisione controllata (non diversamente da quanto fa l'USB Integrators Forum per lo standard USB).

Versioni e funzionalità di Compute Express Link

Ad oggi, il consorzio CXL ha rilasciato le seguenti specifiche:

  • CXL 1.0

  • CXL 1.1

  • CXL 2.0

  • CXL 3.0

Collegamento Compute Express 1.0

CXL 1.0 è la specifica CXL iniziale, rilasciata a marzo 2019. Questa specifica definisce uno standard di connessione ai sottosistemi di I/O, caching e memoria, concordato e supportato da 170 aziende. CXL sfrutta il bus fisico PCIe Express® (PCIe®) di Gen 5.0 (e fino a Gen 3.0 in modalità degradata) ed è composto da tre protocolli:

  • CXL.IO – Per l'inizializzazione, il collegamento, la scoperta/enumerazione dei dispositivi, l'accesso ai registri

  • CXL.MEM – Consente ai dispositivi CXL di memorizzare nella cache la memoria host con bassa latenza

  • CXL.CACHE – Consente al processore host di accedere alla memoria collegata al dispositivo

Con questi tre protocolli, CXL può essere abilitato per 3 tipi di dispositivi come segue:

Un'analisi dettagliata dei tipi di dispositivi per cui CXL può essere abilitato e dei protocolli utilizzati.

Collegamento Compute Express 1.1

CXL 1.1 è stato rilasciato a settembre 2019 con alcuni errata corrige e contesto aggiuntivo relativo alla conformità CXL. 

CXL 1.1 è la prima specifica che viene ampiamente implementata. Le funzionalità di CXL 1.1 sono disponibili sui processori Intel Xeon di quarta generazione (precedentemente noti come Sapphire Rapids) e sui processori AMD EPYC™ di quarta generazione (precedentemente noti come Genoa).

Compute Express Link 2.0

CXL 2.0 è stato rilasciato a novembre 2020. Fondamentalmente, la principale funzionalità aggiuntiva abilitata dalla specifica CXL 2.0 è il supporto per la connettività tramite uno switch a livello singolo, che consente l'assegnazione dinamica (hot-plug) delle risorse dei dispositivi CXL agli host disponibili tramite un fabric manager, mantenendo al contempo la piena retrocompatibilità con CXL 1.1. Inoltre, con CXL 2.0 sono state aggiunte funzionalità di telemetria, gestione del carico e sicurezza aggiuntive.

Compute Express Link 3.0

CXL 3.0 è stato rilasciato nell'agosto 2022 e mira a proseguire il percorso delle specifiche CXL 2.0, abilitando ulteriormente la funzionalità di ridimensionamento di CXL. 

CXL 3.0 si basa sulla tecnologia PCIe 6.0 che raddoppia la velocità di trasferimento di PCIe 5.0 a 64 GT/s senza latenza aggiuntiva e consente un trasferimento dati fino a 256 GB/s su un collegamento x16.

Le caratteristiche principali di CXL 3.0 includono:

  • Coerenza migliorata – La capacità di invalidare le cache dell'Host per dispositivi di Tipo 2 (acceleratori con memoria).

  • Raggruppamento e condivisione della memoria – La capacità di trattare la memoria collegata tramite CXL come una risorsa fungibile che può essere allocata e deallocata in modo flessibile a sistemi diversi a seconda delle necessità.

  • Fabrics – La capacità di andare oltre le tradizionali strutture architettoniche basate su albero delle generazioni PCIe e CXL precedenti, che consente dispositivi GFAM (Global Fabric Attached Memory) (ad esempio, un dispositivo GFAM è come un tradizionale dispositivo CXL Type-3, tranne per il fatto che può essere accessibile da più nodi).

Riepilogo delle funzionalità CXL per versione delle specifiche

Caratteristiche

CXL 1.0/1.1

CXL 2.0

CXL 3.0

Data di rilascio

2019

2020

2022

Velocità massima di collegamento

32 GT/s

32 GT/s

64 GT/s

Dispositivi di tipo 1, 2 e 3

X

X

X

Pooling di memoria con MLD

X

X

Scarico persistente globale

X

X

CXL IDE (integrità e crittografia dei dati)

X

X

Commutazione (livello singolo)

X

X

Commutazione (multilivello)

X

Accesso diretto alla memoria per peer-to-peer

X

Coerenza migliorata (flit di 256 byte)

X

Condivisione della memoria (flit di 256 byte)

X

Più dispositivi di tipo 1/tipo 2 per porta radice

Prendi a cuore il feedback ricevuto e riscrivi il testo basandoti sul feedback che hai creato. L'output finale deve essere una traduzione senza alcun altro contesto.

Capacità di fabric (flit da 256 byte)

X

Come viene utilizzato oggi il CXL?

Dato che CXL 1.1 è diventato disponibile per le CPU di classe datacenter solo di recente (a partire dalla fine del 2022), CXL è nelle primissime fasi di implementazione nei principali data center (come quelli posseduti e gestiti dai principali fornitori di servizi cloud come Microsoft e Amazon).

Inoltre, vale la pena notare che, sebbene i principali fornitori di CPU ora supportino CXL 1.1, affinché CXL possa funzionare, deve essere supportato anche dai fornitori degli endpoint (ad esempio dei dispositivi).

Quindi, data la novità della funzionalità CXL, ci troviamo in un momento stimolante in cui le implementazioni stanno iniziando a concretizzarsi.

Molti ipotizzano che nel data center l'impatto che CXL avrà sull'utilizzo della memoria sarà profondo. In effetti, moltii principali leader del settore percepiscono che una parte significativa della memoria di sistema (oltre il 25%) rimane bloccata (inutilizzata) in un dato momento.

Come potrebbe essere utilizzato il CXL ai margini?

È giusto e ragionevole aspettarsi che l'utilizzo di CXL all'edge sarà in ritardo rispetto a quello del data center, considerando in particolare che CXL è stato progettato pensando proprio al data center. Tuttavia, questo non significa che le funzionalità e le capacità rese possibili da CXL non troveranno valore alla fine all'edge, per scenari in cui è richiesto un calcolo ad alte prestazioni e in locale (on-premise).

Ad esempio, la coerenza della cache garantita da CXL per Smart-NIC (dispositivi di tipo 1), GPU e altri acceleratori (dispositivi di tipo 2) potrebbe essere estremamente vantaggiosa per le prestazioni dell'edge computing.

Inoltre, l'espansione della memoria (dispositivi di tipo 3) potrebbe apportare maggiore flessibilità e longevità ai dispositivi di elaborazione edge, in modo che i dispositivi esistenti possano essere ampliati e migliorati nel tempo, non semplicemente sostituiti.

Ad esempio, con la crescente diffusione dell'intelligenza artificiale (IA), le dimensioni dei modelli di inferenza stanno crescendo rapidamente. Più grande è il modello di inferenza, maggiore è la memoria richiesta. I modelli di IA generativa, che hanno miliardi di parametri, hanno già iniziato a superare la quantità di memoria supportata da alcune delle GPU più potenti sul mercato. In futuro, con l'aggiunta di nuove funzionalità di IA all'edge, aggiungere memoria aggiuntiva a una GPU o a una CPU senza sostituire il processore potrebbe diventare incredibilmente prezioso.

Le possibilità sembrano infinite e travolgenti, ma noi di OnLogic siamo entusiasti del futuro e di tutto ciò che le nuove tecnologie, come Compute Express Link, porteranno.

Questo articolo è stato pubblicato per la prima volta suLinkedIn l'11 luglio 2023.

Immagine dell'autore: Ross Hamilton
Ross Hamilton
Architetto di soluzioni senior , OnLogic
Ross è un Senior Solution Architect presso OnLogic, responsabile della ricerca, della strategia e dell'innovazione di prodotto. Nel tempo libero, Ross ama trascorrere il tempo con la sua famiglia, guardando film, guardando programmi TV e giocando ai videogiochi, e prendersi cura dei suoi numerosi animali.

Rimani informato.

Ricevi in anteprima i nuovi prodotti, le innovazioni per l'Industria 4.0, gli eventi OnLogic e molto altro.