NIC 400G vs 800G: quale scegliere?

La scelta tra una NIC da 400G e una NIC da 800G è una decisione sulla struttura, non un confronto tra le pagine di pagamento-. L'adattatore più veloce ripaga solo quando il server, lo switch, l'ottica e il cablaggio riescono a mantenere quella velocità end-to-end. Questa guida esamina il compromesso-dal punto di vista dell'implementazione e dell'approvvigionamento, in modo che tu possa decidere prima di impegnare il budget per adattatori, switch, ricetrasmettitori, DAC, AOC, AEC o fibra.

In breve: una scheda NIC da 400G è la soluzione predefinita matura ed economicamente vantaggiosa per la maggior parte dei carichi di lavoro AI, HPC, storage e cloud odierni e si mappa perfettamente sugli host NDR InfiniBand e PCIe Gen5. Una scheda NIC 800G guadagna il suo premio quando costruisci una struttura AI di prossima-generazione con GPU più dense, traffico est-ovest più intenso e una tabella di marcia verso XDR InfiniBand, Ethernet 800G e infine 1.6T.

Scheda di rete 400G o 800G

Scegli una NIC 400G quando i tuoi server, switch e impianti ottici sono già standardizzati su Ethernet 400G o NDR InfiniBand o quando il carico di lavoro non satura ogni percorso da GPU-a-GPU. È anche la scelta più sicura quando la disponibilità, il budget e il tempo di qualificazione contano più della velocità di picco del porto.

Scegli una scheda NIC 800G quando la rete sta diventando un collo di bottiglia per la formazione su larga-scala, server GPU ad alta-densità o acceleratori di prossima-generazione. Dimezza all'incirca il numero di collegamenti e moduli ottici necessari per una determinata quantità di larghezza di banda e prepara la struttura per il successivo aggiornamento.

Vale la pena acquistare una porta 800G solo quando il resto del sistema può alimentarla. Se l'host non riesce a esporre un numero sufficiente di corsie PCIe all'adattatore, una scheda NIC da 800G diventa una porta costosa e sottoutilizzata anziché un aggiornamento delle prestazioni.

Cos'è una scheda NIC 400G?

Una NIC 400G è un adattatore di rete che sposta fino a 400 gigabit al secondo per porta. Negli ambienti AI e HPC gestisce le reti di cluster GPU-, la formazione distribuita, l'accesso allo spazio di archiviazione, il traffico MPI, i tessuti RoCE e i collegamenti NDR InfiniBand. Per la maggior parte degli operatori, 400G rappresenta già un grande salto rispetto a 100G o 200G e rimuove gli evidenti colli di bottiglia senza forzare una riprogettazione del server e un cambio di livello.

Dove si adattano oggi le NIC 400G

Gli adattatori 400G sono l'impostazione predefinita di lavoro nei cluster di formazione AI su GPU di generazione attuale, HPC e infrastrutture di elaborazione scientifica-, reti di archiviazione ad alte-prestazioni, infrastrutture RoCEv2 Ethernet e InfiniBand, flotte di server cloud generali e aggiornamenti da 100G/200G-a-400G in sale di generazione mista. In questi contesti il ​​400G raramente rappresenta un compromesso. È semplicemente la classe di velocità giusta quando le dimensioni del cluster, il numero di GPU e il budget non giustificano la complessità aggiuntiva di 800G.

Perché il 400G ha ancora senso

La selezione della NIC è un problema di equilibrio-del sistema. Se un host non può alimentare un adattatore 800G, se il carico di lavoro è legato al calcolo- o allo storage-o se la struttura portante è ancora 400G, l'eliminazione delle NIC 800G aumenta i costi senza modificare le prestazioni dell'applicazione. Un tessuto 400G ben-costruito, con un basso abbonamento in eccesso, una topologia pulita, RDMA, ottica di qualità e controllo della congestione ottimizzato, continua a svolgere comodamente lavori impegnativi di intelligenza artificiale e HPC.

Cos'è una scheda di rete 800G?

Una scheda NIC 800G offre fino a 800 gigabit al secondo per porta. Si rivolge a data center AI di prossima generazione, cluster GPU di grandi dimensioni e strutture iperscalabili in cui la domanda di comunicazione supera le reti di server convenzionali. La generazione 800G è ora standardizzata:lo standard IEEE 802.3df, ratificato nel 2024, definisce 800 Gigabit Ethernet e supporta velocità secondarie-come 1x800G, 2x400G e 8x100G, che è ciò che rende pratica la migrazione a velocità-mista.

Il valore non è solo la tariffa principale raddoppiata:. 800G consente agli architetti di aumentare la densità della larghezza di banda, ridurre il numero di collegamenti e moduli e supportare strutture di addestramento più grandi con traffico all-to-all più aggressivo.

Perché i cluster AI si stanno spostando verso 800G

L'addestramento di modelli-di grandi dimensioni genera un enorme traffico da GPU-a-GPU e da server-a-server. Scambio di gradienti, tutte le-riduzioni, una combinazione-di-esperti di routing, checkpoint e pipeline-di storage pesanti, tutti martellano il tessuto. Man mano che gli acceleratori diventano più veloci, la rete deve tenere il passo oppure le GPU costose restano inattive in attesa della sincronizzazione.. 800Le NIC G rispondono aumentando la larghezza di banda per nodo, per acceleratore o per binario di rete.

800G è una decisione sul tessuto, non solo un adattatore

Il passaggio a 800G rimodella la selezione degli interruttori, l'ottica, la pianificazione della portata, la progettazione termica, il flusso d'aria e il layout del rack. In particolare, le scelte relative all'ottica e al rame diventano più rigorose: una porta 800G può utilizzare un modulo OSFP o QSFP-DD e i moduli lato switch-e lato NIC- possono differire nella progettazione termica e meccanica anche alla stessa velocità. Se il tuo impianto utilizza fibra strutturata, conferma tempestivamente i tipi di moduli e connettori; Nostropanoramica del fattore di forma QSFP-DDcopre dove si adatta rispetto a OSFP. Considera l'800G come un programma a livello di tessuto-, non come uno scambio di elementi-di una singola riga.

Scheda di rete 400G rispetto a scheda di rete 800G

Quando scegliere una scheda di rete 400G

Scegli una NIC da 400G quando l'obiettivo è una rete ad-prestazioni elevate con hardware maturo, implementazione prevedibile e costi controllati.

Stai costruendo sull'infrastruttura 400G esistente

Se i tuoi switch, cavi, ottiche e piattaforme server sono già standardizzati su 400G, restare con le NIC 400G elimina una serie di controlli di compatibilità e ti consente di riutilizzare la maggior parte dell'ecosistema attuale. Ciò è particolarmente vero quando si esegue l'aggiornamento da 100G o 200G, dove il miglioramento delle prestazioni è ampio e l'ecosistema è molto più maturo rispetto a 800G.

Il carico di lavoro dell'intelligenza artificiale non satura il tessuto

Non tutti i lavori di intelligenza artificiale necessitano di 800G per server. Molti sono legati al calcolo-, allo spazio di archiviazione-, alla memoria-o limitati dall'efficienza del software piuttosto che dalla larghezza di banda della rete. Se la profilazione mostra che la rete non è il collo di bottiglia principale, una scheda NIC da 400G di solito offre il rendimento migliore.

Hai bisogno di un HPC-economico

Molti carichi di lavoro HPC sono sensibili alla latenza, al comportamento di passaggio dei messaggi-e alla congestione del fabric piuttosto che alla larghezza di banda non elaborata. Un tessuto 400G ben-sintonizzato spesso batte un tessuto 800G scarsamente integrato. La domanda utile non è quale NIC sia più veloce, ma quale design di rete offra le migliori prestazioni applicative per dollaro.

Hai bisogno di un approvvigionamento più rapido e a rischio-basso

Gli adattatori, le ottiche e i cavi 400G sono più facili da reperire e qualificare su più piattaforme server e switch. Quando il team ha un tempo limitato per la convalida, 400G è la scelta-a rischio più basso che comunque elimina la maggior parte dei colli di bottiglia.

Quando scegliere una scheda NIC 800G

Scegli una scheda NIC da 800 G quando l'applicazione, la piattaforma GPU e la struttura possono effettivamente utilizzare la larghezza di banda aggiuntiva.

Stai progettando un tessuto formativo sull'intelligenza artificiale di prossima-generazione

I cluster di formazione di grandi dimensioni generano intense comunicazioni da tutti-a-tutti e da est-ovest. Man mano che le dimensioni del modello, il numero di GPU e il parallelismo crescono, la rete diventa il limitatore. In questo caso, le NIC 800G aumentano la larghezza di banda per-nodo e riducono il rischio che il fabric limiti le GPU.

Hai bisogno di una maggiore densità di larghezza di banda

800G riduce il numero di porte, collegamenti e moduli necessari per fornire una determinata quantità di larghezza di banda. Ciò è importante nei cluster densi in cui lo spazio rack, il-numero di porte del pannello anteriore, la gestione dei cavi e la radice dello switch sono tutti limitati. Un numero inferiore di collegamenti più veloci può semplificare la costruzione, a condizione che la struttura dello switch e il piano di cablaggio siano progettati per questo.

Stai pianificando piattaforme GPU di prossima-generazione

Se la roadmap include server GPU di prossima-generazione, maggiore densità di potenza dei rack, raffreddamento a liquido e cluster più grandi, l'800G rappresenta la scelta strategica più forte. Acquistare 400G oggi può ancora essere ragionevole, ma il tessuto dovrebbe essere progettato con un percorso di migrazione verso 800G o oltre.

Desideri ridurre-le interruzioni dell'upgrade a lungo termine

Una strategia graduale 800G riduce i futuri problemi legati alla migrazione. Distribuisci prima gli switch compatibili con 800G-, collega le NIC 400G esistenti tramite progetti breakout o a velocità-mista, quindi aggiorna i server a 800G in un secondo momento. Ciò protegge gli investimenti attuali e allo stesso tempo prepara il tessuto per la prossima generazione.

Quando NON scegliere una scheda NIC 800G

Questa è spesso la domanda più utile e filtra gli acquisti più pentiti. Aspetta l'800G quando si verifica una delle seguenti condizioni:

• L'host non può esporre un percorso x16 di classe PCIe Gen6 completo all'adattatore. La porta funzionerà affamata e avrai pagato per la larghezza di banda che il bus del server non è in grado di fornire.
• La colonna vertebrale è in eccesso o ancora 400G. Una NIC più veloce non risolve una struttura vincolata; sposta semplicemente il collo di bottiglia di un passo.
• Il carico di lavoro è legato alla latenza- o all'MPI-piuttosto che alla larghezza di banda-. Il throughput aggiuntivo fa ben poco per i lavori gestiti dalla sincronizzazione o dal comportamento dei messaggi di piccole dimensioni-.
• Non è possibile reperire e convalidare l'ottica, il cablaggio o il raffreddamento per 800G sulla sequenza temporale. Un modulo non qualificato che sbatte sotto carico è peggio di un collegamento più lento che rimane attivo.
• Non esiste una tabella di marcia di crescita concreta che giustifichi il premio oggi.

Se si applicano due o più di queste condizioni, 400G è quasi certamente la risposta giusta per questa build, con 800G tenuti di riserva per il prossimo aggiornamento.

NIC 400G vs 800G per data center cloud

I tessuti cloud raramente corrono alla stessa velocità ovunque. Vengono segmentati in base alla classe di traffico e la scelta della NIC segue il segmento anziché il data center nel suo insieme.

• Traffico front-end/nord{1}}sud:Di solito, 400G sono sufficienti per i livelli API e-rivolti agli utenti, dove la larghezza di banda per-flusso è modesta e prevale il numero di connessioni.
• Stoccaggio e traffico est-ovest:la risposta dipende da quanto è disaggregata l'architettura. 400G copre la maggior parte dei pool generali; 800G è utile laddove le unità di archiviazione distribuite di grandi dimensioni hanno sostenuto il carico est-ovest.
• Inferenza dell'IA:400G è sufficiente per molti cloud di inferenza, mentre 800G è adatto a una densa miscela-di-esperti di routing o di servizi disaggregati in cui i token si spostano su molti nodi.
• Struttura multi-tenant:in questo caso, il rapporto di sottoscrizione in eccesso e l'isolamento degli inquilini modellano le prestazioni molto più del tasso di picco della NIC. Un tessuto 400G bilanciato con un forte isolamento spesso batte uno più veloce ma congestionato.

Poiché la crescita del cloud est{0}}ovest si basa sulla fibra strutturata, è necessario pianificare il cablaggio principale insieme alla scheda NIC; Nostroguida al cablaggio del trunk MPO/MTPcopre corse ad alta-densità. Come regola generale, utilizza 400G per la maggior parte dei livelli front-e cloud generici e riserva 800G per i segmenti in cui dominano un servizio AI denso o grandi pool est{5}}ovest.

Fattori chiave di selezione oltre la velocità della porta

Una scheda NIC più veloce non garantisce carichi di lavoro più rapidi a meno che l'intera piattaforma non la supporti. Cinque fattori decidono se una porta 800G funziona o rimane inattiva.

Generazione PCIe e larghezza di banda host

La scheda NIC raggiunge l'host tramite PCIe e quel collegamento è un limite massimo. Una porta da 400 Gb/s necessita di circa 50 GB/s per direzione, che può trasportare uno slot PCIe Gen5 x16, a circa 63 GB/s utilizzabili per direzione. Una porta da 800 Gb/s necessita di circa 100 GB/s per direzione, oltre uno slot Gen5 x16, motivo per cui gli adattatori 800G generalmente si aspettanola specifica PCIe 6.0 di PCI-SIG(64 GT/s, fino a 256 GB/s bidirezionale su x16) o un design x32 insolito. Prima di passare a 800G, conferma:

• Generazione PCIe
• Conteggio delle corsie e cablaggio degli slot
• Posizionamento NUMA e percorso da GPU-a-NIC
• Convalida del fornitore del server-per l'adattatore
• Supporto BIOS e firmware

Nei server GPU, il posizionamento della scheda NIC rispetto a CPU e GPU determina la pulizia dei dati. Una scheda NIC di classe Gen6- inserita in uno slot Gen5 x8 è il collo di bottiglia autoinflitto più comune nel settore.

Cambia tessuto e abbonamento in eccesso

La velocità della scheda NIC deve corrispondere a quella degli adattatori Fabric. 800G non fanno nulla se la foglia-dorsale è sovrascritta o gli uplink sono sottili. Controlla le velocità delle porte foglia e colonna vertebrale, il rapporto di sottoscrizione in eccesso, il numero di binari di rete, il modello est-ovest, la progettazione del dominio-fallito e la larghezza di banda di bisezione richiesta. Per la formazione, un rapporto di sottoscrizione eccessiva inferiore in genere ha effetti migliori sulle prestazioni rispetto a una NIC più veloce.

RoCE, InfiniBand e Ultra Ethernet

I tessuti AI e HPC si appoggiano a RDMA per ridurre il sovraccarico della CPU e il protocollo modella la NIC, lo switch, il controllo della congestione e le operazioni. Oggi NDR InfiniBand funziona a 400 Gb/s per porta eXDR InfiniBand raggiunge gli 800 Gb/s per porta, che si allinea direttamente ai livelli NIC 400G e 800G. Sul lato Ethernet, il file

Specifica 1.0 del Consorzio Ultra Ethernetdefinisce uno stack RDMA-su-Ethernet che comprende NIC, switch, ottica e cavi, mirato direttamente alla scalabilità orizzontale di AI e HPC.

Scegli InfiniBand per una struttura HPC o AI strettamente integrata e a bassa-latenza quando il tuo team conosce questo ecosistema. Scegli Ethernet o RoCE per una più ampia scelta di fornitori e integrazione cloud. Prendi in considerazione Ultra Ethernet quando desideri un percorso standardizzato e aperto per Ethernet ad alte{5} prestazioni di prossima generazione.

Ottica, fattori di forma e cablaggio

A 400G e 800G, la compatibilità fisica conta tanto quanto la velocità. Due moduli possono condividere la stessa velocità ma differire per fattore di forma, progettazione termica e requisiti dell'host. Verifica OSFP, QSFP112 e QSFP-DD, OSFP flat-top e alettato-top, requisiti dei moduli lato switch-e lato NIC-, DAC, AEC, AOC o portata ottica, supporto breakout, codifica e firmware del fornitore. Non dare per scontato che un OSFP da 800G che funziona in uno switch possa essere inserito e raffreddato correttamente in una scheda di rete; molti switch e moduli NIC utilizzano design termici e meccanici diversi.

Convalida di potenza, flusso d'aria e termica

I componenti 800G assorbono più energia e si surriscaldano. Convalida la scheda NIC, l'ottica, le porte dello switch e il percorso del flusso d'aria sotto carico sostenuto, non in modalità inattiva. Confermare la potenza del modulo- ottico e della scheda NIC, la direzione del flusso d'aria e l'altezza di raffreddamento, la temperatura massima di ingresso, la densità del cavo e il blocco del flusso d'aria, nonché le ipotesi di raffreddamento- ad aria rispetto a quello a liquido-. L’instabilità termica si manifesta sotto forma di alette di collegamento e tassi di errore in aumento, il tipo di guasto intermittente che è lento e costoso da individuare in produzione.

Errori comuni da evitare

Acquistare 800G solo perché è più veloce

800G non è automaticamente migliore. Se il carico di lavoro, il server o l'infrastruttura non possono utilizzare la larghezza di banda, il costo aggiuntivo non si trasforma in prestazioni dell'applicazione. Abbina la porta al collo di bottiglia che hai effettivamente.

Ignorare la larghezza di banda PCIe

Una scheda NIC può spostare i dati solo alla velocità consentita dal bus host. Verifica la generazione PCIe, il numero di corsie e la topologia del server prima di scegliere una classe di velocità, non dopo l'arrivo dell'hardware.

Scegliere il modulo ottico sbagliato

A queste velocità, il fattore di forma del modulo e la progettazione termica sono fondamentali. Una variante OSFP errata potrebbe non adattarsi a una determinata gabbia o potrebbe adattarsi ma surriscaldarsi in caso di traffico sostenuto, producendo errori che sembrano un problema di tessuto.

Dimenticando la portata dei cavi

DAC, AEC, AOC, ottica multimodale e ottica monomodale- servono ciascuno intervalli di distanza diversi e gradi di fibra diversi trasportano distanze diverse; Nostroripartizione dei limiti di raggiungimento da OM1 a OM5mostra il punto in cui ogni voto supera il limite. La scelta dell'interconnessione sbagliata aggiunge latenza, costi o rielaborazioni.

Trattare NIC, switch e ottiche come acquisti separati

Ordinare l'adattatore, l'interruttore, l'ottica e il cablaggio come un'unica distinta base convalidata. Una mancata corrispondenza rilevata dopo la distribuzione indica una porta che si collega ma si sfalda o che l'hardware deve essere restituito a metà-costruzione, il che è molto più distruttivo che rilevarlo durante la qualificazione.

Raccomandazione finale

Scegli una NIC da 400 G per un adattatore collaudato ed economico-adatto alle infrastrutture cloud, AI, HPC, storage e cloud di oggi. È la scelta pratica per la maggior parte dei cluster GPU esistenti e delle sale di generazione mista-. Scegli una scheda NIC da 800G quando la densità di larghezza di banda, la comunicazione GPU su larga-scala e la disponibilità all'aggiornamento superano i costi iniziali e quando l'intero percorso è pensato per questo.

La decisione non è mai solo legata alla velocità. Dipende dalla capacità di server, switch, componenti ottici, cavi, alimentazione e raffreddamento di trasformare tale velocità in prestazioni applicative. La disciplina che protegge il budget è semplice: convalidare la scheda NIC, lo switch, l'ottica e il cablaggio come un unico sistema prima di effettuare l'ordine.