QSFP-DD per cluster AI: come scegliere tra 400G e 800G senza indovinare

Aug 03, 2026

Lasciate un messaggio

QSFP-DD è una buona soluzione per un cluster AI quando lo switch o l'endpoint utilizza già una gabbia QSFP-DD nativa, quando un'ampia base di moduli della famiglia QSFP-qualificati e fibra deve rimanere in servizio e quando la piattaforma può raffreddare i moduli scelti con ogni porta popolata. È il punto di partenza sbagliato quando i server e gli switch GPU sono costruiti attorno a gabbie OSFP native o quando le ottiche di cui hai effettivamente bisogno richiedono più margine termico di quanto l'host può fornirgli.

Il fattore forma non è la prima decisione. È più o meno il quarto. Un progetto di rete che sopravvive al primo training di produzione inizia con le interfacce del server, il numero di binari, la topologia di destinazione, il rapporto di sottoscrizione in eccesso accettabile e il percorso del cavo misurato. Solo allora conta la forma del modulo.

Questa guida segue l'ordine dall'inizio alla fine, con un calcolo della capacità lavorata, una tabella di selezione dei collegamenti-e una sequenza di convalida che puoi consegnare a un team di laboratorio.

AI cluster network with GPU servers, leaf-spine switches, and QSFP-DD links

Quale fattore di forma dovresti scegliere?

Condizione dell'endpoint Prima scelta da valutare
Entrambe terminano nativamente QSFP-DD / QSFP-DD800 QSFP-GG
Entrambi terminano nativamente OSFP OSFP
Migrazione da una base QSFP 400G installata QSFP-DD, a condizione che l'host supporti la modalità porta richiesta
Ottica ad alta-potenza su una piattaforma la cui gabbia nativa è OSFP OSFP
Un'estremità OSFP, l'altra QSFP-DD Un DAC/AEC cross-form{1}}fattore qualificato o un collegamento ottico con PMD, velocità di corsia e modalità FEC corrispondenti su entrambe le estremità

La regola sottostante è breve:scegli la gabbia nativa dell'endpoint, quindi verifica la velocità della linea elettrica, l'interfaccia ottica, la modalità FEC, la classe di potenza e il firmware per quell'esatto numero di parte.Tutto quello che segue è il lavoro necessario per applicare onestamente quella regola.

Le cinque decisioni, in ordine

La maggior parte delle pessime creazioni di reti IA derivano dal prendere queste decisioni fuori sequenza - scegliendo prima un modulo e scoprendo il vincolo in seguito. Ogni passaggio seguente alimenta quello successivo e ognuno modifica ciò che puoi acquistare nel passaggio successivo.

  1. Conferma gli endpoint.Tipo di gabbia nativa e modalità di protocollo su entrambe le estremità di ogni collegamento.
  2. Calcola la capacità.Porte per nodo, per rotaia, quindi capacità di downlink e uplink foglia in base al rapporto di sottoscrizione in eccesso target.
  3. Seleziona il collegamento fisico.Lunghezza del percorso misurata, impianto di fibra, connettore, requisiti di breakout.
  4. Convalidare il numero di parte.FEC, tariffa corsia, classe di potenza, firmware, revisione CMIS, qualifica del fornitore.
  5. Distribuire per dominio di errore.Prima il laboratorio, poi un rack, una guida o un'unità scalabile alla volta.

Passaggio 1: separare il fattore di forma, il protocollo e l'interfaccia ottica

Queste tre cose vengono costantemente compresse in un'unica decisione, e quel collasso è il luogo in cui hanno origine la maggior parte delle sorprese sulla compatibilità. Sono livelli separati con documenti governativi separati.

Il fattore formadefinisce le dimensioni meccaniche, il connettore host, le corsie elettriche, il comportamento di gestione e la progettazione termica. ILSpecifica hardware QSFP-DD MSAcopre i requisiti meccanici, elettrici e termici e le sue revisioni successive estendono la stessa porta host a otto-lane alle varianti 800G e 1.6T mantenendo la compatibilità con le versioni precedenti con la famiglia QSFP. Se desideri il background meccanico e gestionale prima di andare oltre, il nsPanoramica tecnica QSFP-DDcopre il fattore di forma stesso in dettaglio.

Il protocollo- Ethernet, RoCEv2 o InfiniBand - viene deciso dalla scheda NIC, dall'ASIC dello switch, dal firmware e dalla configurazione della porta, non dalla forma della gabbia. Un modulo QSFP-DD non dovrebbe mai essere descritto come "che supporta sia Ethernet che InfiniBand" come proprietà del fattore di forma. Questa capacità appartiene all'host e deve essere confermata nella porta specifica.

L'interfaccia ottica- DR8, FR4, SR8, LR - descrive l'organizzazione, la portata e l'applicazione delle corsie. Non descrive il connettore, il numero di fibre, la mappatura dei breakout o la velocità della corsia elettrica. Due moduli che portano la stessa etichetta ottica possono differire in ognuno di essi. La segnalazione stessa è definita dall'IEEE, non dalla MSA:Standard IEEE 802.3df-2024aggiunti i parametri MAC e i livelli fisici per il funzionamento a 800 Gb/s e ulteriori PHY a 400 Gb/s.

Il comportamento del management è un quarto livello, più silenzioso. Entrambi i moduli QSFP-DD e OSFP sono gestiti tramite CMIS e la revisione è importante per il comportamento dell'aggiornamento del firmware, la selezione dell'applicazione e i tempi del modulo host-. Le revisioni pubblicate sono elencate nelAccordi di attuazione dell'OIF.

Passaggio 2: dimensionare la rete dalle porte del server, non dal conteggio delle GPU

Il conteggio delle GPU indica quanto è grande un cluster. Non ti dice cosa deve trasportare la rete, perché la rete vede sempre e solo le interfacce del server.

Due esempi chiariscono il punto. Un sistema NVIDIA DGX H100/H200 espone otto interfacce di elaborazione ConnectX-7-fabric fino a 400 Gb/s ciascuna, ma non sono otto gabbie fisiche. L'architettura di riferimento SuperPOD mostra la struttura di calcolo presentataquattro ricetrasmettitori a due-porte che raggiungono tutte le otto GPU. Si presenta invece un DGX B300otto porte di rete sul vassoio della GPUche serve otto interfacce ConnectX-8 fino a 800 Gb/s. Stesso numero di GPU, inventario di porte, numero di cavi e fattura dell'ottica completamente diversi.

Pertanto, prima di esaminare la scheda tecnica di un singolo switch, documenta per ciascun tipo di nodo: porte di calcolo-fabric, velocità di porta, mappatura da NIC-a-GPU o rail, tipo di gabbia nativa, modalità di protocollo supportate, oltre alle interfacce di archiviazione e gestione separate. Tale inventario, non il numero della GPU, è l'input per ogni calcolo che segue.

Un calcolo della capacità lavorata

Prendi un'unità scalabile di 32 nodi, ciascuno con otto porte di calcolo-da 400G, una porta per ferrovia, in un design-ottimizzato per la ferrovia. Lavora un binario alla volta:

  • Capacità di downlink per anta della rotaia= 32 nodi × 1 porta × 400G =12,8 Tb/s
  • A 1:1 (non-bloccante), capacità di uplink richiesta=12.8 Tb/s → 12.800 ÷ 800 =Uplink 16 × 800G
  • A 2:1, capacità di uplink richiesta=6.4 Tb/s →Uplink 8×800G

Quindi controlla il risultato rispetto alla radice dello switch: 32 downlink più 16 uplink necessitano di 48 porte utilizzabili su quella foglia, il che vincola immediatamente la scelta dello switch. Aggiungi collegamenti per ridondanza e manutenzione e ripeti per binario - otto binari, otto gruppi foglia, non un numero aggregato. È qui che l'800G guadagna il suo posto oppure no: qui dimezza il numero di porte di uplink, che è un argomento radice, non un argomento di larghezza di banda.

I tessuti ad albero grasso-ottimizzati e bilanciati-sono il modello documentato da NVIDIA per i cluster di formazione di grandi dimensioni -Architettura di riferimento DGX H100 SuperPODutilizza un albero grasso-completo con otto connessioni di elaborazione per-sistema. Se quel modello si adatta al tuo carico di lavoro è un giudizio di progettazione, ma il metodo di calcolo sopra vale indipendentemente dalla topologia.

Passaggio 3: pianifica tutti e quattro i tessuti, quindi torna ai moduli

Un cluster AI non è una rete. Le architetture di riferimento DGX SuperPOD si separanoelaborazione, archiviazione, gestione in-banda e gestione-out-bandatessuti e ognuno produce i propri requisiti di porta e ottica.

ILtessuto informaticotrasporta lo scambio di gradienti, la sincronizzazione dei parametri, i collettivi e le operazioni di memoria remota. Presenta i requisiti più severi in termini di latenza, congestione e simmetria del percorso ed è qui che viene effettivamente risolta la questione 800G-rispetto a 400G.

ILtessuto di stoccaggiotrasporta dati di addestramento, checkpoint e artefatti del modello. La sua capacità dipende dal formato del set di dati, dalla frequenza di utilizzo della cache, dal-parallelismo del caricatore di dati, dalla frequenza del checkpoint e dall'intensità dei metadati - ed è per questo che "400G sono sufficienti per l'archiviazione" non è un'impostazione predefinita sicura. Le architetture di riferimento specificano le prestazioni dello storage a livello di sistema e lo tengono lontano dall'infrastruttura di elaborazione proprio in modo che i due carichi di lavoro non possano danneggiarsi a vicenda.

ILnella-rete di gestione della bandatrasporta provisioning, traffico dello scheduler, registri, repository e monitoraggio. ILrete fuori-da-bandaraggiunge i BMC, le porte di gestione degli switch e l'alimentazione del rack e deve rimanere raggiungibile mentre la struttura di produzione è interrotta. Trattalo come un percorso di ripristino e sicurezza con il proprio uplink, non come traffico rimanente a bassa velocità-.

Per la selezione del modulo, la conseguenza pratica è questa: ogni tessuto contribuisce con il proprio numero di porte, il proprio profilo di distanza e il proprio tipo di gabbia, e spesso sono diversi. Un cluster può essere OSFP in termini di calcolo e QSFP-DD in termini di archiviazione e gestione senza che vi siano errori.

Passaggio 4: scegli 400G o 800G in base a un vincolo, non a una tendenza

Una porta da 800G raddoppia la capacità nominale. Non riduce il traffico generato dalla tua applicazione. Il suo valore è quasi sempre strutturale: - meno collegamenti, migliore efficienza digitale o un endpoint 800G nativo.

400G rimane la scelta migliorequando gli endpoint di elaborazione sono nativamente 400G, l'attuale struttura soddisfa già il suo obiettivo di blocco, il cluster sta crescendo all'interno della radice disponibile, esiste già un modulo qualificato 400G e una base di cablaggio oppure i vincoli di alimentazione e raffreddamento rendono 800G poco attraente. Utilizzando 800Guplinkserver superiori a 400G è ancora perfettamente ragionevole - ma lo giustifica dall'aritmetica delle porte di cui sopra, non dall'etichetta.

800G migliora il designquando i server espongono interfacce 800G native, quando molti flussi 400G devono aggregarsi in meno collegamenti spinali, quando il conteggio delle porte di commutazione è il vincolo vincolante o quando il breakout da 800G a interfacce secondarie a velocità-inferiore semplifica una migrazione. In parole povere: 800G può ridurre il numero di collegamenti fisici o porte di commutazionenei progetti in cui l'aggregazione e la radice sono i vincoli limitanti. Non lo fa come una legge di natura.

Comparison of 400G and 800G AI cluster network architectures

La migrazione a velocità-mista richiede documentazione esplicita

Il breakout è il luogo in cui i progetti a velocità mista-falliscono silenziosamente. Le moderne NIC rendono questo - ConnectX-8 di NVIDIA configurabile anziché fissodocumentazione sulla suddivisione delle porte-mostra una singola gabbia OSFP da 800 G che viene riconfigurata in due porte da 400 GbE o otto porte da 100 GbE, ciascuna delle quali richiede una modifica della configurazione a livello di firmware- e un ciclo di accensione. Tale flessibilità esiste solo laddove il fornitore l'ha testata e pubblicata.

Pertanto, un piano di migrazione dovrebbe indicare, per porta: quali porte funzionano a quale velocità, se l'host supporta la modalità di breakout prevista, la velocità della corsia elettrica su entrambe le estremità, se il breakout è logico, ottico o basato su cavo-, la modalità FEC necessaria per ciascuna interfaccia secondaria, se il numero di fibre esistenti e il tipo di connettore possono essere riutilizzati e in che modo il monitoraggio identificherà ciascuna porta secondaria. L'inserimento di un modulo a velocità-inferiore non rende disponibili tutte le modalità host.

QSFP-DD rispetto a OSFP

Fattore decisionale QSFP-GG OSFP
Compatibilità con la famiglia QSFP- Nativo, dove l'host supporta la modalità Possibile per alcuni moduli tramite un adattatore-creato appositamente
Dimensioni del modulo Più piccolo Più grande
Progettazione termica Design-dissipatori di calore; verificare a piena popolazione Dissipatore integrato o a bordo; MSA definisce classi di potenza più elevate
Utilizzo tipico del sistema-AI Switch Ethernet, piattaforme-a velocità mista Diverse piattaforme-GPU e InfiniBand ad alte prestazioni
Regola decisionale Preferisci quando gli endpoint sono QSFP nativi-DD e il riutilizzo QSFP è importante Da preferire quando gli endpoint sono OSFP nativi o l'ottica necessita della sua potenza

Due affermazioni necessitano di limitazione. Innanzitutto, "OSFP non ha compatibilità con le versioni precedenti" è troppo ampio - theOSFPMSAdocumenta la compatibilità QSFP tramite un adattatore dedicato e le specifiche del modulo definiscono le classi di potenza più elevate e le opzioni di dissipatore di calore-integrate che conferiscono a OSFP la sua reputazione termica. In secondo luogo, la reputazione costituisce un limite massimo, non una garanzia. Il fatto che un determinato chassis possa effettivamente eseguire moduli di classe-da 30 W in ogni gabbia dipende dal design della gabbia, dalla direzione del flusso d'aria, dalla temperatura di ingresso, dalla politica delle ventole, dal declassamento delle porte- adiacenti e dai limiti del fornitore del sistema.

Questo è il motivo per cui la convalida termica dell'intera-popolazione non è-negoziabile: un modulo che passa in una porta può superare il limite di temperatura-del case quando tutte le 32 o 64 porte sono accese e di nuovo quando una ventola o un alimentatore si guastano. Testare il sistema popolato, alla temperatura reale di ingresso.

Se il server è OSFP e lo switch è QSFP-DD, resisti al riflesso di standardizzare. Gli adattatori aggiungono considerazioni su spazio meccanico, flusso d'aria, alimentazione, integrità del segnale-, inventario e supporto. Un cavo qualificato con fattore di forma incrociato- o un collegamento ottico con PMD e FEC corrispondenti a ciascuna estremità è spesso più pulito della sostituzione dell'hardware per far corrispondere le forme.

QSFP-DD and OSFP transceivers compared by size and thermal design

Passaggio 5: selezionare il collegamento in base alla distanza misurata e alla fibra esistente

La capacità e gli endpoint ora hanno corretto la velocità della porta e la gabbia. La distanza e l’impianto di fibra installato risolvono tutto il resto. Come linea guida tecnica piuttosto che come regola, il collegamento più corto e tecnicamente valido è solitamente il più semplice da utilizzare - ma flessibilità, diametro del cavo, funzionalità e requisiti di interruzione sono tutti elementi contrari.

Itinerario Opzione tipica Cosa confermare
Intra-rack, molto corto DAC passivo Lunghezza esatta e tipo di cavo supportati su entrambe le estremità; raggio di curvatura; peso
Breve ma oltre il rame passivo AEC/ACC Consumo energetico, latenza aggiuntiva, blocco del flusso d'aria, qualifica del fornitore, supporto della modalità porta
Ottica corta, lunghezza fissa accettabile AOC Funzionalità - un guasto sostituisce l'intero assieme
Multimodale, da-fila a fila-adiacente Ottica parallela di classe SR- Grado della fibra e limiti di portata; vedi il nostroGuida ai limiti di distanza OM1–OM5
Modalità-singola, sotto-chilometro, cercasi breakout Ottica parallela di classe DR- Dimensioni MPO, polarità, lucidatura APC/UPC, mappatura breakout
Modalità-singola, scala chilometrica Classe FR-duplex o parallela, a seconda del prodotto Il tipo di connettore varia in base al codice articolo; confronto del grado di fibra -Fibra monomodale OS1 e OS2-

L'implementazione del connettore è la trappola qui, perché non è implicita nell'etichetta ottica. I fornitori forniscono prodotti DR8 800G con connettività MPO doppia-12 o MPO singola-16 e prodotti di classe FR da 2 km con MPO parallelo o LC dual duplex. Entrambe le varianti sono legittime; hanno bisogno di un cablaggio completamente diverso. Prima di ordinare i bauli, risolvi deliberatamente la questione del connettore: il nostroGuida alla selezione MTP vs MPOcopre le differenze meccaniche e di polarità e ilGuida per cavo breakout MPOcopre la mappatura del fan-out da cui dipendono le porte di breakout.

Altri due elementi appartengono alla stessa conversazione. La perdita di canale deve essere preventivata in base alle specifiche del modulo con connettori e giunzioni conteggiate, non data per scontata - vederecome si accumula la perdita di inserzione nelle reti in fibra. Inoltre, il cablaggio strutturato tra le file è più semplice da mantenere quando è basato su pre-terminazioneCavi trunk MPO/MTPcon un metodo di polarità documentato anziché con corse assemblate sul campo-. Laddove vengono utilizzati collegamenti FR duplex, la qualità della terminazione del connettore determina direttamente la perdita di ritorno; ILGuida al connettore LCcopre cosa ispezionare.

Per ogni collegamento, registrare: gabbia host, velocità della corsia host, velocità della porta configurata, tipo PMD o cavo, connettore, tipo e numero di fibre, perdita massima del canale, modalità FEC, mappatura breakout, codice applicazione modulo, CMIS e requisiti firmware, potenza massima e stato di qualificazione. Quel record per-link vale più di qualsiasi regola generale su quale ottica va dove.

AI network interconnect options from DAC cables to duplex optics

RoCEv2 o InfiniBand: decidilo in modo indipendente

La scelta del protocollo è ortogonale al fattore di forma e dovrebbe essere effettuata per motivi operativi.

RoCEv2si adatta alle organizzazioni che già utilizzano Ethernet su larga scala, con funzionalità RoCE convalidate sulla piattaforma di commutazione e un team in grado di possedere QoS, controllo della congestione, telemetria e configurazione host. L'avvertenza è che "abilitare PFC ed ECN" non è un piano di distribuzione. La documentazione Cumulus Linux di NVIDIA descriveRoCE come configurazione complessapool di buffer che si estendono, classificazione del traffico, mappatura delle priorità, soglie e pianificazione PFC ed ECN, con una modalità senza perdite che utilizza PFC ed ECN insieme e una modalità con perdite che utilizza solo ECN - e rileva che la configurazione generata per una generazione ASIC dello switch non viene trasferita a un'altra.

InfiniBandsi adatta alle implementazioni che seguono un'architettura del fornitore convalidata, in cui la gestione integrata dell'infrastruttura è preziosa e il team dispone già degli strumenti e delle competenze.

Basare la scelta sul comportamento testato dell'applicazione, sulle competenze operative, sui limiti del supporto e sulla progettazione totale del sistema. Le percentuali delle prestazioni di marketing dipendono dalla topologia, dalla versione del software, dalla dimensione dei messaggi, dallo stato di congestione e dalla configurazione della scheda NIC e raramente vengono trasferite a un altro cluster.

Convalida: cosa testare prima di acquistare in volume

Un test di laboratorio rappresentativo copre quattro aree e l'ordine conta innanzitutto per la stabilità del collegamento -, poiché i numeri relativi alle prestazioni di un collegamento instabile non hanno significato.

Visualizza-:avvio a freddo, riavvio a caldo, inserimento e rimozione del modulo, disabilitazione/abilitazione della porta, creazione e rimozione di breakout ed entrambe le estremità riavviate in sequenze diverse.Integrità del segnale:pre-FEC BER, conteggi FEC corretti e non correggibili, errori-a livello di corsia, PRBS o BERT dove supportato, potenza di trasmissione e ricezione ottica, temperatura dell'involucro del modulo e conteggi dei flap di collegamento-sotto carico termico.Prestazione:throughput sostenuto, collettivi e dimensioni dei messaggi effettivamente utilizzati dai processi, traffico multi-rail simultaneo, incast, archiviazione-più-contesa di calcolo e una lunga stasi.Fallimento:collegamento singolo, interruttore a foglia, collegamento dorsale, ripristino del ciclo di alimentazione-, sostituzione di cavi e moduli, perdita del percorso-di gestione.

Registra le soglie, non solo il superamento/fallimento. Gli errori FEC non correggibili dovrebbero essere pari a zero su un collegamento integro; i tassi di errore pre-FEC dovrebbero rientrare bene nel margine specificato del modulo e rimanere lì anche quando la temperatura del case aumenta durante l'ammollo. Un collegamento che tende verso l'alto durante un periodo di immersione di 48 ore è un collegamento che fallirà nella produzione.

Quindi esegui l'implementazione in base al dominio di errore - un rack, una guida, una coppia di foglie o un'unità scalabile alla volta - e monitora le modifiche dello stato del collegamento, i conteggi FEC corretti e non correggibili, la temperatura del modulo, la potenza ottica, l'attività di pausa PFC, la marcatura ECN, l'occupazione della coda e il tempo di comunicazione a livello di lavoro-. Un collegamento ancora attivo può essere ancora degradante; l'aumento corretto-errore e le tendenze della temperatura sono il primo avviso che ricevi.

Tre scenari di progettazione

Espansione di una struttura Ethernet 400G esistente.Sono già presenti switch QSFP-DD 400G qualificati e cablaggio strutturato; i nuovi nodi espongono 400G. Mantieni i collegamenti rivolti verso il server-a 400G, esegui il calcolo del collegamento in uplink riportato sopra per testare il rapporto di blocco e introduci 800G solo dove aumenta l'efficienza della porta spinale. Riutilizza fibre ottiche e fibre qualificate ovunque il budget di perdita lo consenta e convalida ogni configurazione di breakout a velocità mista-prima dell'acquisto. Switch radix guida questa decisione, non il conteggio delle GPU.

Creazione di un cluster nativo da 800G-.I server espongono 800G nativo. Segui la topologia convalidata del fornitore del server, scegli gli switch con la gabbia nativa corrispondente, verifica l'intera-capacità termica della popolazione alla temperatura di ingresso, scegli l'interconnessione dalle lunghezze del percorso misurate e convalida ciascuna combinazione di breakout e FEC prima di impegnarti. Qui l'800G è giustificato dall'endpoint stesso.

Vivere con due fattori di forma.I server sono OSFP; parte del patrimonio di commutazione Ethernet è QSFP-DD. Confronta gruppi DAC o AOC cross-form{3}}qualificati, interoperabilità ottica con gabbie diverse a ciascuna estremità, adattatori approvati, implicazioni termiche e di alimentazione, inventario di riserva e proprietà del supporto. La sostituzione di un lato esclusivamente per standardizzare la forma del modulo è spesso più costosa rispetto alla gestione di un ambiente misto documentato.

Sette errori che causano rilavorazioni

  • A partire dal conteggio delle GPU.Non descrive il conteggio NIC, la mappatura ferroviaria, la tariffa portuale o l'abbonamento eccessivo. Calcola dalle interfacce del server.
  • Supponendo che 800G sia più veloce per ogni lavoro.È utile solo laddove gli endpoint, la topologia e il modello di traffico possono utilizzarlo. Confronta i collettivi che gestisci effettivamente.
  • Trattare QSFP-DD come un protocollo.È una gabbia. Convalidare separatamente gabbia, protocollo, modalità elettrica, ottica e FEC.
  • Ignorando i tessuti di archiviazione e gestione.Una struttura di elaborazione veloce non può compensare la lenta consegna del checkpoint o un BMC irraggiungibile.
  • Leggere l'etichetta ottica come specifica di cablaggio.DR8 e FR4 non specificano il connettore, il numero di fibre o il design del breakout. Utilizzare i codici articolo esatti e uno schema di cablaggio.
  • Testare una porta.Il flusso d'aria dell'intera popolazione-e la temperatura di ingresso sono il vero test.
  • Citare le percentuali di prestazione senza un metodo.Pubblica la topologia e il metodo di test oppure rilascia il numero.

Costruire un modello TCO che puoi difendere

I costi di capitale coprono NIC o DPU, interruttori leaf e spine, ricetrasmettitori, DAC, AEC e AOC, trunk in fibra e collegamenti, rack e gestione dei cavi, apparecchiature di test e ricambi. I costi operativi coprono l'alimentazione di moduli e switch, il raffreddamento, il monitoraggio, la qualificazione del firmware, la formazione, la manodopera sostitutiva e il supporto del fornitore. I costi di rischio - quelli solitamente omessi - coprono errori di compatibilità, ritardi di implementazione, declassamento termico, instabilità dei collegamenti, ricablaggio, lavori di formazione interrotti e tempi di ripristino prolungati.

La compatibilità con le versioni precedenti riduce effettivamente i costi, ma il risparmio deve essere calcolato in base all'attrezzatura specifica che può essere riutilizzata alla velocità e alla modalità richieste. La compatibilità del fattore di forma-da sola non garantisce che gli attuali ASIC, PCB, gabbia, sistema di raffreddamento, firmware o budget energetico possano supportare la generazione successiva. Tratta la migrazione futura come una questione di piattaforma, non di connessione.

Domande frequenti

QSFP-DD è adatto ai cluster di addestramento AI?

Sì, quando è nativo per lo switch o l'endpoint scelto, soddisfa i requisiti termici con l'utilizzo completo delle porte e supporta la modalità di porta e l'interfaccia ottica richieste. La sola velocità dati nominale non è un motivo per selezionarla.

Quante GPU richiedono una rete 800G?

Non esiste una soglia GPU. Calcola dalle porte di rete per server, velocità della porta, mappatura ferroviaria, topologia, target di sottoscrizione in eccesso e traffico dell'applicazione - il metodo nel Passaggio 2 sopra.

QSFP-DD è migliore di OSFP?

Nessuno dei due è universalmente migliore. QSFP-DD offre compatibilità nativa con la famiglia QSFP-e un ingombro ridotto; La specifica OSFP definisce classi di potenza più elevate e opzioni di dissipatore di calore-integrate ed è nativa per diverse piattaforme AI ad alte-prestazioni. L'endpoint decide.

Una porta OSFP può utilizzare un modulo QSFP?

Alcune implementazioni OSFP supportano i moduli QSFP tramite un adattatore approvato, ma è necessario verificare la compatibilità, l'alimentazione, la modalità della porta e il supporto del fornitore per la piattaforma specifica.

È possibile utilizzare QSFP-DD sia per Ethernet che per InfiniBand?

Il fattore di forma non determina il protocollo. La porta host, la scheda NIC, lo switch, il firmware, il cavo e il ricetrasmettitore devono tutti supportare la modalità operativa prevista.

Quale ricetrasmettitore 800G dovrei utilizzare?

Inizia dalla distanza misurata, dalla gabbia dell'endpoint, dal breakout richiesto, dal tipo di fibra, dal connettore, dalla velocità della corsia, dalla modalità FEC, dalla classe di potenza e dalla qualifica del fornitore. Il nome dell'interfaccia ottica da solo non è sufficiente.

La compatibilità con le versioni precedenti QSFP-DD garantisce un facile aggiornamento a 1.6T?

No. La porta host può accettare il modulo meccanicamente mentre l'ASIC, il PCB, la gabbia, il raffreddamento o il budget di alimentazione non possono supportare la nuova velocità di corsia. Verificare a livello di piattaforma.

Prima di firmare l'ordine di acquisto

Conferma la gabbia dell'endpoint su entrambe le estremità di ogni tipo di collegamento; il numero e la velocità delle porte-fabric di calcolo per nodo; la mappatura ferroviaria e il tasso di abbonamenti in eccesso target; conteggio delle porte di foglie e spine, inclusa la ridondanza; i requisiti di tutti e quattro i tessuti; la modalità operativa e, per RoCE, la progettazione completa del controllo-della congestione; il percorso del cavo misurato e la conseguente scelta di interconnessione; connettore, polarità e bilancio di perdita; FEC e modalità breakout; potenza del modulo rispetto ai limiti termici dell'intera-popolazione; compatibilità firmware e CMIS; stato di qualificazione del fornitore; e risultati di laboratorio per BER, prestazioni, congestione, guasti e test di assorbimento.

QSFP-DD supporta bene una struttura AI scalabile da 400G o 800G. È ancora solo una componente del design. Inizia con gli endpoint e il modello di traffico, calcola la topologia, scegli il collegamento fisico dalla distanza misurata e convalida il sistema assemblato prima che svolga un lavoro di formazione.

Metodologia e ambito

Questa guida si basa su tre tipi di fonti, che nel testo sopra riportato vengono volutamente mantenute distinte.Norme e documenti MSA- IEEE 802.3df, le specifiche hardware QSFP-DD e OSFP MSA e gli accordi di implementazione OIF CMIS - definiscono fattori di forma, segnalazione e comportamento di gestione.Documentazione del venditore- Guide del sistema NVIDIA DGX, architetture di riferimento DGX SuperPOD, ConnectX-8 note di configurazione delle porte e documentazione Cumulus Linux RoCE - è citato come esempio specifico del fornitore, non come comportamento universale; altre piattaforme differiscono.Linee guida ingegneristiche- i consigli sulla sequenza, la preferenza per collegamenti più brevi, le soglie di convalida - sono raccomandazioni operative tratte dalla pratica di distribuzione e sono etichettate come tali anziché presentate come specifiche.

 

Invia la tua richiesta