InfiniBand vs RoCE per reti di inferenza AI

ScegliereInfiniBandquando il carico di lavoro di inferenza vive o muore in base alla latenza della coda prevedibile e scegliRoCE(RDMA over Converged Ethernet) quando desideri prestazioni di classe RDMA-su una struttura Ethernet che puoi scalare, condividere e utilizzare con il team di cui già disponi. Nessuna delle due opzioni vince ovunque. La scelta giusta dipende dal modello di inferenza, dagli obiettivi di latenza p99 e p999, dalla scala della GPU, dal budget e dalla quantità di competenze di ottimizzazione-Ethernet senza perdite effettivamente presenti nel tuo team.

Perché la rete è più importante di quanto i team di inferenza si aspettano

Per anni, l'inferenza è stata considerata come la metà facile della storia della GPU: un modello caricato su un singolo nodo, richieste servite in modo indipendente, pochissimo traffico est-ovest. Quella foto è ormai obsoleta. L’inferenza moderna è sempre più distribuita e diversi modelli esercitano una reale pressione sul tessuto.

• Parallelismo tensorialesuddivide un singolo livello tra le GPU, in modo che ogni passaggio del token attivi tutte le-riduzioni o tutte-le operazioni di raccolta tra di loro. Si tratta di traffico incrociato-GPU frequente, sensibile alla latenza-che le GPU bloccano durante l'attesa.
• Parallelismo delle condutturepassa le attivazioni da una fase a quella successiva, spesso attraverso i nodi, aggiungendo dipendenze tra-nodi a ogni passaggio in avanti.
• Precompilazione e decodifica disaggregatesepara la fase di precompilazione-pesante di calcolo dalla fase di decodifica sensibile alla latenza-, quindi sposta la cache KV tra di loro. Questi trasferimenti sono ampi e rapidi e qualsiasi ritardo si manifesta direttamente come tempi più lenti-al-primo-token e latenza tra-token.
• Recupero-generazione aumentata (RAG)aggiunge traffico est-ovest ai servizi vettoriali e di ricerca. Di solito è meno critica per la latenza-rispetto alle operazioni collettive, ma carica comunque l'infrastruttura, soprattutto con volumi di query elevati.
• Servizio multi-tenantcolloca molti modelli e utenti sullo stesso tessuto, dove i microburst e gli effetti dei vicini rumorosi- diventano il rischio dominante.

Quando il collo di bottiglia è la rete, i sintomi sono costosi: tempi più lunghi per il-to-primo-token, stallo delle GPU mentre attendono i dati, throughput che collassa in caso di burst e p95 e p99 instabili. Ed ecco la parte che fa inciampare i benchmark: la latenza media nasconde tutto. L’inferenza sulla produzione viene giudicata sulla coda, non sulla media.

InfiniBand vs RoCE: tabella riepilogativa per l'inferenza dell'intelligenza artificiale

Cos'è InfiniBand?

InfiniBand è una struttura di rete-creata appositamente, progettata fin dall'inizio per garantire bassa latenza, throughput elevato e comunicazioni senza perdite. Non è un tipo più veloce di Ethernet. Viene fornito con adattatori di canale host, switch, gestore di sottorete, ecosistema di cablaggio e modello di controllo della congestione. Il suo valore distintivo è il comportamento deterministico: molte GPU possono comunicare con requisiti di timing serrati e la struttura continua a comportarsi in modo coerente anche quando il traffico collettivo è intenso.

Le moderne piattaforme InfiniBand orientate all'AI- estendono questa base con funzionalità mirate direttamente ai cluster GPU di grandi dimensioni. La linea Quantum InfiniBand di NVIDIA, ad esempio, aggiungerouting adattivo,-network computing e controllo della congestione basato sulla telemetria-, che aiutano la struttura a distribuire il traffico in modo intelligente e a isolare il carico di un tenant da quello di un altro. Per inferenza, InfiniBand guadagna il suo posto quando il carico di lavoro non può tollerare il jitter o quando diversi nodi GPU devono scambiare dati in modo rapido e coerente.

I compromessi-riguardano i costi, la concentrazione dell'ecosistema e la specializzazione operativa. Una struttura InfiniBand dedicata significa interruttori, adattatori, cavi o moduli ottici dedicati e ingegneri a proprio agio con la gestione della struttura InfiniBand. Per un'organizzazione che gestisce già grandi parchi Ethernet, l'installazione su una struttura separata aggiunge complessità all'approvvigionamento, alla pianificazione dei pezzi di ricambio-e al monitoraggio delle spese generali.

Che cos'è RoCE (RDMA su Converged Ethernet)?

RoCE porta RDMA, movimento diretto dei dati dalla memoria-alla-memoria con un basso sovraccarico della CPU, sulle reti Ethernet. RoCEv2, la versione utilizzata nei moderni data center, è instradabile su reti IP Layer 3 ed è stata standardizzata dalAssociazione commerciale InfiniBand. Questa instradabilità è ciò che consente a RoCE di adattarsi in modo naturale ai progetti leaf-spine Ethernet riutilizzando allo stesso tempo NIC, switch, componenti ottici e strumenti di monitoraggio familiari.

Il problema è che i trasporti RDMA presuppongono una rete quasi-senza perdite. Rilascia un pacchetto e il trasporto ritorna al comportamento di ritrasmissione che distrugge la latenza della coda. Quindi RoCE ha bisogno che l'Ethernet sottostante si comporti come un tessuto senza perdite, e ciò dipende da un'attenta configurazione di due meccanismi in particolare:Controllo del flusso prioritario (IEEE 802.1Qbb), che mette in pausa una singola classe di traffico per evitare interruzioni eNotifica esplicita di congestione (ECN), che segnala tempestivamente la congestione in modo che i mittenti rallentino prima che i buffer trabocchino. Se a ciò aggiungiamo la gestione delle code, l'allocazione del buffer e la mappatura QoS, diventa chiaro che RoCE ad alte-prestazioni non è una normale Ethernet.

Fatto bene, RoCE offre latenza e throughput sufficienti per un'ampia gamma di servizi di inferenza di produzione e molti carichi di lavoro di inferenza sono meno strettamente sincronizzati rispetto alla formazione distribuita, il che funziona a favore di RoCE. Se eseguito in modo inadeguato, produce perdita di pacchetti, blocco dell'head-of-line, diffusione della congestione e code instabili, che si traducono direttamente in una qualità del servizio degradata.

Latenza InfiniBand vs RoCE: quale è migliore per l'inferenza p99?

Entrambi i tessuti possono offrire reti ad alta-larghezza di banda e bassa-latenza. Differiscono nel modo in cui ci arrivano. InfiniBand è deterministico per costruzione, quindi il jitter rimane basso anche sotto carico misto. RoCE può eguagliarlo per molti carichi di lavoro, ma il risultato dipende dalla struttura Ethernet e da quanto bene è sintonizzata.

Dal punto di vista dell'implementazione, il vero problema in produzione raramente è il picco di larghezza di banda. È jitter in caso di traffico misto, intermittente e multi-tenant. Un tessuto RoCE che supera un test di throughput pulito e in stile iperf- può ancora mancare il suo obiettivo p99 nel momento in cui microburst e conflitti entrano in scena. Questo divario tra un benchmark di laboratorio e uno SLA di produzione è il luogo in cui risiedono la maggior parte delle sorprese.

InfiniBand tende ad avere un vantaggio quando:

• Il servizio ha rigorosi obiettivi di latenza p99 o p999.
• L'inferenza si estende su più nodi GPU con parallelismo di tensore o pipeline oppure utilizza precompilazione e decodifica disaggregate.
• L'utilizzo della GPU è molto sensibile al ritardo della rete, quindi gli stalli sono costosi.
• Il cluster esegue un numero limitato di carichi di lavoro ad alta-priorità in cui la prevedibilità supera la flessibilità.

RoCE è generalmente sufficiente quando:

• Le richieste sono per lo più indipendenti o l'accoppiamento è lento.
• Il lavoro viene eseguito all'interno di un nodo o di un numero limitato di nodi.
• La velocità effettiva dei batch conta più della latenza di coda ultra-bassa.
• Il team utilizza già Ethernet e la flessibilità dei costi o del fornitore è una priorità.
• Il cluster supporta più tenant o carichi di lavoro misti.

Costo RoCE vs InfiniBand: cosa determina effettivamente il TCO?

RoCE è spesso definita l'opzione più economica, ma il prezzo del cambio è una piccola parte del quadro. Un confronto realistico considera l'intero stack: adattatori di rete o HCA, switch, moduli ottici, DAC, AOC e cavi in ​​fibra, topologia rack, alimentazione e raffreddamento, sistema operativo di rete, monitoraggio e telemetria, tempo di progettazione, pezzi di ricambio, supporto del fornitore e percorso verso 400G o 800G.

InfiniBand di solito comporta un costo iniziale più elevato perché richiede un tessuto dedicato e componenti specializzati. Negli ambienti in cui il comportamento deterministico è la massima priorità, può ridurre lo sforzo di ottimizzazione e risoluzione dei problemi richiesto da una struttura Ethernet senza perdite. RoCE riduce i costi dell'hardware quando è possibile riutilizzare un'infrastruttura Ethernet esistente, con il giusto supporto Data Center Bridging, ma sposta gli sforzi sulla progettazione, convalida, monitoraggio e risoluzione dei problemi della struttura senza perdite. Un progetto RoCE a basso-costo diventa rapidamente costoso se provoca una latenza instabile e ripetuti interventi antincendio.

Costi e rischi si concentrano a livello fisico man mano che la velocità aumenta. A 400G e 800G, l'ottica domina sia la fattura che le modalità di guasto. La maggior parte-porti ad alta velocità atterranoQSFP-DD o fattori di forma comparabilie corrispondente a destraottica mono-modale o multimodalealla tua portata effettiva è uno dei modi più semplici per evitare spese eccessive per una struttura che non necessita di moduli a lunga-distanza.

In parole povere: RoCE non è l'opzione più economica se il tuo team non dispone di competenze-Ethernet lossless. I risparmi sull'hardware possono essere rapidamente consumati dai costi di progettazione necessari per mantenere stabile il tessuto.

Scalabilità e operazioni

La scalabilità è più del numero di porte. Include la facilità con cui il tessuto viene distribuito, monitorato, espanso e ripristinato quando qualcosa non funziona.

InfiniBand è potente quando il cluster è progettato come un'infrastruttura dedicata ad alte-prestazioni fin dal primo giorno. Offre un comportamento coerente su larga scala, ma richiede strumenti specifici di InfiniBand-, come un gestore di subnet e una gestione unificata dell'infrastruttura, e personale che abbia dimestichezza con i concetti di InfiniBand. Ciò lo rende una soluzione naturale per i cluster IA centralizzati costruiti attorno ai carichi di lavoro GPU.

RoCE si inserisce nei progetti di data center Ethernet: topologie leaf-spine, routing IP, ECMP e pratiche di monitoraggio familiari. Questo è esattamente il motivo per cui si rivolge allo stile cloud e all'infrastruttura GPU multi-tenant. La disciplina che richiede è la coerenza. PFC, ECN, QoS, gestione del buffer e controllo della congestione devono essere progettati in modo coerente lungo l'intero percorso, poiché una piccola configurazione errata in un angolo del fabric può diffondere e degradare molti carichi di lavoro contemporaneamente. Anche il livello fisico deve ridimensionarsi in modo pulito; alta-densitàCablaggio trunk e breakout MPO e MTPmantiene gestibile il tessuto della foglia-dorsale in crescita invece di trasformare ogni espansione in un puzzle di cavi.

Vale la pena sottolineare il punto-dell'immagine speculare: InfiniBand è difficile da giustificare quando l'inferenza rimane per lo più all'interno di un singolo nodo e la struttura viene a malapena esercitata.

Quale rete per ciascun carico di lavoro di inferenza

Quando RoCE è abbastanza buono e quando diventa rischioso

RoCE è abbastanza buono per richieste indipendenti o liberamente accoppiate, lavoro batch orientato al throughput-e cluster multi-tenant in cui è possibile ottimizzare l'isolamento, soprattutto quando il team ha dimestichezza con Data Center Bridging Ethernet. Diventa rischioso in modi specifici e riconoscibili:

• Tempeste PFC.I frame di pausa si propagano a monte e congelano il traffico che non ha nulla a che fare con la congestione originale.
• Blocco dell'head-of{1}}line.La mappatura approssimativa delle priorità consente a una classe congestionata di bloccare le altre che condividono una coda.
• Errata sintonia dell'ECN.Segna troppo tardi e riceverai delle gocce; segnare in modo troppo aggressivo e rallentare inutilmente la produttività.
• Congestione da microburst.I burst di sub-secondo superano i buffer ma rimangono invisibili al monitoraggio dei campioni con una risoluzione di un-secondo.
• Configurazione incoerente.Impostazioni non corrispondenti tra foglia e colonna vertebrale causano la diffusione della congestione anziché rimanere locale.

Nessuno di questi è un motivo per evitare RoCE. Sono motivi per progettare il tessuto senza perdite in modo coerente end-to-end e per investire in telemetria-granulare e sensibile ai microburst-prima della scalabilità.

Quando vale la pena InfiniBand e quando si acquista troppo

InfiniBand vale il suo premio per obiettivi p99 e p999 rigorosi, servizi multi-nodo strettamente associati e carichi di lavoro mission-critical in cui le penalità SLA sono elevate, in particolare su un cluster GPU dedicato progettato attorno al fabric. È probabile che tu stia effettuando acquisti eccessivi quando l'inferenza rimane all'interno di un nodo, quando il lavoro è batch orientato al throughput-, quando hai bisogno della stessa struttura per trasportare anche spazio di archiviazione, gestione e traffico cloud multi-tenant o quando semplicemente ti manca la capacità operativa per eseguire bene InfiniBand.

I costi che non compaiono nel preventivo dello switch sono reali: concentrazione dell'ecosistema, spese generali per l'esecuzione di una seconda struttura in parallelo con la rete Ethernet e pianificazione separata per ricambi, ottica e monitoraggio.

Come testare InfiniBand vs RoCE prima di scegliere

Non decidere sulla reputazione del protocollo o sulla scheda tecnica. Decidi un benchmark che assomigli alla produzione. Una sequenza pratica:

• Definire lo SLA in code.Imposta p50, p95, p99 e p999 per il tempo-al-primo-token e la latenza tra-token, non solo una media.
• Riproduci il traffico realistico.Utilizza dimensioni di modelli misti e bursty e concorrenza multi-tenant anziché un singolo flusso pulito.
• Carica alla congestione.Spingi il tessuto finché non è veramente conteso, quindi misura l'utilizzo della GPU. Se le GPU sono in stallo sulla rete, il fabric è il collo di bottiglia.
• Guarda i contatori giusti.Tieni traccia dei frame di pausa, dei contrassegni ECN, delle perdite di pacchetti, delle ritrasmissioni, dei contatori degli errori delle porte e, a 400G e 800G, degli errori FEC.
• Convalidare il livello fisico.Materie di fibra pulite e installate correttamente;installazione attenta della fibrapreviene gli errori intermittenti e difficili da diagnosticare a cui sono soggetti i collegamenti ad alta velocità.

Se RoCE mantiene il suo obiettivo p99 in un carico realistico, conteso, multi-tenant con contatori stabili, è una scelta forte ed-efficace in termini di costi. Se supera solo test puliti a flusso singolo-, non hai ancora testato l'elemento che determina il tuo SLA.

Errori comuni da evitare

• Supponendo che tutte le inferenze siano reti leggere.Alcune inferenze sono semplici e indipendenti; alcuni sono distribuiti, sensibili alla latenza e affamati di larghezza di banda. Trattare tutto come facile porta a infrastrutture sottostimate.
• Confrontando solo la latenza media.L'inferenza sulla produzione dipende dalla coda. Valuta sempre p95, p99 e p999 in condizioni di traffico realistico.
• Trattare RoCE come un Ethernet plug{0}}and{1}play.Il RoCE ad alte-prestazioni richiede una progettazione deliberata del tessuto-senza perdite, controllo della congestione e osservabilità continua.
• Scegliere InfiniBand solo perché è più veloce.La migliore opzione di prestazione non è sempre la migliore opzione di business. Se il carico di lavoro non necessita di un comportamento deterministico, RoCE può offrire un valore migliore.
• Ignorando il livello fisico.A 400G e 800G, cavi, ottiche, connettori e pulizia delle fibre creano errori intermittenti difficili da trovare e costosi da risolvere.

Linea di fondo

Per l'inferenza AI, InfiniBand e RoCE sono entrambi validi e soddisfano priorità diverse. Scegli InfiniBand quando hai bisogno della rete a bassa-latenza più coerente per inferenze in-tempo reale, sensibili agli SLA-o strettamente accoppiate. Scegli RoCE quando hai bisogno di un'infrastruttura scalabile,-basata su Ethernet,-efficiente in termini di costi per inferenza batch, servizi GPU multi-tenant, carichi di lavoro RAG e infrastruttura flessibile.

La decisione dovrebbe iniziare con il carico di lavoro, l'obiettivo di latenza, la scala del cluster, la capacità operativa e la roadmap di aggiornamento, non con il protocollo. Se il tuo cluster deve mantenere un rigoroso p99 sotto carico pesante, InfiniBand merita una seria considerazione. Se il tuo obiettivo è scalare l'inferenza in modo economico in un data center Ethernet, RoCE è solitamente il percorso più pratico. In ogni caso, esegui il benchmark del carico di produzione-prima di impegnarti.