Switch buffer: riduce la perdita e la latenza della rete AI

Jun 22, 2026

Lasciate un messaggio

AI data center network fabric with switch buffers

I buffer dello switch sono piccoli pool di memoria all'interno di uno switch di rete che trattengono i pacchetti per un momento quando il traffico arriva più velocemente di quanto una porta possa inviarlo. Su una LAN aziendale tranquilla, sembra una nota a piè di pagina hardware. All’interno di un cluster di addestramento AI o di una densa struttura cloud, gli stessi pochi megabyte di memoria possono decidere se un lavoro distribuito termina in tempo o resta in attesa su un singolo collegamento congestionato.

L’idea di base è semplice, ma intralcia molte decisioni di acquisto: i buffer sono preziosi perché assorbono le esplosioni, tuttaviapiù buffer non è automaticamente migliore. La progettazione corretta dipende dal modello di traffico, dalla sensibilità del carico di lavoro alla latenza o alle perdite, dal metodo di controllo-della congestione utilizzato e dal modo in cui lo switch distribuisce la memoria buffer tra porte e code. Uno switch con un buffer molto grande può comunque funzionare peggio di uno più piccolo se la memoria nasconde la congestione invece di prosciugarla.

Questa guida è scritta in base ai modelli comunemente riscontrati nei tessuti RoCEv2 e nelle distribuzioni di foglie-spine ad alta densità. Spiega cosa fanno effettivamente i buffer dello switch, perché il traffico AI e GPU li stressa in modo diverso, in che modo le scelte del buffer influiscono sulla latenza e sulla perdita di pacchetti e cosa testare prima di impegnarsi in uno switch.

Cosa sono i buffer di commutazione?

Uno switch buffer è una memoria temporanea di pacchetti. Quando più pacchetti devono uscire dalla stessa porta nello stesso istante, lo switch non può trasmetterli tutti in una volta, quindi mette in coda gli extra e li inoltra non appena la porta di output si libera.

Questa coda avviene durante una manciata di momenti prevedibili:

  • Traffico molti-a{1}}uno (incast), in cui più mittenti hanno come target lo stesso destinatario o uplink
  • Microburst, picchi brevi e intensi che durano da microsecondi a pochi millisecondi
  • Disadattamenti di velocità dell'interfaccia, come una porta 400G che alimenta un collegamento downstream più lento
  • Collegamenti con sottoscrizioni eccessive e raffiche sincronizzate che arrivano da molte fonti contemporaneamente
  • Congestione su una specifica coda di output o classe di traffico

Senza un buffer utilizzabile sufficiente, lo switch elimina i pacchetti. Con un buffer troppo occupato, i pacchetti restano in fila e la latenza aumenta. Una buona progettazione del buffer risiede nella tensione tra questi due fallimenti: assorbire esplosioni reali senza trasformare la coda in un recinto.

Perché il traffico AI e GPU sollecita i buffer di commutazione in modo diverso

I carichi di lavoro dell’intelligenza artificiale non assomigliano al traffico web o d’ufficio. I cluster GPU generano un enorme traffico est-ovest tra i server e durante l'addestramento distribuito la comunicazione è spesso sincronizzata: molti acceleratori scambiano dati nello stesso momento, nella stessa direzione, sulla stessa struttura.

Le operazioni collettive peggiorano la situazione. Un passaggio di riduzione di tutto-, una sincronizzazione dei parametri o uno scambio di gradienti possono collassare in un'esplosione molti-a-uno o molti-a-molti che blocca una serie di code di uscita in pochi microsecondi. Poiché i burst sono brevi e strettamente correlati, è facile non notarli con un monitoraggio approssimativo. Ad esempio, un collegamento può leggere solo il 40% circa dell'utilizzo medio in una finestra di polling di un-secondo o cinque-minuti pur continuando a raggiungere la velocità di linea per millisecondi alla volta, un tempo sufficiente per riempire una coda, contrassegnare ECN o attivare una pausa PFC.

Il motivo per cui questo è così importante nei tessuti AI è la struttura di dipendenza del lavoro. L’allenamento distribuito tende a muoversi alla velocità del suo flusso più lento. Quando un nodo GPU attende traffico in ritardo, il resto del cluster spesso resta inattivo e costosi acceleratori bruciano tempo di attesa sulla rete anziché di elaborazione. Un evento buffer che sarebbe invisibile su un livello Web può prolungare direttamente il tempo di completamento del lavoro qui.

Questo tessuto est{0}}ovest è anche il motivo per cui le scelte relative al livello fisico- vanno di pari passo con il comportamento buffer. I backend GPU ad alta- densità sono generalmente cablaticablaggio trunk MTP/MPO ad alta-densitàtra foglia e dorso, e la velocità di collegamento è determinata sempre più dall'ottica sceltaModuli 400G e 800G come QSFP-DD. Più questi collegamenti sono veloci e con un numero eccessivo di richieste, maggiore è il lavoro che il buffer dello switch e le impostazioni di congestione devono svolgere durante un burst sincronizzato.

AI GPU traffic burst filling a switch buffer

In che modo i buffer di commutazione influiscono sulla latenza, sulla perdita di pacchetti e sul throughput

I buffer modellano le prestazioni in tre modi collegati.

Un buffer troppo piccolo causa la perdita di pacchetti

Quando un burst supera il buffer disponibile, la coda dello switch-rilascia i pacchetti. Nel traffico basato su TCP-che attiva ritrasmissioni e riduce il throughput effettivo. Nello storage e nel traffico AI può aumentare i tempi di completamento dei lavori e rendere le prestazioni irregolari. La trappola è che la larghezza di banda media spesso sembra soddisfacente: in un evento incast, diversi mittenti raggiungono la stessa coda di uscita quasi nello stesso istante e la coda va in overflow anche se il grafico minuto-per-minuto sembra calmo.

Troppo traffico in coda aumenta la latenza

Un buffer ampio non è un margine di sicurezza libero. Se i pacchetti si trovano in una coda profonda, accumulano un ritardo nella coda e la rete vi scivola dentrobufferbloat, dove i cali sono rari ma la latenza è elevata e imprevedibile. Questa modalità di fallimento eradocumentato in dettaglio da Gettys e Nichols in ACM Queue, ed è esattamente il risultato sbagliato per i backend GPU sensibili alla latenza-, dove una bassa latenza prevedibile è più importante che nascondere la congestione nella memoria.

Una scarsa allocazione dei buffer crea ingiustizia

La dimensione totale del buffer nasconde la domanda più importante: come lo switch divide la memoria tra porte, code e classi di traffico. Uno switch può trasportare molto buffer aggregato e comportarsi comunque male se una porta o una classe prosciuga il pool condiviso e affama il resto. Negli ambienti di intelligenza artificiale e archiviazione, questa ingiustizia rallenta l’intero lavoro, perché il flusso più lento determina il tempo di fine.

Comparison of shared dedicated and deep switch buffers

Buffer condiviso, buffer dedicato e buffer profondo

Quando si confrontano gli switch del data center, l'architettura del buffer conta più del numero di capacità principale.

Buffer condiviso

Un buffer condiviso è un pool di memoria comune da cui le porte e le code attingono su richiesta. Poiché la memoria inutilizzata in un'area tranquilla può essere prestata ovunque si verifichi una congestione, i buffer condivisi assorbono bene i burst nei data center, dove una porta che è inattiva per un momento può subire un burst il successivo. Il loro punto debole è che si affidano a una buona logica di allocazione per impedire a una coda calda di consumare la piscina.

Buffer dedicato

Un buffer dedicato è riservato per una porta, coda o classe di traffico specifica. Migliora l'isolamento, poiché una classe congestionata è meno in grado di consumare tutto, ma una riserva eccessiva- spreca capacità, perché la memoria bloccata su una porta tranquilla non è disponibile dove effettivamente atterra il burst.

Buffer profondo

Un deep-buffer switch trasporta un buffer molto più grande, progettato per grandi burst, collegamenti a lunga-distanza o persistenti disallineamenti di velocità. I deep buffer guadagnano il loro posto in alcuni ruoli WAN, routing e aggregazione, spesso abbinatifibra monomodale-per collegamenti-a lunga distanza, ma spesso rappresentano l'impostazione predefinita sbagliata per un backend GPU a bassa-latenza, dove tendono a mascherare la congestione e ad aggiungere ritardo. Per i tessuti sensibili alla latenza-, l'inoltro prevedibile di solito batte la profondità del buffer grezzo.

Confronto veloce

Tipo di buffer Forza Rischio principale La migliore vestibilità
Condiviso Assorbimento flessibile dello scoppio Necessita di una solida logica di allocazione Traffico dinamico del data center
Dedicato Forte isolamento tra le classi Capacità sprecata in caso di-prenotazione eccessiva Classi di traffico da tutelare
Profondo Assorbe raffiche molto grandi Maggiore latenza delle code WAN, routing, aggregazione speciale

Switch Buffer e controllo della congestione RoCEv2: ECN e PFC

La maggior parte dei fabric AI Ethernet eseguono RoCEv2 per RDMA a bassa-latenza e alto-throughput. In queste reti, i buffer e il controllo della congestione sono inseparabili: le soglie del buffer impostate determinano quando l'ECN viene contrassegnato e quando si attiva il PFC.

L’ECN dovrebbe segnalare tempestivamente la congestione

Notifica esplicita di congestione (ECN), definita nella RFC 3168, consente a uno switch di contrassegnare i pacchetti mentre si crea congestione invece di eliminarli. Il ricevitore fa eco a quel segnale in modo che il mittente rallenti prima che la coda trabocchi. Nei tessuti RoCEv2 la soglia di marcatura è una decisione di messa a punto con conseguenze reali: marcatura troppo tardi e la coda è già profonda quando le fonti reagiscono; segna troppo presto e riduci la produttività a cui non hai bisogno di arrenderti.

La PFC dovrebbe essere la rete di sicurezza, non la prima risposta

Controllo del flusso (PFC) basato sulla priorità-, standardizzato come IEEE 802.1Qbb, sospende il traffico su una classe di priorità per evitare perdite su code senza perdite. È essenziale, ma è uno strumento contundente. Se ci si appoggia troppo spesso si diffonde la congestione a monte, creando pause tempeste e blocchi-of-line che puniscono flussi che non ne sono mai stati la causa. Il modello più sano è ben consolidato: inIl lavoro RDMA su larga scala-di Microsoft che ha introdotto DCQCN, il controllo della congestione basato sulla velocità-guidato dall'ECN gestisce gli eventi di routine mentre il PFC rimane in riserva come ultima linea di difesa e il documento fornisce anche indicazioni concrete sull'ottimizzazione delle soglie del buffer di commutazione.

Le soglie del buffer devono corrispondere al carico di lavoro

Le soglie copiate da un progetto di riferimento raramente sopravvivono al contatto con il traffico reale. L'addestramento dell'intelligenza artificiale, l'inferenza, l'archiviazione e i carichi di lavoro cloud misti si sviluppano in modo diverso e le giuste impostazioni ECN/PFC dipendono dalla velocità di burst, dalla velocità del collegamento, dal rapporto di sottoscrizione eccessiva, dalla progettazione della coda e dalla misura in cui il carico di lavoro tollera la latenza rispetto alla perdita. Considera le impostazioni predefinite del fornitore come punto di partenza, quindi sintonizzati sul tuo traffico.

Diagnosi dei problemi relativi al buffer-: sintomi, cause e parametri

Quando le prestazioni delle applicazioni diminuiscono ma i dashboard appaiono verdi, la pressione del buffer è una causa nascosta comune. Una prima mossa utile consiste nel leggere i dati di telemetria in ordine di causa ed effetto anziché osservare l'utilizzo del collegamento. La tabella seguente associa i sintomi ai probabili problemi del buffer e la metrica che li conferma.

 

Sintomo Probabile causa-correlata al buffer Metrica da verificare prima
Ritrasmissioni con utilizzo medio normale La coda del microburst cade su una coda di uscita Picchi di occupazione della coda, code e cali di output
La latenza raggiunge picchi con pochi o nessun calo Over-coda profonda/bufferbloat Percentili di latenza (p99), profondità della coda
Il throughput crolla in modalità molti-a-uno Incast che trabocca da un pool condiviso Riduzioni durante l'incast, per-occupazione della coda
Stalli periodici in tutto il cluster Il PFC ferma le tempeste che si diffondono a monte PFC mette in pausa i fotogrammi e la durata della pausa
Un flusso lento trascina l'intero lavoro Condivisione ingiusta del buffer tra le classi Contatori di code-per-occupazione prioritaria
GPU inattive in attesa sulla rete Congestione che estende le operazioni collettive Tasso di valutazione ECN, tempo di completamento del flusso, utilizzo della GPU

Leggi dall'alto verso il basso, la catena diagnostica naturale è la profondità della coda, quindi i contrassegni ECN, quindi le cadute di coda, quindi i fotogrammi di pausa PFC, quindi il tempo di completamento del flusso, quindi l'utilizzo della GPU. Se i parametri di rete sono puliti ma i processi sono ancora lenti, il problema è probabilmente a monte della struttura anziché all'interno del buffer dello switch.

Test di laboratorio che vale la pena eseguire e che aspetto ha il "superamento".

Prima di eseguire l'implementazione in un'AI o in una struttura ad alte-prestazioni, esegui il test con un traffico che somigli al tuo carico di lavoro reale e definisci un criterio di superamento per ogni test anziché limitarti a controllare la velocità di linea.

  • Molti-a-uno incast:aumentare il rapporto-della ventola; pass significa nessuna caduta di coda e latenza p99 limitata al superamento dell'abbonamento target.
  • Molti-a-molti, tutti-riducono lo stile:guidare raffiche sincronizzate; pass significa tempi di completamento equi attraverso i flussi senza alcun ritardatario.
  • Flusso misto breve- e lungo-:esegui insieme i flussi di elefante e topo; pass significa che i flussi brevi mantengono una bassa latenza mentre i flussi lunghi continuano a riempire il collegamento.
  • Congestione RoCEv2 con convalida ECN/PFC:confermare i contrassegni ECN prima della pausa PFC; pass significa che ECN fa il lavoro e PFC si attiva raramente.
  • Abbonamenti in eccesso e riconvergenza dei guasti:rilasciare un collegamento a metà-burst; pass significa reindirizzamento grazioso senza dislivelli o dirupi di latenza.

L'obiettivo non è dimostrare il throughput-della velocità di linea su uno switch inattivo. Si tratta di vedere come si comporta lo switch quando il traffico diventa frenetico, sincronizzato e ingiusto, che è l'unico stato che conta nella produzione. Quando si pianificano i cavi e i connettori per supportare tali test su larga scala, unconfronto ingegneristico delle opzioni MTP e MPOè un compagno utile.

Buffer profondo o cambio di latenza-bassa?

Non esiste un unico cambiamento migliore, esiste solo la soluzione migliore per un dato tessuto. Utilizza la tabella seguente per restringere rapidamente la scelta, quindi convalidala con i test di laboratorio sopra riportati.

Se il tuo tessuto lo è Dare priorità Buffer pendente
Backend GPU AI (burst sincronizzati, latenza-critica) Bassa latenza, telemetria potente, ottimizzazione ECN/PFC Bassa-latenza, condivisa con buona allocazione
Archiviazione/senza perdite Equità, tempo di completamento del lavoro, latenza sotto carico Moderato, con classi ben-isolate
Cloud misto (velocità di collegamento diverse) Allocazione flessibile, isolamento delle classi, visibilità Condiviso e flessibile
WAN/aggregazione a lunga-distanza Assorbimento di grandi raffiche e disadattamento di velocità Buffer profondo (ancora controllato rispetto agli obiettivi di latenza)

I tessuti cloud misti sono il caso più complicato, perché spesso combinano uplink a velocità più elevata-con collegamenti di accesso più lenti. Se stai mappando quelle velocità di accesso, una guida aInterfacce 10GBASE-T e SFP+ 10GbEpuò aiutarti a pianificare dove arriveranno le transizioni di velocità, e quindi la pressione di buffering.

Domande frequenti

D: Buffer di commutazione più grandi sono sempre migliori?

R: No. Buffer più grandi riducono le perdite di pacchetti durante i burst, ma lasciano anche i pacchetti in coda più a lungo, il che aumenta la latenza e può causare bufferbloat. Per i tessuti di archiviazione e AI sensibili alla latenza, un buffer moderato e ben gestito-di solito ha prestazioni migliori di uno molto profondo. Il miglior buffer è quello dimensionato e allocato per assorbire le tue raffiche reali senza aggiungere ritardi evitabili.

D: Qual è la differenza tra buffer condiviso e buffer dedicato?

R: Un buffer condiviso è un pool comune da cui qualsiasi porta o coda può attingere quando ne ha bisogno, il che lo rende efficiente nell'assorbire burst imprevedibili. Un buffer dedicato è riservato per una porta, coda o classe specifica, il che migliora l'isolamento ma può sprecare memoria se lo spazio riservato rimane inattivo. Molti switch di data center utilizzano un ibrido dei due.

D: Perché i microburst causano la perdita di pacchetti anche quando l'utilizzo sembra basso?

R: Il monitoraggio standard calcola la media del traffico nell'arco di secondi o minuti, in modo da attenuare i picchi. Un microburst può raggiungere la velocità di linea solo per pochi millisecondi, riempiendo una coda di uscita e forzando la caduta della coda, mentre il grafico medio mostra ancora il collegamento come leggermente caricato. Per visualizzare questi eventi sono necessari una coda su scala-millesimi di secondo e la telemetria di rilascio.

D: I data center AI necessitano di deep-buffer switch?

R: Di solito non sul backend della GPU. I buffer profondi tendono a mascherare la congestione e ad aggiungere latenza, il che va contro l'inoltro prevedibile e a bassa-latenza richiesto dalla formazione distribuita. I buffer profondi sono più appropriati per i ruoli WAN, routing o aggregazione. Per i cluster AI, la telemetria, l'allocazione equa e-l'ECN/PFC ben calibrati in genere contano più della profondità del buffer non elaborata.

D: In che modo i buffer degli switch influiscono sulle prestazioni di RoCEv2?

R: In RoCEv2, le soglie del buffer decidono quando ECN contrassegna i pacchetti e quando PFC sospende una priorità. Impostato bene, ECN rallenta i mittenti in anticipo e mantiene le code poco profonde; impostato in modo inadeguato, le code traboccano o il PFC si attiva troppo spesso e diffonde la congestione. L'ottimizzazione delle soglie del buffer in base al carico di lavoro è uno dei passaggi più importanti per ottenere un buon comportamento RoCEv2.

D: Quali parametri del buffer devo monitorare in produzione?

R: Osserva l'occupazione della coda, i cali di coda e di output, la frequenza di contrassegno ECN e i frame e la durata della pausa PFC, quindi collegali ai segnali dell'applicazione come il tempo di completamento del flusso e, per i tessuti AI, l'utilizzo della GPU. Se le prestazioni dell'applicazione sono scarse mentre l'utilizzo medio del collegamento sembra normale, è probabile che si sospetti la pressione del buffer nascosto e i microburst.

Punti chiave

I buffer degli switch svolgono un ruolo decisivo nelle prestazioni della rete AI e dei data center, ma la capacità da sola non dice se uno switch sia la scelta giusta. Una buona progettazione del buffer assorbe burst realistici, limita la perdita di pacchetti, mantiene prevedibile la latenza, supporta la segnalazione ECN e PFC ed espone una telemetria sufficiente per la risoluzione dei problemi. Per i data center AI, valuta l'architettura del buffer insieme al controllo della congestione, al bilanciamento del carico, alla gestione delle code e al comportamento del carico di lavoro reale, non come un numero isolato su una scheda tecnica.

Prima di impegnarsi, testare lo switch in condizioni di incast, microburst e congestione e osservare come condivide la memoria quando il traffico diventa scorretto. Il miglior buffer non è quello più grande. È l'architettura che mantiene le tue applicazioni veloci, corrette e prevedibili nel traffico reale.

Invia la tua richiesta