L’intelligenza artificiale sta rimodellando la progettazione dei data center. La maggior parte dell'attenzione è rivolta a GPU, acceleratori e raffreddamento, ma il livello che decide silenziosamente se il resto della build avrà successo è il cablaggio. In un cluster AI, il livello fisico determina se puoi effettivamente raggiungere 400G e 800G, se i collegamenti ad alta-velocità rimangono sufficientemente puliti da far passare il traffico, se il flusso d'aria sopravvive a un rack completamente popolato e se il tuo prossimo salto di velocità è uno scambio di carte o un aggiornamento del carrello elevatore.
Questa guida è scritta per i team dell'infrastruttura e della rete-ottica. Spiega cosa rende diverso il cablaggio AI, i requisiti che contano con i numeri reali, come confrontare DAC, AOC e fibra strutturata, un flusso di lavoro di pianificazione passo passo--, cosa preparare prima di una migrazione a 400G o 800G e un elenco di controllo che puoi effettivamente utilizzare. I riferimenti tecnici qui si basano sugli attuali standard IEEE 802.3 e ANSI/TIA-942.
Perché i carichi di lavoro AI modificano i requisiti di cablaggio del data center
I data center aziendali tradizionali erano costruiti attorno a un traffico applicativo abbastanza prevedibile, in gran parte nord-sud, che si spostava tra utenti, applicazioni e reti esterne. I cluster AI invertono questo modello. Durante l'addestramento e l'inferenza su larga-scala, il flusso dominante è est-ovest: le GPU scambiano costantemente gradienti e attivazioni tra loro attraverso operazioni collettive come all-reduce, solitamente su una struttura RDMA (remote direct memory access).
Ciò è visibile nei progetti di riferimento del fornitore. NVIDIA costruisce la rete di elaborazione GPU come un tessuto a foglia-dorsale basato su RDMA utilizzando untopologia-ottimizzata in modo che qualsiasi GPU sia al massimo a un salto da qualsiasi altra, che è ciò che mantiene efficiente la comunicazione multi-GPU su larga scala. La conseguenza del cablaggio è il numero totale di porte: un singolo nodo da otto-GPU può presentare otto porte da 400G (o 800G) est-ovest e un pod di addestramento con diversi switch leaf per rack moltiplica la fibra del trunk e le patch molto rapidamente.
Quando il livello fisico è sotto-pianificato, i problemi non si presentano il primo giorno. Appaiono successivamente, come percorsi congestionati che soffocano il flusso d'aria, come isolamento dei guasti che richiede ore anziché minuti e come rielaborazione durante il primo ciclo di aggiornamento. Un dettaglio apparentemente banale, come una polarità MPO invertita o una terminazione contaminata, può mettere offline un'intera rotaia. Per l’infrastruttura AI, il cablaggio rientra nell’architettura fin dall’inizio, non come ultimo compito prima della messa in servizio.
Cablaggio per data center tradizionale o AI-ready
Il divario tra il cablaggio tradizionale e quello predisposto per l'AI-è un cambiamento nelle priorità di progettazione, non solo un numero maggiore di cavi. I design tradizionali sono ottimizzati per la connettività odierna; I progetti predisposti per l'AI sono ottimizzati per velocità di migrazione, densità, qualità prevedibile dei collegamenti e funzionalità durante più cicli di aggiornamento.
| Fattore di progettazione | Cablaggio tradizionale del data center | Cablaggio del data center pronto per l'AI- |
|---|---|---|
| Modello di traffico | Prevedibile, spesso pesante da nord-a sud | Traffico intenso da est-ovest da GPU-a-GPU sui tessuti RDMA |
| Pianificazione della velocità | Dimensionato per le velocità di rete attuali | Previsto per 400G e 800G, con un percorso verso 1,6T |
| Densità | Porta e densità di fibra moderate | Fibra parallela ad alta-densità, MTP/MPO base 8 e base 16 |
| Gestione dei cavi | Trattato principalmente come organizzazione | Trattato come parte del flusso d'aria, del tempo di attività e della manutenzione |
| Percorso di aggiornamento | Spesso è necessario ri-tirare il cavo | Modulare: scambia ottiche e cassette, mantieni l'impianto in fibra |
| Manutenzione | Tracciamento manuale, più lento | Testato, etichettato, documentato, con percorsi definiti |
L'obiettivo è un impianto in fibra in grado di assorbire almeno un salto di velocità e un'espansione di capacità senza una riprogettazione.
Requisiti di cablaggio chiave per i data center AI
Pianifica il livello fisico per 400G e 800G, non solo per la velocità odierna
I cluster IA salgono rapidamente la scala della velocità, da 100G a 400G, 800G e infine 1,6T. Le interfacce 400G e 800G sono ora formalmente standardizzate:IEEE 802.3df, approvato nel 2024, definisce il MAC, il livello fisico e i parametri di gestione per Ethernet da 400 Gb/s e 800 Gb/s, inclusi tipi di supporti fisici come 800GBASE-SR8 e 800GBASE-DR8. Dal punto di vista delle apparecchiature, 400G utilizza in genere i fattori di forma QSFP-DD o QSFP112, mentre 800G utilizza OSFP o QSFP-DD800. Se stai confrontando la confezione del ricetrasmettitore e la mappatura delle corsie, questoPanoramica tecnica QSFP-DDè un utile punto di partenza.
La regola pratica: dimensionare il tipo di fibra, il numero di fibre e la base del connettore in modo che la pianta sopravviva al salto successivo. Un tronco dimensionato solo per la velocità della porta di oggi diventa il collo di bottiglia nel momento in cui il silicio e l'ottica dello switch avanzano.
Utilizza fibra-MTP/MPO ad alta densità per la connettività-cluster GPU
I collegamenti AI ad alta-velocità sono ottici paralleli e l'ottica parallela viene mappata direttamente sul numero di fibre. Un collegamento 400G-DR4 utilizza quattro corsie, o otto fibre, comunemente terminate con una ghiera MPO-12. Un collegamento 800G-SR8 o 800G-DR8 utilizza otto corsie o sedici fibre, spesso un MPO-16 con terminazioni APC. I trunk MTP/MPO Base-8 e base-16 abbinati alle cassette consolidano centinaia di questi collegamenti per rack e trasformano l'implementazione in movimenti ripetibili e testati in fabbrica anziché in giunzioni sul campo. PreterminatoCavi trunk MTP/MPOe gli assiemi di breakout (da MPO a LC o da MPO a MPO) sono la spina dorsale di questo approccio.
La densità deve ancora essere pianificata, non massimizzata. L'inserimento della fibra in un rack senza pensare al riempimento del percorso e al flusso d'aria crea una contro-pressione sullo scarico delle apparecchiature e rende impossibile la manutenzione delle porte. Imposta i rapporti di riempimento e le regole di gestione-del margine di flessibilità prima, non dopo, la prima installazione.
Gestisci la perdita di inserzione, la pulizia del connettore e la polarità
Le ottiche dell'AI ad alta-velocità sono meno indulgenti rispetto ai collegamenti che le hanno precedute. La segnalazione PAM4 utilizzata a 400G e 800G funziona con budget di perdita di canale più ridotti rispetto ai collegamenti NRZ più vecchi e ogni coppia MPO o LC accoppiata aggiunge perdita di inserzione, spesso pochi decimi di decibel per connessione. Attraverso un canale strutturato con diversi punti di connessione e una lunghezza di fibra, il budget scompare rapidamente, quindi il numero di connettori è una variabile di progettazione, non un ripensamento. Vale la pena comprendere la distinzione tra perdita di inserzione e perdita di ritorno, e il motivo per cui entrambe sono importanti sull'ottica parallela, prima di finalizzare un canale; questo spiegatore superdita di inserzione nelle reti in fibracopre la meccanica.
La contaminazione è una delle principali cause di guasti ai collegamenti di campo, pertanto ogni terminazione deve essere ispezionata e pulita prima dell'accoppiamento. La polarità richiede uno schema esplicito (metodo A, B o C) e i collegamenti paralleli a modalità singola- generalmente utilizzano connettori APC angolati per controllare la perdita di ritorno. Il raggio di curvatura è importante nei pannelli densi, dove la fibra insensibile alla curvatura-acquisisce margine. L'affidabilità qui è una disciplina di installazione e manutenzione tanto quanto una scelta dei componenti.
Progetta un'architettura di cablaggio strutturato- modulare e scalabile
L’infrastruttura AI cambia con un ciclo breve, quindi un impianto difficile da modificare rallenta ogni implementazione futura. Il cablaggio strutturato, costituito da trunk, cassette, involucri e percorsi definiti, consente ai team di aggiungere capacità o ri-montare un tessuto senza ri-tirare il cavo.ANSI/TIA-942 specifica i requisiti minimi dell'infrastruttura di telecomunicazioni per i data centere una topologia di cablaggio pensata per accogliere applicazioni future, che è esattamente la postura di cui ha bisogno una creazione di intelligenza artificiale. Con queste basi, la maggior parte degli aggiornamenti di velocità diventano una questione di scambio di ottiche e cassette piuttosto che di ricostruzione del livello fisico.
Instrada i cavi per il flusso d'aria e il raffreddamento nei rack-ad alta densità
I rack AI si surriscaldano. La densità di potenza nei rack GPU più densi può superare i 100 kW e a questi livelli i cavi congestionati causano direttamente ricircolo e punti caldi localizzati.La guida ASHRAE TC 9.9 prevede il controllo termico intorno all'ingresso delle apparecchiature IT e una separazione pulita del corridoio caldo-da quello freddo-e il cablaggio lo supporta o funziona contro di esso. In pratica ciò significa percorsi di fibra sospesi ove possibile, chiara separazione tra alimentazione e dati, gestori verticali e orizzontali dimensionati per il numero reale di cavi, allentamento disciplinato e instradamento che non blocchi mai lo scarico posteriore o un comignolo. La gestione dei cavi che mantiene tracciabili i collegamenti riduce anche l'errore umano durante spostamenti e modifiche.
DAC, AOC o fibra strutturata? Una matrice di selezione del cablaggio del data center AI
Non esiste un unico mezzo migliore per un cluster AI; la scelta giusta è guidata dalla portata e dal ruolo. All'interno di un rack, il rame a breve-portata vince ancora in termini di costi, potenza e latenza. Poiché i collegamenti si estendono su file e corridoi, la fibra mono-modale diventa la dorsale scalabile. La matrice seguente confronta le opzioni comuni nel modo in cui le valuta effettivamente durante una revisione del progetto.
| Opzione | Portata tipica | Velocità tipica | Dove si adatta | Supporti e connettori | Costo e potenza | Caso d'uso-più adatto |
|---|---|---|---|---|---|---|
| DAC passivo | Fino a circa 3 mt | Fino a 400G (ad esempio 400G-CR8) | Intra-rack e adiacente-rack superiore-del-rack | Twinax rame, terminali integrati | Costo più basso, consumo più basso, latenza più bassa | GPU o server da sfogliare nello stesso rack o in quello successivo |
| AOC | Da pochi metri a circa 30 m, in alcuni casi anche di più | 400G e 800G | All'interno di una fila, sugli scaffali vicini | Nucleo multimodale, estremità del ricetrasmettitore fisse | Bassa potenza, nessuna pulizia delle estremità del campo | Collegamenti permanenti da server-a-foglia oltre la portata del DAC |
| Fibra strutturata multimodale (OM4/OM5) | Decine di metri, fino a circa 100 m, più brevi a 800G | 400G e 800GSR/VR | Dorso della foglia-all'interno di una sala | OM4/OM5 con MTP/MPO e LC | Riutilizzabile e riparabile | Collegamenti da foglia corta-a-dorso e da riga-a-riga |
| Fibra strutturata-modalità singola (OS2) | Da 500 m a 2 km (DR/FR), fino a 10 km (LR) | 400G e 800G DR/FR/LR | Colonna vertebrale, croce-stanza, croce-edificio | OS2 con MTP/MPO (APC) e LC/APC | Massima portata e scalabilità | Uplink spinali, cross-hall e Fabric GPU più grandi |
Questo è anche il motivo per cui un'affermazione generale come "la fibra è sempre preferibile" necessita di un avvertimento: la fibra è la base scalabile per il tessuto, ma un DAC passivo è ancora la scelta ingegneristica migliore per un salto di un-metro all'interno di un rack.
Come pianificare il cablaggio del data center AI, passo dopo passo
Passaggio 1: mappare il carico di lavoro AI e la topologia di rete
A cominciare dal carico di lavoro. Un pod di addestramento di grandi dimensioni, un parco di inferenze con throughput elevato, un cluster HPC e un'implementazione con storage intensivo non condividono lo stesso profilo di traffico. Quindi mappa il punto in cui si collegano le reti di elaborazione GPU (est-ovest), archiviazione, nord-sud e gestione della banda-fuori-. Una distribuzione di pura inferenza potrebbe non aver bisogno di una grande struttura est{9}}ovest, mentre un pod di addestramento multi-rack sì. Progettare in base al flusso di traffico effettivo, non solo all'elevazione della scaffalatura.
Passaggio 2: Blocca gli obiettivi di velocità attuali e futuri
Definire sia la prima fase che quella successiva. Se un pod produce 400G oggi e 800G l’anno prossimo, l’impianto di fibra deve essere dimensionato per 800G adesso. Oltre questo orizzonte, il lavoro su Ethernet di classe terabit- è già in corso: ilLa task force IEEE P802.3dj sta definendo il funzionamento a 200G, 400G, 800G e 1,6 Tb/s utilizzando la segnalazione a 200 Gb/s-per-lane. Sapere dove sta andando la tabella di marcia ti dice quanta quantità di fibre e capacità di percorso riservare.
Passaggio 3: selezionare supporti e connettori con margine
La domanda OS2-rispetto a-OM4 è principalmente una domanda sulla copertura. OM4 va bene per collegamenti foglia-dorso inferiori a-100 m, ma la portata si riduce con l'aumentare della velocità, quindi una volta che i collegamenti attraversano file o corridoi, o quando si desidera un headroom DR/FR di 800G, OS2 monomodale è la base più sicura. Revisionando illimiti di distanza di OM1 tramite fibra multimodale OM5rende concreto il compromesso-. Abbina la base MPO (12 contro 16) alla mappa della fibra ottica e pianifica la polarità in anticipo; per i pannelli ad alta-densità questoGuida alla selezione MTP vs MPOcopre le differenze che contano. Laddove la velocità del ricetrasmettitore e della porta non sono allineate, pianificare i breakout (da MPO a LC) anziché improvvisare al momento dell'installazione.
Passaggio 4: pianificare insieme la densità del rack, i percorsi e il flusso d'aria
In un ambiente AI ad alta-densità, il layout del rack, l'instradamento dei cavi e il raffreddamento rappresentano una decisione, non tre. Prima dell'installazione, contare il numero di cavi che entrano ed escono da ciascun rack, decidere dove posizionare i pannelli di connessione, pianificare il gioco e verificare che un tecnico possa raggiungere e sostituire una porta senza disturbare i collegamenti attivi. Lasciare spazio di crescita nei vassoi e riempire i rapporti. Un rack che sembra pulito al momento della messa in servizio diventa inutilizzabile dopo due cicli di aggiornamento se i percorsi sono stati esauriti il primo giorno.
Passaggio 5: testare, documentare e mantenere le specifiche
Testare ogni collegamento rispettando le specifiche del progetto, che per la-fibra ad alta velocità significa test di perdita di inserzione-, OTDR ove appropriato, verifica della polarità e ispezione delle terminazioni. Documenta ogni porta, trunk, cassetta e percorso, inclusi lo schema di polarità, la lunghezza e la perdita misurata, con etichette che corrispondono ai disegni as-costruiti. La manutenzione diventa quindi routine: pulizia delle terminazioni, audit periodici e controllo delle etichette e delle modifiche. Suono successivopratica di installazione di cavi in fibra otticaper tirare la tensione e il raggio di curvatura protegge il budget di perdita che hai testato.
Cosa preparare prima di una migrazione a 400G o 800G
Le migrazioni falliscono più spesso sul livello fisico che su quello ottico. Prima di tagliare, procedi come segue:
- Confermare il tipo e il numero di fibre e verificare che l'OM4 esistente raggiunga ancora la velocità target, poiché la distanza supportata diminuisce all'aumentare della velocità della linea.
- Verificare che la base del connettore corrisponda alla nuova ottica (MPO-12 rispetto a MPO-16) e che lo schema di polarità sia ancora valido da un'estremità all'altra.
- Ricalcola il budget per la perdita di collegamenti per PAM4, quindi riduci il conteggio delle connessioni dove puoi e -ispeziona nuovamente ogni endface.
- Confermare il percorso e la capacità del vassoio per il cablaggio aggiunto e verificare l'altezza termica del rack per ottiche a potenza maggiore-.
- Cassette sceniche, bauli, etichette e un piano di test in anticipo in modo che il cutover sia uno swap-in, non un re-pull.
Errori comuni da evitare
Dimensionamento solo per la larghezza di banda odierna.Un impianto costruito per le velocità attuali risale rapidamente. Costruisci un percorso realistico verso una maggiore velocità e una maggiore densità di porte.
Trattare la gestione dei cavi come un cosmetico.Un cablaggio ordinato è utile, ma la gestione riguarda in realtà il flusso d'aria, l'accesso e l'isolamento dei guasti, non l'aspetto.
Sacrificare l'accesso per la manutenzione a favore della densità.L'alta-densità non è "il più compatta possibile". Se un tecnico non è in grado di tracciare e sostituire in sicurezza una connessione, la progettazione ti costerà durante le operazioni reali.
Acquistare componenti isolatamente.Cavi, connettori, pannelli, ricetrasmettitori, rack e percorsi formano un canale. Una parte che sembra economica di per sé può ricoprire l'intero tessuto quando si squama.
Elenco di controllo per la preparazione del cablaggio AI-Ready
Elaborateli prima di ridimensionare le GPU. Ogni elemento ha una condizione concreta di superamento, non un vago sì o no.
- Margine di velocità:La fibra installata può supportare almeno un salto di velocità (ad esempio da 400 G a 800 G) senza ri-tirare e il numero di fibre è dimensionato in base alla mappa delle corsie dell'ottica (otto o sedici fibre)?
- Bilancio delle perdite:Ciascun canale ad alta-velocità rientra nel suo limite di perdita di inserzione-PAM4, con conteggio delle connessioni e ispezione delle terminazioni verificati?
- Densità rispetto al servizio:Un tecnico può raggiungere, tracciare e sostituire qualsiasi porta senza disturbare una rotaia in tensione?
- Flusso d'aria:I percorsi mantengono liberi lo scarico posteriore e il contenimento del corridoio e l'alimentazione e i dati sono separati?
- Documentazione:Ogni collegamento viene testato e registrato con lo schema di polarità, la lunghezza e la perdita ed etichettato per corrispondere ai disegni-costruiti?
- Scala:La topologia ottimizzata foglia-dorsale e binario-si estende al pod successivo senza una riprogettazione?
- Adattamento dei media:Il mezzo di ciascun collegamento viene scelto in base a portata, velocità, impatto termico e funzionalità, con DAC in-rack e OS2 nei vari padiglioni?
Se più risposte sono no, riprogettare il livello fisico prima che i carichi di lavoro dell'intelligenza artificiale vengano scalati, non dopo la prima espansione.
Domande frequenti
D: Di quali cavi hanno bisogno le reti AI 400G e 800G?
R: Funzionano con ottica parallela su fibra MTP/MPO. Un collegamento 400G-DR4 utilizza otto fibre, comunemente una MPO-12, mentre 800G-SR8 o 800G-DR8 utilizza sedici fibre, spesso una MPO-16 con APC. OM4 o OM5 coprono una portata breve, OS2 copre una portata più lunga e il DAC passivo gestisce i salti in rack più brevi. Le interfacce stesse sono definite in IEEE 802.3df.
D: La fibra mono-modale o multimodale è migliore per i data center AI?
R: Dipende dalla distanza. L'OM4 o OM5 multimodale è-economico per i collegamenti foglia-dorsale inferiori a circa 100 m, ma la distanza supportata si riduce a 800G. OS2 in modalità singola- è la base migliore quando si collegano file o padiglioni incrociati oppure quando si desidera una copertura DR/FR di 800G e un margine di crescita futuro di 1,6T. Per questo motivo molti tessuti di grandi dimensioni si standardizzano su OS2.
D: Quando un data center AI dovrebbe utilizzare DAC, AOC o ricetrasmettitori ottici?
R: Utilizzare il DAC passivo per collegamenti fino a circa tre metri all'interno o tra rack adiacenti, dove offre costi, consumi e latenza più bassi. Utilizzare AOC per collegamenti permanenti da pochi metri a circa decine di metri. Utilizza ricetrasmettitori collegabili con fibra strutturata quando è necessario raggiungere, riutilizzare e poter servire il collegamento.
D: Come si calcola il budget per le perdite di cablaggio per i collegamenti ad alta-velocità?
R: Iniziare dal limite di perdita di inserimento del canale- specificato dallo standard del ricetrasmettitore (ad esempio 800GBASE-SR8 o 800GBASE-DR8). Sottrarre l'attenuazione della fibra moltiplicata per la lunghezza, più la perdita di ciascuna coppia di connettori accoppiati, che spesso è di pochi decimi di decibel, più eventuali giunzioni, e mantenere il margine di riserva. I budget PAM4 sono più limitati rispetto ai collegamenti NRZ precedenti, quindi il conteggio delle connessioni e la pulizia delle terminazioni determinano direttamente se un canale passa.
D: In che modo il cablaggio influisce sul raffreddamento nei rack AI-ad alta densità?
R: I fasci di cavi congestionati ostruiscono il flusso d'aria, creano contro-pressione sullo scarico delle apparecchiature e causano ricircolo e punti caldi, il che è importante con densità di rack GPU che possono superare i 100 kW. Percorsi aerei, alimentazione e dati separati, gestori di dimensioni adeguate e percorsi che mantengono liberi lo scarico e il contenimento proteggono il progetto di raffreddamento.
D: Il rame è ancora adatto ai data center AI?
R: Sì, in breve-connessioni rack e adiacenti-rack, dove DAC è la scelta efficiente. L'alta-densità e le corse più lunghe passano alla fibra per larghezza di banda, portata e scalabilità.
D: Perché i connettori MTP/MPO sono comuni nel cablaggio AI?
R: Trasportano da otto a venti-quattro fibre in un singolo puntale, che è esattamente ciò di cui ha bisogno l'ottica parallela, e consentono trunk pre-terminati per installazioni veloci, ripetibili e ad alta-densità.
Punti chiave
I carichi di lavoro dell'intelligenza artificiale stanno riscrivendo i requisiti di cablaggio dei data center in termini di larghezza di banda maggiore, fibra parallela più densa, budget ridotti per le perdite, routing basato sul flusso d'aria-e cicli di aggiornamento brevi. Il livello fisico non renderà le GPU più veloci da solo, ma quello sbagliato limita le prestazioni, l’affidabilità e la velocità di aggiornamento dell’intero ambiente.
Il principio di progettazione più sicuro è pianificare l'impianto della fibra, la capacità del percorso, l'architettura delle patch e il modello di documentazione prima che i rack GPU vengano installati, non dopo il primo ciclo di espansione. Preparati per almeno un salto di velocità, scegli i media in base al ruolo piuttosto che per abitudine e considera la pulizia, la polarità e il flusso d'aria dei connettori come vincoli di progettazione di prima-classe. Prima di implementare o espandere, rivedere il cablaggio attuale rispetto all'elenco di controllo riportato sopra; per il cablaggio strutturato e i componenti MTP/MPO, esplora il nostrosoluzioni in fibra ottica.
