Commutateurs de centre de données de nouvelle génération

Le commutateur que vous choisissez influe sur l'utilisation optimale des GPU et la rapidité d'exécution des tâches. Dans un centre de données dédié à l'IA, les commutateurs doivent acheminer le trafic entre les nœuds GPU à haut débit et en permanence, avec une latence faible et constante. Un maillon faible ralentit les opérations de groupe et immobilise des ressources de calcul coûteuses.Quels éléments doivent guider votre choix lorsque vous choisissez commutateurs de centre de données de nouvelle génération Pour l'IA et les réseaux haute performance ? Il vous faut une comparaison objective des technologies et une liste de contrôle pratique, pas des affirmations de fournisseurs.Ailink vous présentera en détail les performances, l'adéquation à l'application, la conformité et le coût. Vous repartirez avec des arguments solides à présenter à votre équipe et une feuille de route claire pour prendre une décision éclairée.Points clés à retenirAdaptez le commutateur à votre charge de travail d'IA. Les tâches d'entraînement importantes nécessitent une faible latence et une bande passante élevée.Testez les commutateurs avec du trafic IA réel. Demandez le débit, la latence de queue et le temps d'exécution des tâches.Réglez soigneusement le contrôle de la congestion. Cela peut améliorer les performances jusqu'à 40 %.Vérifiez l'efficacité énergétique. Les baies d'IA consomment beaucoup d'énergie, choisissez donc des commutateurs efficaces.Évaluez le coût total. Incluez l'optique, les licences, l'énergie et les compétences du personnel.Comment l'IA remodèle la demande des commutateursCirculation est-ouest et opérations collectivesLes anciens réseaux d'entreprise acheminent principalement du trafic nord-sud, c'est-à-dire des requêtes utilisateur vers serveur. Les clusters d'IA fonctionnent différemment. Ils génèrent un trafic est-ouest massif qui circule latéralement entre les GPU, les serveurs et le stockage, et ce flux latéral constitue l'essentiel du travail d'entraînement des IA.L'entraînement distribué échange en permanence les gradients, les tenseurs, les paramètres du modèle et synchronise les données. Grâce au parallélisme des données, des tenseurs et du pipeline, chaque GPU peut communiquer simultanément avec plusieurs autres. Ceci génère des schémas gourmands en bande passante, tels que All-Reduce, All-Gather, Broadcast et Reduce-Scatter.AspectQue se passe-t-il dans les clusters d'IA ?Sens de circulationLe trafic est-ouest est le flux principal ; le trafic nord-sud est le second.Forme de circulationQuelques écoulements importants et durables plutôt que de nombreux petits.SensibilitéLes collectifs réagissent fortement à la latence, à la perte de paquets, à la congestion, à la gigue et à la sursouscription.Les opérations collectives sont très sensibles à la latence. Même un léger délai de synchronisation immobilise des GPU coûteux ; une faible latence stable est donc plus importante qu'un débit maximal théorique. Les architectures utilisent des schémas spine-leaf, des conceptions non bloquantes ou à faible sursouscription, et le RDMA pour limiter les pics de latence.Limites des conceptions héritéesLes anciens réseaux à architecture feuille-épine étaient conçus pour un trafic nord-sud caractérisé par de nombreux flux courts et intermittents. Les charges de travail d'IA, quant à elles, génèrent un petit nombre de flux massifs et persistants. Chaque accélérateur échange son état avec tous les autres, et le moindre retard sur un chemin bloque l'ensemble du système.C’est la latence de queue, et non la latence moyenne, qui est l’indicateur clé. Les flux étant synchronisés, le paquet le plus lent détermine la fin de l’opération. Les architectures traditionnelles ne sont pas optimisées pour cela. Les bibliothèques d’entraînement d’IA supposent également une absence totale de perte de paquets. Or, la perte d’un seul paquet peut entraîner la retransmission de grands ensembles de données, voire un redémarrage complet à partir d’un point de contrôle.Les techniques statiques de routage à coût égal et d'envoi aléatoire de paquets ne sont plus suffisamment performantes. Les solutions ponctuelles ne permettent plus d'atteindre les niveaux de performance exigés par les charges de travail d'IA, car ces dernières évoluent plus rapidement que les architectures réseau traditionnelles ne s'adaptent. Le marché s'oriente vers une meilleure efficacité énergétique, une réduction du temps passé au sein du réseau et une télémétrie enrichie. L'Ethernet haute performance, basé sur des standards ouverts, avec des interfaces jusqu'à 800 GbE et des systèmes de refroidissement liquide, illustre les tendances actuelles. Ailink suit ces évolutions en toute impartialité.InfiniBand contre Ultra EthernetPerformance, ajustement, conformité, coûtLes deux technologies peuvent transporter du trafic IA à haut débit. Elles diffèrent cependant dans leur approche. InfiniBand utilise une infrastructure dédiée et sans perte avec calcul intégré au réseau. Ethernet avec RoCE s'appuie sur une base de standards ouverts et éprouvés pour le RDMA. Le tableau ci-dessous compare les caractéristiques techniques d'une plateforme InfiniBand représentative.SpécificationCommutateur InfiniBand NVIDIA MQM9790-NS2R Quantum-2 NDRGénérationNDR 400GPorts64 x 400G (32 connecteurs OSFP)Bande passante agrégée51,2 Tbit/s, non bloquantLatence de commutationSub-microsecondInformatique en réseauSHARP v4RefroidissementLiquide (QM9790) ; air sur QM9700Puissance typique~800–1 200 WConformitéSpécification IBTA v1.5Prix ​​affiché30 000,00 $des options Ethernet comme le Commutateur central Dell Networking série 9700 Les commutateurs compatibles RoCE, comme d'autres, misent sur l'ouverture et la simplicité d'utilisation. Ils utilisent des outils Ethernet standard et s'intègrent aux environnements multi-fournisseurs. Les procédures de conformité diffèrent également : InfiniBand suit la norme IBTA v1.5, tandis qu'Ethernet est conforme aux normes IEEE et RoCE que votre équipe connaît probablement déjà.Le coût ne se limite pas au prix catalogue. Le commutateur NVIDIA est plus cher, et son gestionnaire de sous-réseau ainsi que les outils UFM engendrent des coûts supplémentaires en termes de licences et de compétences. Les commutateurs Ethernet coûtent souvent moins cher par port et permettent de réutiliser les connaissances du personnel existant. La consommation électrique est également un facteur important. Un commutateur Quantum-2 refroidi par air, entièrement équipé, consomme généralement entre 800 et 1 200 watts, selon les optiques et la charge du trafic. Comparez cette valeur à votre budget d'alimentation avant de vous engager.Où chacun trouve sa place le mieuxLes benchmarks révèlent une situation plus nuancée. Lors de l'entraînement MLPerf pour BERT-Large, Ethernet a terminé en 10 886 secondes contre 10 951 secondes pour InfiniBand, soit un léger avantage pour Ethernet. Lors de l'inférence MLPerf pour LLAMA2-70B-99.9, InfiniBand s'est avéré 1,66 % plus rapide. Sur plusieurs tests d'IA générative, les deux technologies ont affiché des performances quasi identiques, avec un écart inférieur à 0,03 %. La vitesse brute ne suffit que rarement à elle seule pour départager les deux solutions.La nature de la charge de travail est déterminante. L'entraînement parallèle synchrone à grande échelle, avec 8 GPU ou plus et des dizaines de milliards de paramètres, tire pleinement parti de la faible latence et de la bande passante élevée d'InfiniBand. FSDP, ZeRO-3 et le parallélisme tensoriel en bénéficient également, car les regroupements fréquents et précis réagissent fortement aux délais. Pour les modèles de 70 milliards d'éléments ou plus avec des tailles de lots globales importantes, la bande passante d'interconnexion devient cruciale.L'Ethernet convient parfaitement à de nombreux autres cas. Le parallélisme de pipeline permet de gérer un trafic d'activation point à point plus faible et tolère la latence. L'entraînement asynchrone ne présente aucune contrainte de synchronisation. Les petites configurations de 2 à 4 GPU s'appuient sur NVLink au sein du nœud. Le service d'inférence n'a quasiment jamais besoin d'InfiniBand, car NVLink gère le trafic intra-nœud et l'Ethernet haut débit assure les liaisons inter-nœuds.InfiniBand est privilégié pour les charges de travail HPC étroitement couplées exigeant une latence inférieure à 5 microsecondes et le calcul en réseau, où l'infrastructure est dédiée à un seul utilisateur et à un seul type de charge de travail. L'Ethernet moderne, avec une architecture adaptée, constitue une alternative crédible pour les environnements mutualisés, les charges de travail mixtes ou les organisations souhaitant s'affranchir de la dépendance vis-à-vis d'un fournisseur.Aucune des deux options n'est mauvaise. Choisissez une infrastructure adaptée à votre charge de travail, aux compétences de votre équipe et à votre budget. Ailink vous aide à évaluer les deux solutions pour vos commutateurs de centre de données nouvelle génération sans privilégier un fournisseur en particulier.Fonctionnalités importantes des commutateurs de nouvelle générationContrôle de la bande passante, de la latence et de la congestionLes débits des ports atteignent désormais 800 GbE, et les ports haute densité 100G, 200G et 400G répondent aux besoins actuels en bande passante des GPU. La vitesse brute n'est que le point de départ. Quatre capacités déterminent si votre infrastructure peut suivre le rythme des accélérateurs.CapacitéCe qu'il faut rechercherPourquoi c'est importantBande passante et densité de portsPorts 100G, 200G, 400G et nouveau 800GRépond aux besoins en bande passante des collectifs de formation distribuéeLatenceLatence stable et faible entre les ports, aucune gigue sous chargeEmpêche les retardataires dans les collectifs synchronesMise en mémoire tamponTampons profonds et partagés dynamiquementAbsorbe les micro-rafales et projette sans gouttesContrôle de la congestionRoCEv2 avec DCQCN, marquage ECN, PFC sous 802.1QbbGarantit un transport RoCE sans perte et un débit constantLe contrôle de la congestion mérite une attention particulière. DCQCN permet aux cartes réseau de réagir aux marquages ​​ECN, et ECN marque les paquets avant qu'un commutateur ne les abandonne. PFC suspend certaines priorités de classe de service (CoS) afin de protéger le trafic RoCE sans perte. OCI a construit un réseau RoCE évolutif jusqu'à des milliers de nœuds et a défini au moins trois profils de contrôle de la congestion pour les charges de travail sensibles à la latence, au débit et mixtes. Le PFC est appliqué unidirectionnellement en périphérie, entre les hôtes et les commutateurs ToR (Top-of-Rack), jamais au niveau des commutateurs Leaf ou Spine, ce qui évite le blocage en tête de file. ECN permet de limiter le recours au PFC, qui n'est utilisé qu'en dernier ressort. Les petits clusters peuvent exécuter RoCE sans configuration PFC ni ECN sur les commutateurs.Sans mesures d'atténuation, la répartition inégale du trafic et la congestion de la liaison montante ont réduit les performances d'entraînement de plus de 30 % lors d'un déploiement. Le hachage sur le QP de destination via une UDF de commutation, combiné à la mise à l'échelle du QP, a permis d'améliorer les performances d'AllReduce jusqu'à 40 %. L'admission pilotée par le récepteur, où la bibliothèque collective et le transport échangent des paquets d'autorisation d'envoi, limite encore davantage le trafic en transit.Évolutivité, programmabilité, télémétrieConsidérez l'évolutivité, la programmabilité et la télémétrie comme des critères de sélection, et non comme des options. Demandez-vous comment l'infrastructure peut s'étendre au-delà de plusieurs milliers de nœuds, si le commutateur expose la télémétrie au niveau du flux et quel niveau de configuration votre équipe doit gérer. La continuité opérationnelle est également essentielle. Les commutateurs Dell basés sur OS10 conservent une interface de ligne de commande familière pour les équipes qui y sont attachées, et le commutateur central Dell Networking série 9700 s'intègre parfaitement aux environnements standardisés sur cet outil.Choisissez les commutateurs de centre de données de nouvelle génération en fonction de ces critères, puis testez-les avec votre propre trafic avant de vous engager.Ce que révèlent les tests en conditions réellesDonnées de référence issues des tissus d'IAAvant de signer, demandez des chiffres concrets : débit, latence de queue et temps d’exécution des tâches, mesurés sur des infrastructures exécutant du trafic IA réel. Ces données figurent rarement dans les fiches techniques. Demandez-les à votre fournisseur et à Ailink.Les résultats publiés sont encourageants pour les deux architectures. Meta a déployé deux clusters d'IA jumeaux, l'un sur InfiniBand et l'autre sur Ethernet Arista, pour son déploiement Llama 3. Meta n'a signalé aucun goulot d'étranglement réseau sur aucune des deux architectures. Meta a également partagé les détails techniques d'un cluster RoCE de 24 000 GPU. Dans ce cas, RoCE et InfiniBand ont été optimisés pour offrir des performances équivalentes, et les modèles les plus volumineux ont été entraînés sur l'architecture RoCE. Lors des tests NCCL, RoCE Ethernet égale InfiniBand en termes de bande passante de communication globale. Les tests en laboratoire de type MLPerf montrent désormais des différences de temps d'exécution de seulement une fraction de pour cent.La latence de queue reste un facteur de différenciation majeur. Le contrôle de flux basé sur le crédit d'InfiniBand élimine les pertes et garantit une stabilité optimale, même dans le pire des cas. Un réseau Ethernet optimisé pour l'IA offre des performances similaires, mais une configuration PFC mal paramétrée peut entraîner un blocage en tête de file ou un interblocage. Le supercalculateur Colossus de xAI a interconnecté 100 000 GPU NVIDIA Hopper via un réseau Ethernet Spectrum-X. Il a atteint un débit de données de 95 % grâce à un contrôle de congestion adapté aux pics d'activité liés à l'entraînement de l'IA. À la même échelle, un réseau Ethernet traditionnel plafonne à environ 60 % de son débit maximal en raison de milliers de collisions de flux.Leçons tirées des clusters déployésLes clusters déjà utilisés permettent de tirer des enseignements sur le choix de l'outil adapté à la tâche. Une équipe dispensant une formation synchrone étroitement intégrée sur le Commutateur InfiniBand NVIDIA MQM9790-NS2R Quantum-2 NDR Bénéficie d'une latence de queue stable et d'une capacité de calcul en réseau. Une équipe qui standardise son infrastructure Ethernet ouverte avec le commutateur central Dell Networking série 9700 profite d'opérations familières et d'une grande flexibilité, quel que soit le fournisseur.Le choix de la puce et de l'équilibrage de charge influe également sur le temps d'exécution des tâches. La puce Broadcom Jericho3-AI a réduit ce temps de plus de 10 % par rapport aux puces concurrentes. L'Arista 7800R4 HyperPort, qui combine 4 x 800 Gbit/s en 3,2 Tbit/s, a quant à lui diminué le temps d'exécution de 44 % par rapport à un équilibrage de charge traditionnel sur des ports distincts. Ces résultats doivent inciter à des tests, et non constituer une conclusion définitive. Lors du choix de commutateurs de centre de données de nouvelle génération, il est recommandé de les tester sur votre propre infrastructure.Comment choisir les commutateurs de centre de données de nouvelle générationÉlaboration de la liste de contrôle d'évaluationUne bonne liste de contrôle permet de transformer une comparaison vague en une décision justifiable. Évaluez chaque candidat selon six critères et pondérez chaque critère en fonction de votre contexte. Le tableau ci-dessous explique pourquoi les installations dédiées à l'IA nécessitent des réponses différentes de celles des salles de conférence traditionnelles.Domaine de critèresCentre de données traditionnelCentre de données IAAdaptation de la charge de travailCharges de travail stables et prévisiblesCharges de travail dynamiques, irrégulières et gourmandes en donnéesdensité de puissance du rack7–10 kW/rack30 kW à plus de 100 kW/rackRefroidissementRefroidissement principalement par airRefroidissement liquide ou hybrideRéseautageEthernet standardInterconnexions à très haut débit et à faible latenceCommencez par évaluer l'adéquation à la charge de travail. Assurez-vous que le commutateur maintient un débit élevé et une faible latence sur de nombreux nœuds GPU, et qu'il gère correctement le trafic est-ouest. Ensuite, testez ses performances en conditions réelles de trafic IA, et non lors de pics de trafic en laboratoire. Enfin, vérifiez la conformité pour chaque région de déploiement : une présence mondiale garantit la cohérence des conceptions de produits et accélère le déploiement.L'efficacité énergétique mérite une attention particulière. Les baies d'IA haute densité consomment désormais entre 30 kW et plus de 100 kW, tandis que le contrôleur NVIDIA GB200 NVL36 consomme environ 66 kW et le NVL72 environ 120 kW. Les modules OSFP 800G modernes offrent un coût par gigabit inférieur d'environ 40 % aux générations précédentes et une économie d'énergie d'environ 50 % grâce à des technologies DSP et de modulation avancées. Il est essentiel d'intégrer la télémétrie comme critère d'évaluation. Un suivi en temps réel de la consommation énergétique et des charges de l'infrastructure permet d'éviter les interruptions de service, et les modèles d'apprentissage automatique peuvent détecter une baisse de la capacité de refroidissement ou une dégradation du signal fibre avant toute panne. Enfin, il convient de prendre en compte le coût total, incluant l'optique, les licences, la consommation d'énergie et les compétences du personnel.Validation avec AilinkUne liste de contrôle permet de réduire le nombre de candidats. Les tests permettent de trancher. Ailink aide votre équipe à valider les commutateurs de centre de données nouvelle génération avec vos propres charges de travail d'IA avant tout engagement. Vous fournissez vos profils de trafic, vos modèles d'utilisation et votre budget énergétique. Ailink élabore le plan de test en conséquence.Le processus suit un cheminement clair. Premièrement, vous définissez les charges de travail essentielles, de l'entraînement synchrone au traitement des résultats d'inférence. Deuxièmement, Ailink effectue des tests de débit, de latence et de temps d'exécution des tâches sur les infrastructures candidates. Troisièmement, vous analysez les données de télémétrie et la consommation électrique sous charge soutenue. Quatrièmement, vous comparez le coût total du déploiement complet.Cette approche vous permet de choisir des commutateurs de centre de données de nouvelle génération en vous basant sur des données concrètes plutôt que sur des arguments marketing. Ainsi, votre équipe peut consulter les chiffres avant de passer commande. Ailink propose toutes les options comparées ici ; nos recommandations restent donc impartiales et les résultats des tests sont éloquents.Cinq critères doivent guider votre choix : l’adéquation à votre charge de travail, la vitesse réelle en cas de forte demande liée à l’IA, la conformité, l’efficacité énergétique et le coût total. En les considérant tous ensemble, aucune fiche technique ne pourra vous convaincre à elle seule.Appliquez la liste de contrôle à chaque candidat. Demandez des données de référence provenant de plateformes exécutant du trafic d'IA réel. Ensuite, travaillez avec Ailink Il est important de tester vos options en fonction de vos propres charges de travail avant de vous engager. Ces données vous permettent de choisir des commutateurs de centre de données de nouvelle génération en toute confiance, et votre équipe comprendra les chiffres qui sous-tendent cette décision.FAQQuel tissu choisir pour une formation synchrone à grande échelle ?InfiniBand est idéal pour les formations étroitement couplées. Son contrôle de flux basé sur les crédits maintient une latence stable, et le calcul en réseau accélère les tâches collectives. L'Ethernet avec RoCE fonctionne également très bien, une fois le contrôle de congestion optimisé. Choisissez la technologie la plus adaptée à votre charge de travail, aux compétences de votre équipe et à votre budget avant de faire votre choix.Dans quelle mesure le contrôle de la congestion change-t-il réellement les résultats ?Cela les modifie considérablement. Un déploiement a perdu plus de 30 % de ses performances d'entraînement en raison d'un trafic irrégulier et d'une congestion de la liaison montante. Le hachage sur la file d'attente de destination avec mise à l'échelle des files d'attente a permis de récupérer jusqu'à 40 % pour AllReduce. Optimisez l'ECN et le PFC avec soin et effectuez des tests avec votre propre trafic, même en cas de pics.Avez-vous besoin de ports 800 GbE aujourd'hui ?Pas toujours. Les ports haute densité 100G, 200G et 400G répondent à la plupart des besoins actuels des GPU. Optez pour le 800 GbE lorsque votre feuille de route l'exige. Les modules OSFP 800G modernes réduisent le coût par gigabit d'environ 40 % et la consommation d'énergie d'environ 50 %, ce qui rend la migration rentable à long terme.Comment comparer équitablement les fournisseurs ?Évaluez chaque candidat selon l'adéquation à la charge de travail, les performances réelles, la conformité, l'efficacité énergétique, la télémétrie et le coût total. Demandez le débit, la latence de queue et le temps d'exécution des tâches sur des infrastructures d'IA en production. Ensuite, laissez Ailink tester la liste restreinte avec vos propres profils de trafic avant de vous engager.Quel rôle joue le pouvoir dans cette décision ?Un point important. Les racks d'IA consomment désormais entre 30 kW et plus de 100 kW, et une carte graphique NVIDIA GB200 NVL72 consomme environ 120 kW. Un commutateur Quantum-2 refroidi par air, à pleine charge, consomme entre 800 et 1 200 watts. Vérifiez dès le départ l'adéquation de ces chiffres avec la puissance et le budget de refroidissement de votre rack.