手把手教你搭建10万卡GPU集群

序论

建设10万卡集群的必要性无庸赘述，现时AI公司第一梯队的门票仍是是3.2万卡集群。展望来岁，这一数字将上涨至10万卡(H100)集群，提高空间巨大。

由10万张H100组成的AI集群，其功耗高达150MW,投资越过40亿好意思元(约300亿东谈主民币)。每年耗能约为$1.59\times10^9$千瓦时。按照0.078好意思元/kWh的费率诡计，每年电费高达1.24亿好意思元。这一数字令东谈主瞠目，足以激励对动力滥用和资本效益的深远想考。

挑战

（1）动力跟空间挑战

算力瓶颈的背后，有着“动力”和“工程本事”这两座大山。

"10万块H100组成的集群，功率需求高达150MW,超过了当今宇宙最大的超等诡计机El Capitan的30MW,后者的功率仅为前者的五分之一。"

在H100 Server里面，每块GPU的独建功耗约为700W。为知足其运行需求，轻便需要575W的电源来驱动与之配套的CPU、网罗接口卡(NIC)和电源单位(PSU)。

H100 Server外部，AI集群还囊括了存储功绩器、网罗交换机、光收发器等许多其他设备，约占总功耗的10%。

X.AI 将田纳西州孟菲斯市的一家旧工场改换成了数据中心，每天滥用100万加仑水和150兆瓦电力。当今宇宙上还莫得任何一座数据中心有本事部署150MW的AI集群 。

这些AI集群通过光通讯进行互联，而光通讯的资本与传输距离成正比。

多模 SR 和 AOC收发器的最长传输距离约为50米。

在数据中心的宇宙中，每栋大楼王人被嘉赞为一个“诡计岛”。这些岛屿里面充满了多个“诡计仓”，它们之间的聚拢是通过经济实用的铜缆或者多模互联完毕的。而为了完毕这些岛屿之间的联通，咱们遴荐长距离的单模光通讯时候。这种形势不仅高效，况兼大约确保数据的认识传输，从而知足当代数据中心对高性能和可靠性的需求。

由于数据并行相对的通讯量比较少，因此，不错跑在不同 诡计岛之间：

当今，这个领有10万+节点的集群中，已有3栋建筑(3个诡计岛)完工，每座诡计岛容纳约1000-1100个机柜，总功耗约为50MW。

（2） 网罗架构及并行战略

数据并行（Data Parallelism）

这种并行形势的通讯条件最低，因为GPU之间只需要传递梯度数据。

但是，数据并行条件每块GPU具备充足的内存以存储通盘模子的权重。关于领有1.8万亿参数的GPT-4模子而言，这意味着高达10.8TB的内存需求。

张量并行（Tensor Parallelism）

为了克服数据并行带来的内存收尾，东谈主们发明了张量并行时候。

在张量并行中，GPU之间需要频频通讯，以交换中间诡计收尾，从而完毕更高效的诡计。因此，张量并行需要高带宽和低蔓延的网罗聚拢。通过张量并行，不错有用减少每块GPU的内存条件。例如，使用8个张量并行等第进行NVLink聚拢时，每块GPU使用的内存不错减少8倍。

活水线并行（Pipeline Parallelism）

另一个克服GPU内存收尾的顺次是活水线并行时候。

活水线并行是一种在散播式诡计环境中完毕模子并行的时候，主要用于深度学习鸿沟，相当是在处理大范围神经网罗模子时。通过将模子的不同部分(如神经网罗的层)分拨到不同的诡计节点上，活水线并行大约在不罢休历炼就果的情况下，附近集群中的多台机器共同完成模子历练 。

当一块GPU完成层的前向、反向传播运算后，它不错将中间收尾传递给下一块GPU,以便立即脱手诡计下一个数据批次。这么不错提高诡计成果，裁汰历练时候。尽管引入了GPU之间的通讯量，但每个GPU在完成诡计后需将数据传递给下一个GPU,因此需要高效的网罗聚拢以确保数据快速传输。

活水线并行对通讯量的条件很高，但莫得张量并行那么高。

3D并行（3D Parallelism）

遴荐H100 Server内的GPU张量并行，诡计岛内节点活水线并行，跨诡计岛完毕数据并行，提高成果。

网罗架构

进行网罗拓扑想象时需要同期计划到所用的并行化有筹办。

GPU部署有多种网罗，包括前端网罗、后端网罗和蔓延网罗(NVLink),每个网罗中运行不同的并行有筹办。

NVLink网罗是处理张量并行带宽需求的惟一快速弃取。尽管后端网罗能冒失冒失大多数其他类型的并行，但在存在抑止比问题时，数据并行成为首选。

现时建设10万张H100的超等AI算力集群，不错弃取的网罗有筹办主要有三种，分袂是Broadcom Tomahawk 5,Nvidia Infiniband,以及Nvidia Spectrum-X。在大型AI集群中，Spectrum-X比较InfiniBand具有显耀上风，包括性能、功耗和资本 。其中，Spectrum-X是NVIDIA推出的高性能以太网交换芯片平台，仅用于Spectrum-X平台，不只独销售。这三种有筹办各有优劣，具体弃取需要把柄本色需求进行评估。要是您需要更多信息，请参考关系文件或接头专科东谈主士。

InfiniBand

InfiniBand的上风在于，以太网并不支柱SHARP网罗内缩减。

InfiniBand NDR Quantum-2交换机领有64个400G端口，相较之下，Spectrum-X以太网的SN5600交换机和Broadcom的Tomahawk 5交换机ASIC均提供128个400G端口，提供了更高的端口密度和性能。

"Quantum-2交换机端口有限，10万节点集群中最多只可完毕65,536个H100 GPU的实足互联。"

下一代InfiniBand交换机Quantum-X800将通过144个800G端口科罚容量问题，但仅适用于NVL72和NVL36系统，因此不太可能在B200或B100集群中平庸应用。

Spectrum-X

Spectrum-X,成绩于NVIDIA库如NCCL的一级支柱，为您带来无与伦比的上风。加入他们的新产物线，您将成为首批客户，体验前所未有的翻新。

Spectrum-X需搭配Nvidia LinkX收发器购买，因为其他收发器可能无法浮浅职责或未通过考据。

英伟达在400G Spectrum-X中，遴荐Bluefield-3替代了ConnectX-7行为暂时的科罚有筹办，而ConnectX-8展望将与800G Spectrum-X完整协同。

在遍及的数据中心中，Bluefield-3和ConnectX-7的资天职别为约300好意思元/ASP,但Bluefield-3需额外滥用50瓦电力。因此，每个节点需加多400瓦功率，从而斥责了举座历练功绩器的每皮焦尔智能度。

Spectrum-X在数据中心部署10万个GPU需5MW功率，相较之下，Broadcom Tomahawk 5无需此功率。

为了幸免给英伟达支付昂贵的用度，许多客户弃取部署基于Broadcom Tomahawk 5的交换机。这款芯片大约以5.5W的功率为800Gbps的流量供电，减少了将信号驱动到交换机前端的可插拔光学器件的需要。此外，Broadcom周二推出了该公司最新的交换芯片Tomahawk 5,大约在端点之间互连共计每秒51.2太比特的带宽。

基于Tomahawk 5的交换机与Spectrum-X SN5600交换机相通具备128个400G端口，若公司领有不凡的网罗工程师，可完毕等同性能。此外，您可从任何供应商购打通用收发器及铜缆并进行搀和使用。

浩荡客户弃取与ODM厂商勾通，如Celestica的交换机、Innolight和Eoptolink的收发器等。

"把柄交换机和通用收发器的资本计划，Tomahawk 5在价钱上大大优于Nvidia InfiniBand。况兼，与Nvidia Spectrum-X比较，它更具资本效益。"

缺憾的是，要为Tomahawk 5修补和优化NCCL通讯集群，您需要具备塌实的工程手段。固然，NCCL开箱即用，但其仅针对Nvidia Spectrum-X和Nvidia InfiniBand进行了优化。

要是你有40亿好意思元用于10万个集群，那么你应该也有实足的工程本事来修补NCCL并进行优化。软件开发充满挑战，但是Semianalysis预测，超大范围数据中心将转向其他优化有筹办，遗弃InfiniBand。

轨谈优化

为了提高网罗珍视性和延长铜缆(<3米)及多模(<50米)网罗的使用寿命，部分客户弃取遗弃英伟达保举的轨谈优化想象(rail optimized design),转向遴荐中间架想象(Middle of Rack design)。

"轨谈优化时候，让每台H100功绩器与八个独处的叶交换机建立聚拢，而非集聚在兼并机架。这种想象让每个GPU仅需一次跳转就能与更远的GPU进行通讯，从而大幅提高全对全集体通讯性能。"

比如在搀和众人（MoE）并行中，就多数使用了全对全集体通讯。

在兼并机架内，交换机可遴荐无源直连电缆(DAC)和有源电缆(AEC)。但在轨谈优化想象中，若交换机位置不同，需借助光学器件完毕聚拢。

此外，叶交换机到骨架交换机的距离可能大于50米，因此必须使用单模光收发器。

通过非轨谈优化想象，您不错用低价的直连铜缆替换聚拢GPU和叶交换机的98304个光纤收发器，从而使您的GPU链路中铜缆占比提高至25-33%。

DAC铜缆在运行温度、耗电和资本方面相较于光缆具有显耀上风，同期可靠性更高。这种想象有用斥责了网罗链路间歇性瘫痪和故障，是高速互连鸿沟光学器件所面对的主要挑战的要津科罚有筹办。

Quantum-2IB骨架交换机在遴荐DAC铜缆时，功耗为747瓦；若使用多模光纤收发器，功耗将升至1500瓦。

驱动布线对数据中心时候东谈主员来说耗时巨大，每条链路两头距离50米且不在兼并机架，轨谈优化想象助力提高成果。

在中间机架想象中，叶交换机与通盘聚拢的GPU分享兼并机架。致使在想象完成前，就不错在集成工场测试诡计节点到叶交换机的链路，因为通盘链路王人在兼并机架内。

组网例如

如图所示，这是常见的三层Fat-Tree拓扑(SuperSpine-Spine-Leaf),其中两个Spine-Leaf组成一个Pod。

Spine Switch 和 SuperSpine Switch 需要聚拢，因此相应 Group 的数量要减半。一个 Pod 有 64 个 Spine Switch,对应 8 个 Group。因此，一个 Pod 有 64 个 Leaf Switch。有了多个 Pod，不错进一步构建 64 个 SuperSpine Fabric，每一个 Fabric 要与不同 Pod 中的 Spine Switch 完毕全互联。这里以 8 个 Pod 为例，将 8 个 Pod 里的第 i 个 Spine Switch 与 Fabric i 中的 SuperSpine Switch 完毕 Full Mesh，这里有 8 个 Pod，因此一个 Fabric 中只需要 4 个 128 Port 的 SuperSpine Switch 即可。以上竖立 8 个 Pod 对应：总的 GPU：4096*8=32768SuperSpine Switch：64*4=256Spine Switch：64*8=512Leaf Switch：64*8=512总的 Switch：256+512+512=1280总的光模块数：1280*128+32768=196608本色上表面最多不错支柱 128 个 Pod，对应的设备数为：GPU：4096*128=524288=2*(128/2)^3SuperSpine Switch：64*64=4096=(128/2)^2Spine Switch：64*128=8192=2*(128/2)^2Leaf Switch：64*128=8192=2*(128/2)^2优化后的著述：Switch性能分析：$4096+8192+8192$ =20480,特等于$5\times(128/2)^2$.

万卡集群递次蔓延3个雷同的pod即可。

（3）可靠性与回话

同步模子历练导致巨型集群的可靠性成问题。常见问题包括GPU HBM ECC失实、GPU驱动卡死、光纤收发器故障和网卡过热等。

为了裁汰故障回话时候，数据中心需竖立热备与冷备设备。在发生问题时，最恋战略是附近备用节点陆续历练，而非径直中断。

数据中心时候东谈主员可在数小时内诱骗受损GPU功绩器，但在某些情况下，节点可能需数日方可从头参加使用。

在历练模子流程中，为了幸免HBM ECC等失实，咱们需要如期将检查点存储到CPU内存或SSD捏久化存储。一朝出现失实，从头加载模子和优化器权重并陆续历练是必不成少的。

容错历练时候可用于提供用户级应用驱动顺次，以处理GPU和网罗故障。

缺憾的是，频频备份检查点和容错历练时候可能导致系统举座MFU受损。集群需接续暂停以保存权重至捏久存储或CPU内存。

每100次迭代仅保存一次检查点，可能导致要紧耗费。以一个领有10万卡的集群为例，若每次迭代耗时2秒，那么在第99次迭代失败时，可能耗费高达229个GPU日的职责。

另一种故障回话战略是附近备用节点通事后端结构从其他GPU进行RDMA复制。这种顺次具有高效性，后端GPU的速率高达400Gbps,每个GPU还配备了80GB的HBM内存，因此复制流程仅需约1.6秒。

通过此战略，最多耗费1个智商(因为更多GPU HBM将得到权重更新),从而在2.3个GPU日的诡计时候内完成，再加上从其他GPU HBM内存RDMA复制权重所需的1.85个GPU日。

浩荡顶尖AI实际室已遴荐此时候，然许多微型公司仍谨守繁琐、慢慢且低效的形势——重启处理以回话故障。借助内存重构完毕故障回话，可大幅提高大型历练运行的MFU成果，节俭数个百分点的时候。

在网罗故障鸿沟，Infiniband/RoCE链路故障是最常见的问题。尽管收发器数量较多，但在全新且浮浅运行的集群中，第一次功课故障仅需26.28分钟，即使每个网卡到最底层交换机链路的平均故障率为5年。

在10万卡GPU集群中，光纤故障导致从头启动运行所需时候远超模子诡计，未经内存重建的故障回话战略将影响成果。

由于GPU与ConnectX-7网卡径直联贯，网罗架构无容错想象，导致故障需在用户历练代码中科罚，从而加多代码库复杂性。

大说话模子(LLM)在节点内使用张量并行，要是一个网卡、一个收发器或一个GPU故障，通盘功绩器就会宕机。 由于该战略波及的网罗通讯量较大，需要附近功绩器里面的不同诡计设备之间进行高速通讯带宽。

当今，有好多职责正在进行，以使网罗可重竖立，减少节点的脆弱性。这项职责至关垂危，因为近况意味着通盘GB200 NVL72仅因一个GPU或光学故障就会宕机。 RAS引擎通过深远分析诸如温度、ECC重试次数、时钟速率和电压等要津芯片级数据，准确预测潜在故障并实时示知数据中心工程师，确保系统率悟运行。

"此举使时候团队能主动珍视，如提高电扇速率以保认识，并在珍视窗口期将功绩器除掉运行队伍进行深远检查。"

在历练任务脱手前，每颗芯片的RAS引擎将进行全面自检，例如引申已知收尾的矩阵乘法以侦测静默数据损坏(SDC)。

（4）物料清单

具体来说，不错分为四种（原文中是7：1，本色上应该是8：1？）：

"刚劲的4层InfiniBand网罗，领有32,768个GPU集群，轨谈优化时候，完毕7:1抑止速率提高。"

Spectrum X网罗是一种以太网平台，由NVIDIA开发。它是一种专为提高Ethernet-based AI云的性能和成果而想象的以太网平台。该网罗平台提供了3层架构，其中包括32,768个GPU集群，轨谈优化想象，7:1抑止比。

3. 3层InfiniBand网罗，包含24,576个GPU集群，非轨谈优化想象，用于前端网罗的集群间聚拢。

"搭载3层Broadcom Tomahawk 5以太网网罗，领有32,768个GPU集群，完毕轨谈优化，7:1抑止比。"

经比较，选项1价钱较其他选项高1.3至1.6倍；选项2提供更大集群、更高带宽和邻近资本，但耗电更多；选项3可能导致并行有筹办生动性大幅斥责。

基于Broadcom Tomahawk 5的32k集群，搭配7:1的抑止比，是最具资本效益的选项。这亦然多家公司弃取构建雷同网罗的原因。

（5）平面布局

终末，在集群的想象上，还需要优化机架布局。

因为要是将多模收发器放在行的结尾，中间的骨干交换机将超出距离范围。

Spectrum-X/Tomahawk 5的32k集群平面图，遴荐轨谈优化想象，展望至少需80*60m平面空间。

当今，这个遍及的集群领有10万+节点，其中3栋建筑仍是完工(共3个诡计岛)。每个诡计岛容纳约1000~1100个机柜，总功耗约为50MW。

-对此，您有什么主张视力？-

-接待在驳斥区留言探讨和分享开云(中国)KAIYUN·官方网站。-