高速、多 GPU 通信的基础模组,助力将大型数据集更快地输入模型并在 GPU 之间快速交换数据。
是否能释放百亿亿次级 (Exascale) 计算和万亿参数 AI 模型的全部潜力取决于服务器集群中每个 GPU 之间能否快速、顺畅地通信。第五代 NVIDIA® NVLink® 是一种纵向扩展的互连,可为万亿和数万亿参数 AI 模型释放加速性能。
第五代 NVLink 大幅提高了大型多 GPU 系统的可扩展性。单个 NVIDIA Blackwell Tensor Core GPU 支持多达 18 个 NVLink 100 GB/s 连接,总带宽可达 1.8 TB/s,比上一代产品提高了两倍,是 PCIe 5.0 带宽的 14 倍之多。72-GB200 GPU NVLink 域 (NVL72) 等服务器平台利用该技术为当今异常复杂的大型模型提供更高的可扩展性。
NVIDIA H100 中的 NVLink 将 GPU 间通信带宽提升至前一代的 1.5 倍,因此研究人员可以使用更大、更复杂的应用程序来解决更复杂的问题。
NVLink 是一种 GPU 之间的直接互连,双向互连速度达 1.8 TB/s,可扩展服务器内的多 GPU 输入/输出 (IO)。NVIDIA NVLink 交换机 ASIC 可连接多个 NVLink,实现在单个机架内和多个机架间以 NVLink 能够达到的最高速度进行多对多 GPU 通信。
为了支持高速集合运算,每个 NVLink 交换机都配有 NVIDIA SHARP™ 技术引擎,可用于网络内归约和组播加速。
NVIDIA NVLink 交换机配备 144 个 NVLink 端口,无阻塞交换能力为 14.4 TB/s。机架交换机可为 NVIDIA GB200 NVL72 系统提供高带宽和低延迟,支持第五代外部 NVLink 连接。
NVLink 交换机是首款 ASIC 芯片技术机架级交换机,能够在无阻塞计算结构中支持多达 576 个全连接 GPU。NVLink 交换机能以惊人的 1800GB/s 的速度互连每对 GPU。它还支持完整的多对多通信。GB200 NVL72 系统中的 72 个 GPU 可用作单个高性能加速器,拥有高达 1.4 exaFLOPS 的 AI 计算能力。
NVLink 和 NVLink 交换机是整个 NVIDIA 数据中心解决方案的必要基础模组,该解决方案融合了来自 NVIDIA AI Enterprise 软件套件和 NVIDIA NGC™ 目录中的硬件、网络、软件、库以及优化的 AI 模型和应用。作为强大的端到端 AI 和高性能计算平台,它让研究人员能够更快地得到真实的结果,并能将解决方案部署到生产环境中,从而在各种规模上实现出色的加速。
第二代 | 第三代 | 第四代 | 第五代 | |
---|---|---|---|---|
NVLink 总带宽 | 300GB/s | 600GB/s | 900GB/s | 1,800GB/s |
每个 GPU 最大链路数 | 6 | 12 | 18 | 18 |
NVIDIA 架构支持 | NVIDIA Volta™ 架构 | NVIDIA Ampere 架构 | NVIDIA Hopper™ 架构 | NVIDIA Blackwell 架构 |
第一代 | 第二代 | 第三代 | NVLink Switch | |
---|---|---|---|---|
一个 NVLink 域内直连 GPU 的数量 | 最多 8 个 | 最多 8 个 | 最多 8 个 | 最多 576 个 |
NVSwitch GPU 之间带宽 | 300GB/s | 600GB/s | 900GB/s | 1,800GB/s |
聚合总带宽 | 2.4TB/s | 4.8TB/s | 7.2TB/s | 1PB/s |
NVIDIA 架构支持 | NVIDIA Volta™ 架构 | NVIDIA Ampere 架构 | NVIDIA Hopper™ 架构 | NVIDIA Blackwell 架构 |
初步规格,可能会有所变更
深入研究 NVIDIA Blackwell 架构