Los componentes básicos de la comunicación multi-GPU de alta velocidad para introducir grandes conjuntos de datos más rápidamente en modelos e intercambiar datos rápidamente entre GPU.
Liberar todo el potencial de la computación a exaescala y los modelos de IA de billones de parámetros depende de una comunicación rápida y fluida entre cada GPU dentro de un clúster de servidores. La quinta generación de NVIDIA® NVLink® es una interconexión ampliada que libera un rendimiento acelerado para modelos de IA con parámetros de billones y multimillonarios.
NVLink de quinta generación mejora enormemente la escalabilidad para sistemas multi-GPU más grandes. Una única GPU NVIDIA GB200 Tensor Core admite hasta 18 conexiones NVLink de 100 gigabytes por segundo (GB/s) para un ancho de banda total de 1,8 terabytes por segundo (TB/s): 2 veces más ancho de banda que la generación anterior y más de 14 veces el ancho de banda de PCIe Gen5. Las plataformas de servidor como el dominio de GB200 NVL72 aprovechan esta tecnología para ofrecer una mayor escalabilidad para los grandes modelos más complejos de la actualidad.
NVLink en NVIDIA H100 aumenta el ancho de banda de comunicación entre GPU 1,5 veces en comparación con la generación anterior, por lo que los investigadores pueden utilizar aplicaciones más grandes y sofisticadas para resolver problemas más complejos.
NVLink es una interconexión directa bidireccional de GPU a GPU de 1,8 TB/s que escala la entrada y salida (IO) de varias GPU dentro de un servidor. El chip NVIDIA NVLink Switch conecta varios NVLink para proporcionar comunicación GPU entre todos a la velocidad máxima de NVLink dentro de un solo rack y entre racks.
Para permitir operaciones colectivas de alta velocidad, cada Switch NVLink tiene motores para el Protocolo de Reducción y Agregación Jerárquica Escalable de NVIDIA (SHARP)™ para reducciones en la red y aceleración de multidifusión.
Con NVSwitch, las conexiones NVLink se pueden extender entre nodos para crear un clúster de GPU multinodo, de alto ancho de banda y sin interrupciones, formando efectivamente una GPU del tamaño de un data center. El sistema de switch NVIDIA NVLink permite 130TB/s de ancho de banda de GPU en un NVL72 para un paralelismo de grandes modelos. Los clústeres de servidores múltiples con NVLink escalan las comunicaciones de GPU en equilibrio con el aumento de la computación, por lo que NVL72 puede admitir 9 veces el rendimiento de GPU que un solo sistema de ocho GPU.
El switch NVIDIA NVLink cuenta con 144 puertos NVLink con una capacidad de conmutación sin bloqueo de 14,4 TB/s. El conmutador en rack está diseñado para proporcionar un gran ancho de banda y baja latencia en sistemas NVIDIA GB200 NVL72 que admiten dispositivos externos de conectividad NVLink de quinta generación.
El NVLink Switch es el primer chip de conmutación a nivel de rack capaz de admitir hasta 576 GPU completamente conectadas en una estructura informática sin bloqueo. El conmutador NVLink interconecta cada par de GPU a una increíble velocidad de 1.800 GB/s. Admite una comunicación total entre todos. Las 72 GPU del GB200 NVL72 se pueden utilizar como un único acelerador de alto rendimiento con hasta 1,4 exaFLOPS de potencia de computación de IA.
NVLink y Switch NVLink son componentes esenciales de la solución completa de data center de NVIDIA que incorpora hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizados del paquete de software NVIDIA AI Enterprise y el catálogo NVIDIA NGC™. La plataforma de IA y HPC de extremo a extremo más potente, permite a los investigadores ofrecer resultados del mundo real e implementar soluciones en producción, impulsando una aceleración sin precedentes en todas las escalas.
Primera Generación | Segunda Generación | Tercera Generación | Cuarta Generación | |
---|---|---|---|---|
NVLink por GPU | 300GB/s | 600GB/s | 900GB/s | 1,800GB/s |
Número Máximo de Enlaces por GPU | 6 | 12 | 18 | 18 |
Arquitecturas NVIDIA Compatibles | Arquitectura NVIDIA Volta™ | Arquitectura NVIDIA Ampere | Arquitectura NVIDIA Hopper™ | Arquitectura NVIDIA Blackwell |
Primera Generación | Segunda Generación | Tercera Generación | Switch NVLink | |
---|---|---|---|---|
Número de GPU con conexión directa dentro de un dominio NVLink | Hasta 8 | Hasta 8 | Hasta 8 | Hasta 576 |
NVSwitch de Ancho de Banda de GPU a GPU | 300GB/s | 600GB/s | 900GB/s | 1,800GB/s |
Ancho de Banda Agregado Total | 2.4TB/s | 4.8TB/s | 7.2TB/s | 130TB/s |
Arquitecturas NVIDIA Compatibles | Arquitectura NVIDIA Volta™ | Arquitectura NVIDIA Ampere | Arquitectura NVIDIA Hopper™ | Arquitectura NVIDIA Blackwell |
Especificaciones preliminares; puede estar sujeto a cambios.
Sumérgete en Profundidad en la Arquitectura NVIDIA Blackwell