Qu'est-ce que NVLINK?

NVIDIA® NVLink ™ est une interconnexion GPU-GPU à haute vitesse, qui permet aux GPU de communiquer directement entre eux sans dépendre du bus PCI Express plus lent. Ce protocole de communication filaire a été introduit pour la première fois par NVIDIA en mars 2014 et utilise une interconnexion de signalisation haut débit propriétaire (NVHS). À un niveau de base, NVLink de NVIDIA permet la mise en commun des ressources de plusieurs GPU de manière à permettre d'accéder à la mémoire et aux cœurs CUDA comme s'il s'agissait d'une seule carte, ce qui est génial. Par exemple, l'IA, pour les applications scientifiques et de rendu, peut bénéficier de cet espace d'adressage accru.

Un peu d'histoire… 

Le NVLink est une évolution de la technologie SLI (Scalable Link Interconnect) de NVIDIA qui a été introduite en 2004. SLI a permis de connecter deux, trois ou quatre cartes graphiques NVIDIA GeForce pour partager la charge de travail lors du rendu des graphismes informatiques 3D, généralement dans les jeux. Afin de configurer le SLI, plusieurs cartes graphiques installées dans un PC devaient être reliées avec un connecteur appelé SLI Bridge. De plus, la carte mère à l'intérieur du PC devait être certifiée par NVIDIA pour s'assurer que tout fonctionnera correctement dès la sortie de la boîte. 

Photo 1: logo NVIDIA SLI Ready qui était présent sur les boîtiers de la carte mère, prenant en charge cette technologie.

En SLI, les cartes graphiques fonctionnaient en configuration maître-esclave, toutes les cartes recevaient une charge de travail égale, mais la sortie finale de chaque carte était envoyée à la carte maître qui sortait sur l'écran du moniteur.

Deux modes principaux du SLI étaient le rendu d'image fractionnée (SFR) et le rendu d'image alternée (AFR). Avec SFR, la carte «maître» ne restituait que le haut de la trame, l '«esclave» rendait la partie inférieure de la trame et, une fois terminée, elle était renvoyée au «maître» qui combinait les deux morceaux de la trame avant d'afficher sur le moniteur.

Avec AFR, chaque carte graphique travaillait sur des trames différentes, par exemple la première carte rendait des trames impaires, la deuxième carte des trames paires qui étaient ensuite envoyées et sorties par la carte «maître». SLI offrait jusqu'à 1,9 de fois les performances d'une seule carte en configuration double GPU, mais tous les titres de jeu n'étaient pas en mesure de bénéficier de cette technologie, de sorte que les performances de mise à l'échelle varieraient.

Photo 2: Pont SLI

En conséquence, la technologie SLI n'était pas parfaite et le gain de performance était souvent bien inférieur à 1,9x, parfois cela provoquait des artefacts visuels sur l'écran. Cela a obligé les développeurs à consacrer plus de temps et d'efforts à l'optimisation des jeux pour la prise en charge multi-GPU, ils ont donc commencé à s'en éloigner et à optimiser les jeux pour un seul GPU.  

En septembre de l'année dernière, avec le lancement des nouveaux GPU de la série GeForce RTX ™ 3000, NVIDIA a annoncé la fin du SLI, de sorte que les fabricants de cartes mères et les développeurs de jeux pourraient ne plus le prendre en charge.

NVLINK vs SLI - Quelle est la différence? 

Le principal différenciateur est la vitesse - le SLI offrait une bande passante de 1 Go / s en utilisant le pont standard et de 2 Go / s en utilisant un pont à bande passante élevée. A titre de comparaison, la 3ème génération actuelle de NVLink offre une bande passante totale de 600 Go / s, ce qui est presque 10 fois supérieur à PCIe 4.0!   

Contrairement à SLI, la bande passante NVLink est bidirectionnelle, ce qui signifie qu'elle n'utilise pas la méthode maître-esclave, mais connecte plutôt les GPU dans un réseau maillé avec plusieurs liens haute performance, permettant à chaque GPU sur ce maillage d'inter-communiquer et de mettre en commun les ressources. 

Photo 3: 2e génération (à gauche) et 3e génération (à droite) du pont NVLink (source: Boston Labs)

Comme SLI, NVLink utilise des ponts d'interface physiques pour les GPU qui viennent dans le facteur de forme de carte PCIe FHFL standard et permet à l'un de relier deux ou trois GPU ensemble selon le modèle. Cependant, dans certaines solutions de serveur plus denses qui utilisent le facteur de forme SXM4, NVLink est intégré à la carte multi-GPU telle que la plate-forme NVIDIA HGX qui alimente leur dernier supercalculateur DGX A100 8-GPU.

Photo 4: NVLink pour A100 PCIe (à gauche) vs diagramme de topologie NVLink pour les GPU A100 SXM4

Photo 5: Carte GPU NVIDIA HGX de DGX ™ A100 peuplée de 8x A100 (source: Boston Labs)

La première génération de NVIDIA NVLink a été introduite en 2014 avec l'architecture Pascal qui a ensuite évolué vers la deuxième génération avec l'architecture Volta. Plus récemment, avec le lancement de la nouvelle architecture Ampere, NVIDIA a annoncé la 3ème génération de son interconnexion GPU qui est prise en charge dans ses GPU professionnels de la série A tels que les A100, RTX A6000 et A40 ainsi que la GeForce RTX 3090 de qualité grand public. .

Nos ingénieurs de Boston Labs ont pris leur temps pour tester une paire de GPU NVIDIA A100 PCIe 4.0 qui utilisent 3 ponts physiques NVLink (qui sont nécessaires pour les meilleures performances de pontage et une topologie de pont équilibrée) et les comparer avec d'autres GPU Ampere comme RTX A6000 et GeForce RTX 3090 qui ne prend en charge qu'un seul pont NVLink.

Photo 6: topologie de pontage A100 NVLink

Photo 7: 4x GPU A100 PCIe, connectés avec 3 ponts NVLink par paires, installés dans la station de travail de Boston Labs (source: Boston Labs)

Comme référence, nous avons utilisé le test de bande passante Peer-To-Peer de la boîte à outils CUDA 11.

Comme prévu, l'A100 a montré les meilleurs résultats grâce à 3 ponts NVLink et à la mémoire HBM2e la plus rapide, suivi par la GeForce RTX 3090 qui utilise la mémoire GDDR6X, puis RTX A6000 avec GDDR6 légèrement plus lent.

Applications NVLink et conclusion

NVLink est une excellente technologie, cependant, la citation populaire de Jensen Huang «Cela fonctionne simplement» ne s'applique pas pleinement ici; Les développeurs de logiciels doivent implémenter la prise en charge de NVLink dans leur application pour en tirer pleinement parti. Certains des moteurs de rendu, des applications scientifiques et d'IA prennent déjà en charge NVLINK, en voici quelques exemples:

• AutoDesk Arnold
• V-Ray
• AMBRE
• Ansys Fluent
• QCD de treillis

Boston Labs est notre centre de R&D et de test sur site où nous développons de nouveaux produits et évaluons les dernières technologies. Des technologies nouvelles et améliorées émergent régulièrement, et cela peut être une situation décourageante pour les clients qui planifient leurs futurs projets. Prendre la bonne décision concernant le nouveau matériel est une proposition difficile, rendue encore plus difficile lorsque les clients sont incapables de tester et de comprendre le matériel avant de faire leur achat. Boston Labs permet à nos clients de tester le matériel le plus récent sur site ou à distance. Toute la technologie NVIDIA mentionnée dans ce blog, comme DGX A100, NVLINK, A100 PCIe, RTX A6000 est disponible pour les tests dès maintenant!