NVIDIA a dévoilé sa technologie de mémoire HBM propriétaire, NVHBM, qui équipera ses futurs GPU. Cette nouvelle solution vise à augmenter la bande passante mémoire tout en réduisant la consommation d'énergie. Ce développement est particulièrement pertinent compte tenu de la taille croissante des modèles d'IA, qui approchent progressivement le billion de paramètres, rendant la bande passante mémoire de plus en plus cruciale. NVHBM est une évolution du concept NVLink Fusion et déplace le contrôleur mémoire du XPU directement vers la puce HBM sous-jacente. NVIDIA affirme que cette approche permet d'obtenir une bande passante mémoire et une efficacité énergétique supérieures aux implémentations HBM standard.

D'autres fabricants utilisent déjà un concept similaire. Qualcomm, par exemple, emploie une approche comparable dans sa technologie HBC, en utilisant des modules mémoire LPDDR standard. Samsung, SK Hynix et Micron ont également annoncé leur intention d'intégrer les éléments de calcul et les contrôleurs mémoire directement sur les puces de base des futures solutions HBM. Dans le cas de NVHBM, le contrôleur mémoire sera développé par NVIDIA et intégré à la puce HBM. Selon l'entreprise, cela permettra d'augmenter la bande passante mémoire de plus de 30 % et de réduire la consommation d'énergie de 15 % par rapport à la HBM4E standard. Un avantage considérable pour les centres de données.