La startup californienne d-Matrix vient d'annoncer une technologie susceptible de révolutionner le marché de la mémoire IA. L'entreprise affirme que sa solution 3DIMC (3D Digital In-Memory Compute) est jusqu'à dix fois plus rapide et économe en énergie que la mémoire à haut débit (HBM), actuellement dominante. HBM est actuellement la norme en IA et en calcul haute performance (HPC). Grâce à l'empilement vertical des modules de mémoire, il offre un débit considérable et est particulièrement utile pour l'entraînement des modèles d'IA. Cependant, pour l'inférence (effectuer des calculs sur des réseaux pré-entraînés), HBM s'avère coûteux, énergivore et limité en bande passante. Selon Sidd Sheth, fondateur et PDG de d-Matrix, « la mémoire, et non la puissance de calcul (FLOP), constitue aujourd'hui le principal goulot d'étranglement de l'inférence en IA. » La startup a annoncé que sa première puce Pavehawk 3DIMC est désormais opérationnelle dans ses laboratoires. La technologie est similaire aux modules LPDDR5, mais avec des puces DIMC supplémentaires superposées. Cela permet d'effectuer les calculs directement en mémoire, plutôt que uniquement dans le processeur ou l'accélérateur. Ces puces sont optimisées pour les multiplications matrice-vecteur, opérations clés des modèles de transformateurs qui dominent l'IA moderne. L'entreprise ne se repose toutefois pas sur ses lauriers et annonce déjà la nouvelle génération, baptisée Raptor. Celle-ci devrait constituer une avancée majeure, offrant des performances d'inférence décuplées par rapport à HBM et une réduction de la consommation d'énergie de 90 %.

Le concept d-Matrix s'inscrit dans la tendance à la spécialisation du matériel pour des tâches spécifiques. L'entraînement et l'inférence étant deux étapes distinctes du workflow de l'IA, l'entreprise soutient qu'elles méritent des solutions matérielles distinctes. Les données du marché indiquent que l'inférence peut déjà représenter la moitié de la charge de travail de l'IA dans les plus grands centres de données. Il est important de rappeler que la mémoire HBM est un produit de niche, fabriqué par quelques géants seulement : SK Hynix, Samsung et Micron. La forte demande et l'offre limitée font grimper le prix de cette mémoire à un niveau élevé. SK Hynix prévoit également une croissance annuelle du marché de 30 % jusqu'en 2030. Il n'est pas étonnant que cette alternative suscite l'intérêt des clients potentiels, même si, d'un autre côté, une mémoire conçue uniquement pour l'inférence peut sembler trop étroite. L'avenir nous dira si une telle solution est judicieuse.