Explosion de calcul puissance : l'ia dépasse les limites de la physique
L’intelligence artificielle s’emballe. Mustafa Suleyman, à la tête de l’IA chez Microsoft, ne tarit pas sur les lieux concernant l’accélération vertigineuse de la puissance de calcul, une transformation qui dépasse la simple extrapolation de la Loi de Moore.
Le calcul, une singularité en marche
Suleyman décrit une progression exponentielle, passant de 1014 FLOPS à plus de 1026 FLOPS en seulement quelques années. Ce n’est pas une simple augmentation, mais une véritable explosion, comparant le processus d’entraînement des IA à une salle bondée de personnes utilisant des calculatrices. Autrefois, le simple ajout de puissance signifiait simplement l’augmentation du nombre de calculatrices, avec des temps d’attente considérables pour les données. Aujourd’hui, la révolution réside dans la capacité à maintenir toutes ces calculatrices en activité simultanément, formant une « intelligence collective ».
Cette transformation est rendue possible par trois avancées majeures. Premièrement, les puces Nvidia ont progressé de 312 Teraflops en 2020 à 2 250 Teraflops aujourd'hui, avec un chip Microsoft, le Maia 200, offrant un 30% de performance par euro par rapport à ses concurrents. Deuxièmement, la mémoire HBM (High Bandwidth Memory) triplique la bande passante, alimentant constamment les GPU sans délai. Troisièmement, des technologies comme NVLink et InfiniBand connectent des centaines de milliers de GPU dans des superordinateurs de taille industrielle.
Un futur à 100 millions de puces
Eric Schmidt, ancien PDG de Google, met en garde : « Nous sommes entre le 10 et le 15% des effets de tout cela. » Les laboratoires investissent massivement, augmentant leur puissance de calcul à un rythme d’environ 4x annuel. Entre 2020 et aujourd’hui, le calcul a augmenté de 5x chaque année. On prévoit que d'ici 2027, le calcul global de l'IA atteindra 100 millions de puces H100, soit une progression de 10 fois en trois ans. Microsoft, Nvidia et la course à la superintelligence sont désormais des réalités tangibles, des clusters de 100 000 GPU, des racks de taille réfrigérateur consommant 120 kilovatios et des centres de données alimentés par l’énergie de l’ensemble du Royaume-Uni, de la France, de l’Allemagne et de l’Italie.
Cette accélération sans précédent, estimée à 50 fois plus rapide que la Loi de Moore, est loin d’être terminée. Suleyman prédit que les laboratoires continueront de se surprendre. Le boom du calcul est l’histoire technologique de notre époque, et il ne fait que commencer.