Explosion de puissance: l'ia défähie les limites de la physique
Mustafa Suleyman, figure emblématique de Microsoft et d’Anthropic, ne mâche pas ses mots : l’intelligence artificielle n’obéit pas aux mêmes règles que l’évolution biologique. Une simple heure de marche ne double pas la distance, comme l’intuition de la nature l’avait suggéré – une analogie qui s’effondre face à l’ascension exponentielle de l’IA.
Un accélération inégalée : du flops à l'explosion
Depuis 2010, la transformation a été vertigineuse. Le silicium nécessaire pour alimenter les modèles les plus avancés a augmenté d'un facteur de 1014 en termes de FLOPS – une multiplication qui s’est muée en une véritable explosion. Suleyman le souligne avec une précision chirurgicale : de 1014 FLOPS aux plus de 1026 FLOPS d’aujourd’hui, ce n’est plus une simple progression, mais une rupture cataclysmique.
Pour appréhender cette envolée vertigineuse, il compare l’entraînement des IA à une salle bondée de personnes exécutant des calculs avec des calculatrices. Autrefois, l’ajout de puissance impliquait simplement d’augmenter le nombre de calculatrices dans la pièce, avec des périodes d’inactivité conséquentes. Aujourd’hui, la révolution réside dans la capacité à maintenir toutes ces calculatrices en état de fonctionnement constant, formant une seule et immense intelligence collective.
Trois piliers d'une révolution
Cette mutation spectaculaire repose sur trois avancées convergentes : la rapidité des ‘calculatrices’ elles-mêmes, l’augmentation fulgurante de la mémoire, et la capacité à connecter des milliers de ces calculateurs. Nvidia a vu ses puces passer de 312 teraflops en 2020 à 2 250 teraflops aujourd’hui, avec un chip Maia 200 de Microsoft offrant un 30% de performance par euro. La mémoire HBM (High Bandwidth Memory) empile les puces comme des immeubles, tripliquant le débit de la génération précédente avec l’HBM3. Enfin, des technologies comme NVLink et InfiniBand permettent de connecter des centaines de milliers de GPU dans des superordinateurs de taille industrielle – des machines qui fonctionnent comme un seul et unique processeur.
Eric Schmidt, ancien PDG de Google, met en garde : « Nous sommes entre le 10 et le 15% des effets de tout cela ». Les laboratoires, déjà, sont en train d'augmenter leur puissance de calcul à un rythme d'environ 4 fois par an. Entre 2020 et aujourd’hui, la capacité de calcul a progressé de 5 fois chaque année. Et les prévisions annoncent un pic d’environ 100 millions de puces H100 d'ici 2027 – soit une augmentation de 10 fois en seulement trois ans. Une progression qui dépasse largement les 5 fois prévues par la loi de Moore.
Microsoft, Nvidia et la quête de la superintelligence. Suleyman, désormais à la tête de la division IA de Microsoft, insiste sur le fait que nous ne sommes plus dans l’ère des prototypes, mais des infrastructures massives : des clusters de 100 000 GPU, des racks de la taille d’une réfrigérateuratissant à 120 kilovatios et des centres de données consommant une énergie équivalente à celle du Royaume-Uni, de la France, de l’Allemagne et de l’Italie en période de pointe.