Sommet de l'IA : le rapport scientifique "officiel" en quelques chiffres
Un rapport voulu par la communauté internationale donne un état des lieux "vulgarisé" de la compréhension scientifique des IA généralistes. En voici quelques éléments.

Dans le domaine de l'IA, qu'est-ce, au juste, que des agents ?
On pourrait, par exemple, les décrire comme des "systèmes qui peuvent planifier et agir de manière autonome pour atteindre des objectifs avec peu ou pas de supervision humaine." C'est la définition retenue dans l'International AI Safety Report.
Ce rapport, publié en amont du Sommet pour l'action sur l'IA, est censé donner un instantané de la compréhension scientifique des IA généralistes. Sous un angle en particulier : leur sûreté. Il a impliqué une centaine d'experts nommés par les gouvernements de 30 pays, l'Union européenne, l'OCDE et les Nations unies. Parmi eux, pour la France, Guillaume Avrin, le coordinateur national pour l'intelligence artificielle. Sur la liste des contributeurs figure aussi Gaël Varoqueux, d'Inria, en tant que "conseiller senior".
Les pays représentés à l'AI Safety Summit de Bletchley Park (Royaume-Uni, novembre 2023) s'étaient mis d'accord pour soutenir la création de ce rapport. Une version intermédiaire avait été présentée à l'AI Seoul Summit (Corée du Sud, mai 2024). La version finale est sortie ce 29 janvier 2025. Elle a fait l'objet d'un addendum et pour cause : après la fin de sa rédaction (5 décembre 2024), OpenAI a partagé des résultats de benchmarks pour son modèle o3. Commentaire : ces résultats montrent que le rythme d'avancement de l'IA peut rester élevé voire accélérer. Ils illustrent par ailleurs le potentiel de la mise à l'échelle de l'inférence (qui consiste à accorder davantage de ressources aux modèles afin qu'ils "raisonnent").
Les multiples chiffres que contient le rapport ne touchent pas tant à la sûreté des IA qu'à leur consommation de ressources. Entre données historiques et prévisionnelles, en voici quelques-uns, avec leurs sources.
Sur les ressources nécessaires au pré-entraînement
Aujourd'hui, la phase de pré-entraînement des modèles à l'état de l'art utilise environ 10 milliards de fois plus de ressources de calcul qu'en 2020.
Depuis le début des années 2010, la quantité de ressources de calcul consommées par le pré-entraînement a doublé tous les 6 mois environ.
Source principale : "Compute Trend Across Three Eras of Machine Learning" (Sevilla et al., 2022)
Si la dynamique actuelle se confirme, d'ici à fin 2026, l'entraînement de certains modèles d'IA généralistes consommera 100 fois plus de ressources que pour les modèles les plus "gourmands" de 2023. La rapport pourrait atteindre x 10 000 à l'horizon 2030.
Vu les tendances et les possibilités techniques en matière de production de puces, il pourrait être possible, d'ici à 2030, d'entraîner des systèmes d'IA avec 100 000 fois plus de ressources de calcul que ce qu'a nécessité GPT-4. Cela suffirait donc à soutenir la croissance anticipée des besoins. Problème : de tels entraînements semblent impossibles dans la pratique, étant donné les contraintes sur le déplacement des données et leur temps de traitement.
Source principale : "Can AI Scaling Continue Through 2030?" (Sevilla et al., 2024)
Sur l'efficacité algorithmique
Entre 2012 et 2019, la quantité de compute nécessaire pour entraîner un modèle de classification d'images à un même niveau de performance a été divisée par 44. Une efficacité doublée tous les 16 mois, en d'autres termes.
Dans la modélisation du langage, la quantité de compute nécessaire a diminué de moitié tous les 8 mois depuis 2012.
De manière générale, l'efficacité algorithmique triple chaque année - l'efficacité du hardware augmentant quant à elle de 30 %. Néanmoins, des techniques comme la mise à l'échelle de l'inférence et la production de données synthétiques risquent d'augmenter la consommation, soulignent les experts.
Sources principales : "Measuring the Algorithmic Efficiency of Neural Networks" (Hernandez et al., 2020) et "Algorithmic Progress in Language Models" (Ho et al., 2024)
L'étude de 16 méthodes d'amélioration des modèles montre que de manière générale, leur implémentation nécessite moins de 1 % des ressources de calcul utilisées pour le préentraînement. Et qu'elle améliore les capacités des systèmes d'IA autant que le préentraînement ne le ferait avec 5 fois plus de ressources.
Source principale : "AI Capabilities Can Be Significantly Improved without Expensive Retraining" (Davidson et al., 2023)
Sur l'empreinte écologique
Les datacenters et les réseaux de transport des données ont émis, en 2020, quelque 330 millions de tonnes d'équivalent CO2. Soit environ 1 % des émissions de gaz à effet de serre liées à l'énergie.
L'IA consommant 10 à 28 % de la capacité énergétique des datacenters, on peut déduire qu'elle serait à l'origine de 0,1 à 0,28 % des émissions de GES liées à l'énergie (et 0,06 à 0,17 % des émissions globales).
Cela dépend, en pratique, de l'intensité carbone des énergies utilisées. Aux USA, par exemple, l'électricité alimentant les datacenters est 50 % plus carbonée qu'au niveau national (548 g CO2e/KWh).
Sources principales : "Data Centres and Transmission Networks" (Agence internationale de l'énergie, 2023) et "Environmental Burden of United States Data Centers in the Artificial Intelligence Era" (Guidi et al., 2024)
En 2022, il a fallu entre 260 et 360 TWh pour alimenter les réseaux de transport des données. Une consommation du même ordre que celle des datacenters (240 à 340 TWh sans compte le minage de cryptos, qui a consommé 100 à 150 TWh). Cela représente 1 à 1,5 % de la demande mondiale d'électricité. La proportion s'élève à 2 % dans l'UE ; à 3 % en Chine et aux USA.
Sources principales : "AI Capabilities Can Be Significantly Improved without Expensive Retraining" (Davidson et al., 2023), "Tracking Clean Energy Progress 2023" (Agence internationale de l'énergie, 2023) et "China's Green Data Center Development Policies and Carbon Reduction Technology Path" (Li et al., 2023)
Les petits réacteurs nucléaires (SMR, < 300 MW) produisent 2 à 30 fois plus de déchets par unité d'énergie que les réacteurs à grande échelle (> 1000 MW). Une donnée notable à l'heure où les Big Tech se tournent vers cette source d'énergie. En septembre 2024, Microsoft a signé un accord pour relancer une centrale en Pennsylvanie et acquérir pendant 20 ans toute la capacité qu'elle produira. En amont, AWS avait signé un deal pour une capacité de 960 MW/an sur un campus à l'usage d'AWS.
Source principale : "Nuclear Waste from Small Modular Reactors, Proceedings of the National Academy of Sciences of the United States of America" (Krall et al., 2022)
Sur le coût de l'IA
Depuis 2010, la quantité de puissance de calcul accessible avec 1 $ a augmenté de 35 % par an.
Pour autant, à l'horizon 2027, le pré-entraînement des plus gros modèles généralistes pourrait coûter plus d'un milliard de dollars.
Sources principales : "Trends in Machine Learning Hardware", (Hobbhahn et al., 2023) et "How Much Does It Cost to Train Frontier AI Models?" (Cottier et al., 2024)
Le graphe ci-dessus représente l'augmentation de la quantité de mots générés avec 1 $. Il est "à finalité illustrative", précisent les auteurs du rapport, étant donné que les prix et la performance obtenus dépendent des méthodes d'évaluation. En outre, o1-mini utilise des chaînes de pensée inaccessibles à l'utilisateur. Aussi, le nombre de mots réellement accessibles pour chaque dollar dépensé est moindre qu'affiché ici.
Illustration principale générée par IA
Sur le même thème
Voir tous les articles Data & IA