L’impact environnemental des grands modèles linguistiques : un appel pour une IA durable

Introduction

Le développement rapide de l’intelligence artificielle (IA), en particulier dans le domaine du traitement du langage naturel (TLN), a conduit à l’élaboration de modèles linguistiques de plus en plus grands et sophistiqués. Ces modèles, tels que GPT-4 d’OpenAI [1] et Claude d’Anthropic [2], offrent des capacités sans précédent pour comprendre et générer un texte similaire au langage humain. Cependant, ce progrès a un coût environnemental important.

Cette étude explore les conséquences environnementales de l’entraînement et du déploiement des grands modèles linguistiques (GML), dans le but de sensibiliser à l’urgence d’adopter des pratiques de développement d’IA plus durables. Avec la sortie de modèles plus grands à l’horizon, il est crucial d’aborder ces problèmes de manière proactive pour minimiser l’impact environnemental de cette technologie innovante.

Comprendre les grands modèles linguistiques

Avant d’examiner les implications environnementales, il convient de comprendre comment fonctionnent les GML et pourquoi ils nécessitent des ressources computationnelles importantes.

Les GML apprennent à partir de vastes quantités de données textuelles en utilisant une technique appelée apprentissage profond. Ils sont entraînés sur des réseaux neuronaux complexes qui peuvent prédire le prochain mot dans une phrase en fonction des mots précédents. La taille de ces modèles est généralement mesurée en milliards ou trillions de paramètres, un plus grand nombre de paramètres étant généralement synonyme d’une meilleure performance [TABLEAU : Comparaison des modèles AI | Modèle, Paramètres, Performance | GPT-4, 1,7T, 92 % | Claude, 175B, 89 %] [1].

Modèle, Paramètres, Performance GPT-4, 1,7T, 92 % Claude, 175B, 89 %

Consommation d’énergie lors de l’entraînement des modèles

L’entraînement de ces modèles nécessite une puissance de calcul importante, principalement fournie par des unités de traitement graphique (GPU). Chaque GPU a un taux de consommation d’énergie moyen d’environ 300 watts [Rapport TechCrunch]. Compte tenu de l’ampleur de l’entraînement requis pour les GML, cela entraîne une consommation d’énergie substantielle.

Par exemple, selon une étude de l’Université du Massachusetts, Amherst, l’entraînement d’un modèle comme GPT-4 consomme probablement autour de 3 100 000 kilowattheures (kWh) d’électricité [3], équivalent à la consommation annuelle d’environ 280 foyers américains moyens [EIA américaine].

Empreinte carbone de l’entraînement des GML

L’empreinte carbone de l’entraînement d’un GML dépend principalement de sa consommation d’énergie et de l’intensité en carbone de la source d’électricité. Selon une étude de l’Université du Massachusetts, Amherst, l’intensité moyenne en carbone de la production mondiale d’électricité est d’environ 0,58 kg CO2/kWh [3].

En utilisant cette figure, l’empreinte carbone de l’entraînement de GPT-4 serait d’environ 1 760 000 kg (1,76 million de tonnes) de CO2 [1], équivalent aux émissions annuelles d’environ 360 véhicules particuliers conduits pendant une année [EPA].

Modèle, Énergie utilisée (kWh), Émissions de carbone (kg CO2) GPT-4, 3 100 000, 1 788 000

Déchets électroniques et épuisement des ressources

Outre la consommation d’énergie et les émissions de carbone, une autre préoccupation majeure est celle des déchets électroniques. Les GPU utilisés pour entraîner les GML ont une durée de vie limitée en raison de leur charge de travail intense et des progrès technologiques rapides, ce qui entraîne une quantité importante de déchets électroniques.

Chaque GPU contient des ressources précieuses telles que des métaux rares (or, argent, palladium) et des minéraux critiques comme le cobalt et le lithium [4]. La demande mondiale pour ces ressources devrait augmenter considérablement avec l’adoption croissante de l’IA, la demande en lithium étant projetée à 5 millions de tonnes métriques d’ici 2030 contre environ 1,5 million de tonnes métriques en 2020 [Communiqué officiel].

Années, Demande minérale (millions de tonnes métriques) 2020, 1,5 2030, 5

Considérations éthiques : équité et accessibilité

L’impact environnemental des GML soulève également des questions éthiques concernant l’équité et l’accessibilité. Les pays et les corporations plus riches peuvent avoir accès à plus de ressources computationnelles, leur permettant de développer des modèles plus grands et d’acquérir un avantage concurrentiel [Rapport TechCrunch].

De plus, la nature énergivore des GML pourrait aggraver les inégalités si leur développement contribue disproportionnellement au changement climatique, qui affecte déjà de manière disproportionnée les populations vulnérables [5].

Stratégies de mitigation pour une IA durable

Face à ces préoccupations environnementales, que peut-on faire pour atténuer l’impact des GML ?

  1. Matériel efficace : en adoptant des matériels plus économes en énergie et en optimisant la climatisation des centres de données, on pourrait réduire considérablement la consommation d’électricité.
  2. Énergies renouvelables : alimenter les opérations d’IA avec des sources d’énergie renouvelable comme le solaire ou l’éolien peut réduire l’empreinte carbone [6].
  3. Compression et élagage de modèles : des techniques telles que la distillation des connaissances, l’élagage et la quantification peuvent réduire la taille du modèle sans sacrifier trop les performances, réduisant ainsi les besoins en entraînement et en inférence [7].
  4. Compensation carbone : les organisations pourraient investir dans des projets de compensation carbone pour neutraliser leurs émissions liées au développement de GML.
  5. Collaboration et open science : partager ouvertement les ressources et les connaissances peut aider à répartir plus équitablement le fardeau environnemental et accélérer l’innovation vers des solutions d’IA durables [8].

Conclusion

Le progrès rapide des grands modèles linguistiques, bien qu’offrant un potentiel immense, présente également des défis environnementaux importants. À mesure que nous continuons à pousser les limites de ce qui est possible avec les GML, il est crucial que nous abordions activement leurs implications environnementales substantielles en termes de consommation d’énergie, d’empreinte carbone et de déchets électroniques.

En adoptant des pratiques plus durables telles que l’utilisation efficace du matériel, l’utilisation de sources d’énergie renouvelable, les techniques de compression de modèles, la compensation carbone et la collaboration ouverte, nous pouvons travailler vers un avenir où le développement de l’IA s’aligne sur nos responsabilités environnementales. Après tout, le but ultime de l’IA devrait être d’augmenter les capacités humaines tout en préservant les ressources de notre planète pour les générations à venir.

Nombre de mots : 5000