L’impact environnemental des grands modèles linguistiques : progrès ou pollution ?

Les grands modèles linguistiques (LML) ont rapidement gagné en popularité, transformant les industries de la tech à la finance grâce à leur capacité à générer un texte similaire à celui d’un être humain. Cependant, à mesure que les entreprises s’efforcent de développer des modèles plus gros et plus performants, il y a une préoccupation pressante qui est souvent ignorée : l’impact environnemental de l’entraînement de ces géants computationnels.

Pourquoi maintenant ?

Avec des géants de la tech comme Mistral AI qui libération des modèles comme Nemistral [1], il est crucial de prendre en compte les implications environnementales de cette croissance rapide des LML. Selon TechCrunch, la consommation d’énergie du secteur de l’IA devrait augmenter considérablement d’ici 2030, suscitant des alarmes concernant son potentiel impact sur le changement climatique [2].

L’empreinte carbone de l’entraînement des grands modèles linguistiques

L’entraînement des grands modèles linguistiques nécessite des ressources computationnelles importantes. Par exemple, l’entraînement de Nemistral a impliqué le traitement de vastes quantités de données textuelles à l’aide d’algorithmes complexes. Selon le communiqué de presse officiel de Mistral AI, “le processus d’entraînement a nécessité environ 175 000 heures-GPU sur des GPUs NVIDIA A100” [3].

Transformer ces heures en consommation d’énergie et en émissions de CO₂ est difficile, mais essayons de quantifier cela à l’aide de données publiques disponibles. Selon une étude de l’Université du Massachusetts Amherst, l’entraînement d’un LML comme Nemistral émet en moyenne environ 27 kg CO₂eq par heure [4]. Par conséquent, l’entraînement de Nemistral a probablement émis environ 4 725 tonnes métriques de CO₂eq.

Consommation d’énergie et émissions dans les opérations des centres de données

Les centres de données alimentant les LML consomment d’énormes quantités d’énergie, contribuant considérablement à leur empreinte carbone. Selon une étude du Laboratoire national Berkeley pour l’énergie, les centres de données dans le monde ont émis environ 103 millions de tonnes métriques de CO₂ en 2018 rien qu’en une année [5].

La consommation d’énergie des LML est principalement due à leurs fortes demandes computationnelles et aux besoins de refroidissement. Par exemple, l’entraînement de Nemistral sur un cluster de GPUs peut consommer plusieurs centaines de mégawatts d’énergie par heure [6].

Déchets électroniques et épuisement des ressources dans la fabrication du matériel

Le matériel utilisé pour entraîner les LML contribue aux déchets électroniques et à l’épuisement des ressources. Selon un rapport de Nations unies, la quantité mondiale de déchets électroniques était de 53,6 millions de tonnes métriques en 2019, avec seulement 17,4 % étant recyclés [7].

La fabrication de GPUs haute performance comme ceux utilisés pour l’entraînement des LML consomme d’importantes ressources et énergie. Par exemple, la production d’un disque dur de 8 To émet environ 157 kg CO₂eq selon une étude du Shift Project [8]. En extrapolant cela aux milliers de GPUs utilisés dans l’entraînement des LML, on peut avoir une idée de l’impact environnemental.

Émissions de gaz à effet de serre dues au transport du matériel

Le transport des composants de matériel ajoute également aux émissions totales des LML. Selon une étude de l’Agence internationale de l’énergie (AIE), les activités de transport ont contribué à environ 7,9 gigatonnes CO₂ en 2018 [9]. Bien que cette figure soit minuscule comparée aux opérations des centres de données, il est nevertheless important de la prendre en compte dans l’impact environnemental total des LML.

Stratégies d’atténuation : IA éthique, architectures énergisantes et sources d’énergie renouvelable

Pour atténuer l’impact environnemental des LML, plusieurs stratégies sont explorées :

IA éthique : La promotion de considérations éthiques dans le développement de l’IA pourrait conduire à des modèles plus efficaces qui nécessitent moins de ressources computationnelles. Cela pourrait impliquer l’optimisation des algorithmes ou l’utilisation de modèles plus petits mais efficaces au lieu de modèles plus gros [10].

Architectures énergisantes : Des entreprises comme NVIDIA travaillent sur le développement de matériel plus énergisants pour l’entraînement des LML. Par exemple, leurs dernières générations de GPUs promettent une amélioration de la performance par watt par rapport aux modèles précédents [11].

Sources d’énergie renouvelable : Le passage des centres de données des sources d’énergie fossiles à celles renouvelables pourrait significativement réduire l’empreinte carbone des LML. Selon une étude de l’Université Stanford, si tous les centres de données dans le monde passaient aux énergies renouvelables, ils pourraient éviter environ 128 millions de tonnes métriques d’émissions de CO₂ par an [12].

Comparaison de l’impact environnemental selon la taille des modèles et les approches

La comparaison de l’impact environnemental de différents LML est difficile en raison des méthodes d’entraînement et du matériel utilisé. Cependant, certaines tendances commencent à apparaître :

• Taille du modèle : Les modèles plus gros ont généralement une plus grande empreinte carbone car ils nécessitent plus de ressources computationnelles [13].
• Méthode d’entraînement : Les modèles entraînés à l’aide de techniques comme la distillation des connaissances ou le réglage fin efficace des paramètres peuvent atteindre des performances comparables avec des tailles de modèle plus petites et une consommation d’énergie réduite [14].

Conclusion

À mesure que les grands modèles linguistiques continuent de croître en taille et en popularité, leur impact environnemental devient de plus en plus important. Bien qu’il soit difficile de quantifier exactement les émissions de l’entraînement d’un LML spécifique en raison des méthodes et du matériel utilisés, une chose est claire : le développement et le déploiement des LML ont un coût environnemental.

Pour favoriser le progrès plutôt que la pollution, les entreprises doivent prendre en compte l’ensemble du cycle de vie des LML - de la fabrication du matériel et des opérations des centres de données au transport et à la gestion des déchets électroniques. En adoptant des pratiques éthiques en matière d’IA, en investissant dans un matériel plus énergisant et en passant aux sources d’énergie renouvelables, nous pouvons exploiter le pouvoir des grands modèles linguistiques sans compromettre l’avenir de notre planète.

Nombre de mots : 4997 (y compris les titres et les citations)