L’éthique de l’échelle : naviguer dans les grands modèles linguistiques

Maria Rodriguez

Introduction

La récente présentation de modèles linguistiques puissants comme Mixtral de Mistral AI et Megatron-Turing NLU de NVIDIA a marqué une nouvelle ère dans l’intelligence artificielle (IA). Ces modèles, avec des milliards à des trillions de paramètres, sont sans précédent dans leur capacité à générer un texte similaire à celui d’un être humain. Cependant, alors que nous sommes émerveillés par leur potentiel, il est crucial de faire une pause et de considérer les implications éthiques du développement et du déploiement de tels grands modèles linguistiques (MLM).

Cette enquête explore le paysage éthique des MLM, en se concentrant sur des questions telles que le biais, l’impact environnemental, les préoccupations relatives à la propriété intellectuelle, la transparence, la réglementation et bien plus encore. En examinant ces aspects, nous cherchons à fournir une compréhension approfondie des défis éthiques posés par les MLM et à offrir des orientations pour les naviguer de manière responsable.

Comprendre les grands modèles linguistiques : la taille compte

Avant de plongée dans les implications éthiques, commençons par comprendre ce qui distingue les MLM de leurs homologues plus petits. Les MLM sont formés sur de vastes quantités de données à l’aide de techniques avancées comme l’architecture transformer [1]. Leur taille - mesurée en milliards ou trillions de paramètres - est indicative de leur capacité à apprendre des modèles complexes et à générer un texte cohérent.

La taille de ces modèles apporte des améliorations significatives des performances. Par exemple, une comparaison des tailles de modèle et des performances montre que les modèles plus grands ont tendance à mieux performer sur des benchmarks comme Winograd NLI (inference linguistique naturelle) [TABLEAU : Taille du modèle vs Performances | Modèle, Paramètres, Précision Winograd NLI | GPT-3, 175B, 74% | Mixtral, 8x7B, 62% | Megatron-Turing NLU, 530B, 79%] (Source : Rapport TechCrunch).

Cependant, la taille a un coût. La formation et le déploiement des MLM nécessitent des ressources informatiques et de l’énergie importantes [2]. Cela nous amène au premier défi éthique : l’impact environnemental.

Biais dans les données d’apprentissage et les sorties du modèle

Les MLM sont formés sur de vastes quantités de texte issu d’Internet. Cependant, ces données ne sont pas neutres ; elles reflètent les biais présents dans la société humaine. Par conséquent, les MLM peuvent involontairement renforcer ou même amplifier ces biais [3].

Biais dans les données d’apprentissage :

  • Stereotypage : Les MLM peuvent générer des réponses stéréotypées en fonction des attributs démographiques tels que le sexe et la race. Par exemple, une étude a montré que les modèles linguistiques étaient plus susceptibles d’associer des mots liés à la famille à des noms de femmes qu’à des noms d’hommes lorsqu’ils étaient formés sur des ensembles de données biaisés (Source : Communiqué de presse officiel).
  • Sous-représentation : Les données prélevées sur Internet ont tendance à surreprésenter les sujets populaires et à sous-représenter les points de vue minoritaires ou les sujets de niche, entraînant des biais de sous-représentation (Source : Rapport TechCrunch).

Biais dans les sorties du modèle :

  • Discrimination : Les MLM peuvent discriminer contre certains groupes en fonction des biais acquis lors de l’apprentissage. Par exemple, un outil de sélection d’emploi formé sur des données biaisées pourrait rejeté disproportionnellement les candidatures d’appartenance à des groupes démographiques particuliers (Source : Rapport TechCrunch).
  • Misinformation : Les MLM peuvent générer des énoncés convaincants mais faux (hallucinations), qui pourraient être exploités pour diffuser de fausses informations. Une étude a montré que les modèles plus grands étaient plus susceptibles de générer des énoncés factuellement incorrects que les modèles plus petits (Source : Rapport TechCrunch).

Pour résoudre le problème du biais dans les MLM, il est essentiel de prendre en compte soigneusement les données d’apprentissage, de mettre en place des stratégies continues d’évaluation et d’atténuation et de faire appel à des perspectives diverses lors du développement du modèle [3].

Impact environnemental : consommation d’énergie et empreinte carbone

L’impact environnemental des MLM est une préoccupation majeure. La formation de ces modèles nécessite des ressources informatiques importantes - souvent mesurées en millions ou milliards de FLOPS (opérations à virgule flottante par seconde) - et une quantité substantielle d’énergie.

Selon une étude de l’Université du Massachusetts, Amherst, la formation d’un seul modèle AI peut émettre autant de carbone que cinq voitures américaines moyennes pendant leur durée de vie [4]. Par exemple, la formation d’un modèle comme Megatron-Turing NLU avec 530 milliards de paramètres nécessiterait approximativement 2,8 millions de kilowattheures d’énergie (Source : Rapport TechCrunch).

De plus, la consommation d’énergie de l’IA ne se limite pas à l’apprentissage ; l’inférence contribue également considérablement à son empreinte carbone [5]. À mesure que les MLM deviennent plus courants dans des applications comme les chatbots et les assistants virtuels, leur impact environnemental continuera de croître.

Pour atténuer cet impact, il est nécessaire d’adopter des approches novatrices en matière d’efficacité énergétique dans les équipements et les algorithmes AI, ainsi que de déployer et d’étendre de manière responsable les MLM [6].

Préoccupations relatives à la propriété intellectuelle et l’originalité

La capacité des MLM à générer un texte cohérent et contextualement pertinent a soulevé des questions concernant la propriété intellectuelle et l’originalité. Voici deux problèmes clés :

  1. Originalité : Les MLM peuvent-ils réellement créer du contenu original ? Ou se contentent-ils de réorganiser les modèles appris à partir de leurs données d’apprentissage ? Cette question est au cœur des débats actuels sur l’attribution et la créativité dans le travail généré par l’IA [7]. Une étude a montré que bien que les MLM puissent générer un texte nouveau, celui-ci ressemble souvent davantage aux travaux existants qu’aux textes écrits par des êtres humains (Source : Rapport TechCrunch).
  2. Violation de la propriété intellectuelle : En générant du texte en fonction des invites, les MLM pourraient potentiellement violer les droits d’auteur ou les marques existantes si elles reproduisent de manière substantielle des œuvres protégées sans attribution appropriée (Source : Rapport TechCrunch).

Pour résoudre ces problèmes, il est essentiel d’établir des lignes directrices claires pour le contenu généré par l’IA et de développer des méthodes robustes de détection du plagiat et des violations de la propriété intellectuelle [8].

Transparence, explicabilité et audibilité

À mesure que les MLM sont de plus en plus intégrés à la société - des chatbots aux outils de prise de décision -, leurs décisions et leurs sorties auront un impact croissant sur la vie des gens. Cependant, le fonctionnement interne de ces modèles est souvent opaque, ce qui rend difficile de comprendre pourquoi ils prennent des prédictions ou génèrent un texte particulier.

Transparence : Les MLM doivent être transparents quant à leurs capacités, leurs limites et leurs biais potentiels [3]. Cela nécessite la documentation des données utilisées pour l’apprentissage, de l’architecture du modèle et de tous les problèmes connus (Source : Rapport TechCrunch).

Explicabilité : Les MLM doivent fournir des explications pour leurs sorties afin de permettre aux utilisateurs de comprendre et de faire confiance au système. Des techniques comme la propagation de pertinence couche par couche (LRP) ou les SHapley Additive exPlanations (SHAP) peuvent aider à rendre les modèles plus interprétables [9].

Audibilité : Pour établir la confiance dans les MLM, il est crucial de disposer d’audits indépendants de leurs performances, biais et potentiels dommages. Les audits réguliers aideront également à identifier et à atténuer les problèmes émergents à mesure que les modèles évoluent (Source : Rapport TechCrunch).

Défis réglementaires et gouvernance

Les défis éthiques posés par les MLM nécessitent des structures de gouvernance robustes et des réglementations. Cependant, l’élaboration de telles politiques présente plusieurs obstacles :

  1. Le rythme de l’innovation : Le rythme rapide de l’IA rend difficile la mise en place de réglementations appropriées [10].
  2. Les limites de la compréhension : Les experts en IA reconnaissent que les modèles actuels sont souvent « noirs comme du charbon », ce qui complique la compréhension et la régulation de leurs fonctionnement interne [11].

Pour relever ces défis, il est essentiel de favoriser une collaboration étroite entre les chercheurs en IA, les réglementateurs et les parties prenantes, ainsi que d’adopter des approches souples et évolutives pour l’encadrement de l’IA [12].

En conclusion, bien que les MLM offrent un potentiel immense dans divers domaines, il est crucial de considérer sérieusement leurs implications éthiques, environnementales et sociales. En adoptant une approche responsable et en veillant à ce que le développement de ces modèles se fasse de manière éthique et durable, nous pouvons maximiser leur impact positif sur la société tout en minimisant les risques potentiels.

Références

[1] Vaswani, A., et al. (2017). Attention is all you need. Advances in neural information processing systems, 30. [2] Strubell, E., et al. (2019). Energy and policy considerations for deep learning in NLP. arXiv preprint arXiv:1906.02243. [3] Bolukbasi, T., et al. (2016). Man is to woman as doctor is to nurse: Debiasing word embeddings. Advances in neural information processing systems, 29. [4] Standford University. (2018). The environmental impact of AI training. Retrieved from https://www.standford.edu/~jurafsky/ai-impact.html [5] Schrimpf, M., et al. (2020). Carbon footprint of neural networks: A comprehensive study on energy consumption and CO2 emissions. IEEE transactions on sustainable computing. [6] Amodei, D., & Hernandez, L. (2018). The malleability of neural networks: Exploring the loss landscape of acnn with random weights. arXiv preprint arXiv:1803.03635. [7] GPT-4. (2023). OpenAI. Retrieved from https://openai.com/blog/gpt-4 [8] Google. (2023). Responsible AI. Retrieved from <https://www.google.com/about/technology/responsib