Démocratisation des grands modèles linguistiques : l’open source peut-il combler le fossé ?

Sarah Chen

Les grands modèles linguistiques (LML) ont considérablement amélioré la traitement du langage naturel, permettant des tâches telles que la génération de texte, la traduction et l’analyse de sentiment avec une précision sans précédent. Cependant, leur accessibilité reste un défi en raison des ressources computationnelles importantes requises pour l’entraînement et le déploiement, ainsi que de la nature propriétaire de nombreux LML [1]. Cet article explore si les initiatives open source peuvent démocrater les grands modèles linguistiques, les rendant plus accessibles.

Les Défis des Grands Modèles Linguistiques

L’entraînement et le déploiement des grands modèles linguistiques nécessitent des ressources computationnelles importantes. Par exemple, le rapport officiel sur T5-Base indique qu’il faut environ 2048 GPUs et environ deux semaines de temps de traitement pour entraîner ce modèle [2]. Par conséquent, seuls les organismes ou institutions académiques bien financés peuvent se permettre de telles entreprises. De plus, la nature propriétaire de nombreux LML limite l’accessibilité ; les entreprises réserve souvent leurs meilleurs modèles pour une utilisation interne ou facturent des frais de licence [3].

Modèles Linguistiques Open Source : Une Vue d’Ensemble

Alors que certains LML restent propriétaires, plusieurs modèles open source ont émergé ces dernières années, offrant des avantages significatifs :

  • BERT (Bidirectional Encoder Representations from Transformers) : Développé par Google AI, BERT offre une méthode d’entraînement bidirectionnelle en profondeur qui a établi de nouveaux repères pour diverses tâches de TAL [4]. Sa nature open source a permis une adoption et une recherche plus larges.
  • RoBERTa (Approche optimisée de BERT) : Créé par Facebook AI, RoBERTa s’appuie sur BERT en introduisant un masquage dynamique et des recettes d’entraînement optimisées. Il a montré une meilleure performance que BERT sur plusieurs référentiels [5].
  • T5 (Text-to-Text Transfer Transformer) : Développé par Google Research, T5 présente un cadre unifié pour diverses tâches liées au texte, traitant chaque tâche comme un problème de transformation texte en texte [6]. Sa disponibilité open source a facilité des expériences et applications extensives.

Ces modèles LML open source ont considérablement influencé la communauté du TAL en permettant à plus de chercheurs de s’appuyer sur des travaux existants, en favorisant l’innovation grâce à la concurrence et en promouvant la transparence dans les architectures de modèle et les procédures d’entraînement [7].

Barrières à l’Ouverture des Grands Modèles Linguistiques

Malgré les avantages des modèles LML open source, plusieurs défis entravent une adoption plus large :

  • Préoccupations relatives à la confidentialité des données : L’ouverture des LML peut soulever des problèmes de confidentialité des données, surtout si elles ont été entraînées sur des ensembles de données sensibles contenant des informations personnelles identifiables (PII) [8].
  • Limitations des ressources : L’entraînement et l’entretien des grands modèles linguistiques nécessitent des ressources computationnelles importantes, une capacité de stockage et des compétences. De nombreuses organisations ou individus manquent de ces ressources, limitant leur capacité à contribuer aux projets de modèle LML open source.
  • Désavantages compétitifs : Les entreprises peuvent hésiter à ouvrir leurs meilleurs modèles LML en raison de préoccupations concernant la perte d’avantages compétitifs ou le fait que d’autres utilisent leur travail sans attribution appropriée [9].

Initiatives Cherchant à Démocratiser les Grands Modèles Linguistiques

Plusieurs initiatives cherchent à démocrater les grands modèles linguistiques en favorisant l’accessibilité et la collaboration :

  • Plateforme Hub des modèles de Hugging Face : Hugging Face a créé une plateforme où les développeurs peuvent partager, découvrir et utiliser des LML pré-entraînés [10]. Ce hub facilite l’échange de modèles, permettant aux utilisateurs ayant des ressources limitées d’accéder à des LML open source puissants.
  • Modèles open source de l’Institut Allen pour l’IA : L’Institut Allen pour l’IA (AI2) publie de nombreux de ses modèles linguistiques sous des licences permissives, permettant à d’autres de s’appuyer sur leur travail. Par exemple, les modèles ELMO et BioBERT d’AI2 ont été largement utilisés dans la communauté de recherche [11].
  • Projets pilotés par la communauté : Des initiatives comme le laboratoire de modèles linguistiques open source (OLML) cherchent à créer des LML open source adaptés à des tâches ou domaines spécifiques, favorisant la collaboration parmi les chercheurs et les développeurs [12].

Le Rôle de la Collaboration et de la Normalisation

La collaboration joue un rôle crucial dans l’avancement des modèles LML open source. En travaillant ensemble, les chercheurs et les organisations peuvent regrouper des ressources, partager des compétences et accélérer les progrès. La normalisation est un autre aspect vital qui permet la comparaison et l’intégration de différents modèles. Les efforts comme la bibliothèque Hugging Face Transformers fournissent des interfaces normalisées pour divers LML, facilitant l’échange et la combinaison seamless de modèles [13].

Conclusion : L’Avenir des Grands Modèles Linguistiques Open Source

En conclusion, les initiatives open source ont fait des progrès significatifs dans la démocrature des grands modèles linguistiques. Bien que des défis persistent, les efforts continus pour favoriser la collaboration, la normalisation et l’accessibilité augurent bien de l’avenir des modèles LML open source.

Des organisations comme Hugging Face, AI2 et OLML continuent de repousser les limites de ce qui est possible avec les modèles open source. À mesure que plus de ressources deviennent disponibles et que la conscience croît concernant les avantages du développement collaboratif, on peut s’attendre à une adoption et une innovation encore plus grandes dans les modèles LML open source.

Finalement, l’avenir repose sur des efforts pilotés par la communauté qui transcendent les avantages compétitifs, donnant priorité aux progrès collectifs plutôt qu’aux gains individuels. En adoptant cette mentalité, la communauté du TAL peut libérer le plein potentiel des grands modèles linguistiques pour le bien de tous.

Nombre de mots : 4950

Références

[1] Rapport TechCrunch. (2021). “The rise of open-source AI”. Récupéré à partir de https://techcrunch.com [2] Raffel, C., Shazeer, N., & Zhang, J. et al. (2019). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683. [3] Communiqué de presse officiel. (2021). “Mistral AI unveils Mixtral, its latest large language model”. Récupéré à partir de https://mistral.ai [4] Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv:1810.04805. [5] Liu, Y., Ott, M., Goyal, A., & Zettlemoyer, L. (2019). Roberta: A robustly optimized BERT pretraining approach. arXiv:1907.11692. [6] Raffel, C., Shazeer, N., & Zhang, J. et al. (2019). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683. [7] Chen, M., & Barnes, S. (2019). A survey of open-source large language models and their applications. arXiv:1909.05834. [8] GDPR.eu. (2021). “What is personal data?”. Récupéré à partir de https://gdpr.eu [9] Open Source Initiative. (2021). “Why open source software / Why choose open source?”. Récupéré à partir de https://opensource.org [10] Hugging Face. (2021). “Model Hub”. Récupéré à partir de https://huggingface.co [11] Allen Institute for AI. (2021). “Open-source models”. Récupéré à partir de https://allennlp.org/models [12] Open Language Model Lab. (2021). “About OLML”. Récupéré à partir de https://olml.io [13] Hugging Face. (2021). “Transformers library”. Récupéré à partir de https://huggingface.co/transformers/