BlogIABlogIA

Un LLM (Large Language Model) n’est pas une « boîte magique » qui pense. C’est un système statistique entraîné à prédire le prochain mot (ou sous‑mot, appelé token) en fonction des mots précédents. Dit autrement: à chaque étape, il devine ce qui a le plus de chances de venir ensuite, en s’appuyant sur ce qu’il a appris dans d’immenses corpus de texte. Cette simple règle, appliquée à très grande échelle avec une architecture appelée Transformer, donne des capacités surprenantes: répondre à des questions, expliquer un concept, écrire un code, traduire, synthétiser. Voici comment cela fonctionne, sans équations.

1) Les tokens: l’unité de base — Le modèle ne lit pas des « mots » entiers mais des morceaux (tokens). En français, « développement » peut devenir plusieurs tokens. Pourquoi ? Pour que le modèle traite efficacement les langues, les noms propres, les fautes, les URL. En pratique, 1000 tokens ≈ 700–800 mots en anglais, un peu moins en français. Les services facturent au token; la longueur d’entrée + sortie est limitée par une « fenêtre de contexte » (ex: 8k, 32k, 200k tokens).

2) Le contexte: sa mémoire de travail immédiate — Le modèle ne « se souvient » pas d’hier. Il ne voit que les tokens présents dans le prompt et l’historique de la conversation, jusqu’à la limite de la fenêtre de contexte. Si une information n’est pas dans cette fenêtre (ou mal résumée), il peut l’oublier ou halluciner. D’où l’intérêt du RAG: injecter des extraits pertinents dans le contexte.

3) L’attention: où regarder dans le texte — Le cœur du Transformer s’appelle l’attention. À chaque nouveau token à produire, le modèle pondère l’importance des tokens déjà vus: quels mots m’aident le plus à deviner la suite ? Cette attention est « multi‑têtes »: plusieurs « regards » parallèles captent des motifs différents (syntaxe, style, relations entre entités, structure logique). C’est cette capacité à relier des parties lointaines du texte qui donne la cohérence globale.

4) Apprendre en lisant beaucoup — Pendant l’entraînement, on montre au modèle des milliards de séquences de texte et on lui demande: « Devine le prochain token ». Il se trompe, on corrige ses paramètres, et on recommence. À la fin, il a mémorisé des régularités: grammaire, faits fréquents, façons d’expliquer, schémas de code. Il n’a pas « compris » au sens humain, mais il a une carte statistique très riche de comment les mots s’enchaînent.

5) Pourquoi ça a l’air de raisonner — En prédisant la suite, le modèle peut dérouler des chaînes de logique qu’il a vues des millions de fois (explications pas à pas, preuves, tutoriels). Si vous structurez bien la question (rôle, étapes, critères de réussite), vous obtenez l’illusion utile d’un raisonnement. Et parfois, plus qu’une illusion: des capacités émergent quand le modèle est grand et bien instruit (décomposer un problème, vérifier un calcul simple, relier des notions).

6) Là où ça casse —

7) Les bons réflexes d’usage —

8) Personnalisation: pourquoi les « systèmes » et les « outils » — Les plateformes modernes ajoutent deux briques: un message « système » (définit le rôle constant, ex: « Tu es un prof de maths patient ») et des « outils » (APIs que le modèle peut appeler: recherche, base de données, calcul). Le modèle reste un prédicteur de texte, mais on lui apprend quand appeler un outil et comment utiliser sa réponse. Cela élargit concrètement ses capacités.

9) Choisir un modèle —

10) Sécurité et éthique — Mettez des limites claires: sujets sensibles, données personnelles, droit d’auteur. Ajoutez des politiques de refus, des logs, et des revues humaines sur un échantillon. Un LLM est un outil: la responsabilité reste chez vous.

11) Exemple concret — « Explique‑moi Kubernetes à un développeur junior ».

12) À retenir — Un LLM prédit le prochain token avec brio. Si vous fournissez bon contexte, consignes claires et garde‑fous simples, vous obtenez un assistant vraiment utile. Si vous attendez « la vérité absolue sans sources » ou « la planification parfaite », vous serez déçu. C’est un outil statistique puissant, pas un oracle. original: true category: Fondamentaux tags: