L'article explore une innovation dans le domaine des transformers, appelée 'Momentum Attention'. Contrairement à l'attention classique qui ne tient pas compte des étapes précédentes, cette méthode introduit une forme d'inertie dans le mécanisme d'attention. Cela signifie que l'attention actuelle est partiellement influencée par les attentions précédentes, créant ainsi une continuité et une stabilité accrues dans le traitement des séquences. Cette approche est inspirée par le concept de momentum en physique, où un objet en mouvement ne s'arrête pas instantanément mais conserve une partie de son mouvement précédent. L'article explique comment cette méthode peut être implémentée dans des modèles de transformers existants, en modifiant légèrement l'architecture pour inclure cette inertie. Cela permet de réduire les variations brutales dans les gradients et d'améliorer la stabilité de l'apprentissage, particulièrement utile pour les séquences longues et les modèles autoregressifs. L'article fournit également un exemple de code en PyTorch pour illustrer comment cette méthode peut être intégrée dans un modèle de transformer. Enfin, il discute des avantages potentiels de cette approche, tels que la réduction du bruit dans les gradients et une meilleure stabilité de l'attention, ainsi que des défis possibles, comme le choix du paramètre d'inertie et la gestion des erreurs qui peuvent persister en raison de cette inertie.