Articles avec le tag « AdamW »

Cette étude propose une règle de mise à l'échelle de la décroissance des poids pour AdamW, préservant le gain des sous-couches et permettant un transfert sans ajustement des hyperparamètres entre des modèles de différentes largeurs, validée sur des transformateurs de style LLaMA.