Depuis la sortie de PyTorch 2.0, les gains en performance d'exécution des modèles se heurtent à des temps de compilation initiaux très longs, pouvant atteindre une heure ou plus pour les grands modèles de recommandation de Meta. Cet article détaille une initiative menée fin 2024 pour analyser et réduire ces temps de compilation, en se concentrant sur des modèles complexes au-delà des architectures Transformers. L'analyse a été effectuée à l'aide de Tlparse, un outil qui parse les logs de trace de PyTorch pour identifier les goulots d'étranglement dans les différentes étapes de compilation, notamment Dynamo, AOTInductor et TorchInductor. Les résultats ont montré que la majorité du temps de compilation était consacrée à TorchInductor, en particulier lors des phases de compilation asynchrone et d'auto-optimisation avec Triton. Plusieurs axes d'optimisation ont été identifiés, tels que la maximisation du parallélisme avec Triton, l'optimisation des configurations d'auto-optimisation, et l'amélioration des performances du cache de PyTorch 2.0. Ces optimisations ont permis de réduire significativement les temps de compilation, notamment en évitant les compilations redondantes et en améliorant l'efficacité des processus de compilation parallèles. Les techniques développées en collaboration avec plusieurs équipes de Meta ont été appliquées avec succès à un modèle de fondation, démontrant des gains substantiels en termes de temps de compilation et d'efficacité globale.