Une équipe de chercheurs issus du MIPT (Institut de physique et de technologie de Moscou), de l’Université Mohammed bin Zayed d’intelligence artificielle (Abou Dabi, Émirats arabes unis), d’Innopolis et de Skolkovo (Skoltech) a développé une approche innovante pour résoudre les inéquations variationnelles dans des contextes où les dérivées — notamment le jacobien — sont connues de manière imprécise. Leurs travaux, publiés dans les actes de la conférence NeurIPS 2024, combinent une analyse théorique rigoureuse et des validations expérimentales, démontrant la supériorité de leur méthode par rapport aux approches classiques.
L’étude se concentre sur l’impact des erreurs dans l’estimation du jacobien sur les méthodes du second ordre, souvent utilisées pour leur rapidité de convergence dans les problèmes d’optimisation. Les auteurs établissent d’abord une borne inférieure de complexité, prouvant qu’aucune méthode utilisant un jacobien inexact ne peut converger plus vite qu’un certain seuil, indépendamment de sa sophistication. Cette limite fondamentale clarifie les performances maximales atteignables et guide le développement d’algorithmes optimaux.
Pour surmonter ces contraintes, les chercheurs proposent un algorithme optimal spécialement conçu pour exploiter au mieux les informations partielles ou bruitées sur le jacobien. Celui-ci intègre des techniques de régularisation et d’adaptation dynamique des pas de descente, réduisant ainsi la sensibilité aux erreurs tout en préservant une convergence efficace. Parallèlement, l’équipe explore des variantes quasi-newtoniennes qui approximent le jacobien sans le calculer explicitement, par exemple en utilisant des mises à jour de rang faible ou des méthodes basées sur l’historique des gradients. Ces alternatives offrent un compromis avantageux entre précision et coût computationnel.
Les résultats expérimentaux, menés sur des benchmarks variés incluant des problèmes d’apprentissage automatique et d’optimisation sous contraintes, confirment que la nouvelle méthode surpassent les approches existantes, notamment les méthodes de premier ordre (comme le gradient descendant) ou les méthodes du second ordre classiques lorsque le jacobien est mal estimé. Les gains en termes de vitesse de convergence et de robustesse aux bruits sont particulièrement marqués dans les scénarios où les données sont limitées ou corrompues. Cette avancée ouvre des perspectives pour des applications en intelligence artificielle, en économie computationnelle ou en simulation physique, où les dérivées sont souvent approximatives.
Enfin, la publication souligne l’importance de ces travaux dans le contexte actuel de l’optimisation numérique, où les modèles deviennent de plus en plus complexes et les données de moins en moins fiables. En formalisant les limites théoriques et en proposant des solutions pratiques, cette recherche contribue à rendre les méthodes du second ordre plus accessibles et performantes, même dans des environnements imparfaits. Les codes sources et les détails techniques sont accessibles en open access, favorisant leur adoption par la communauté scientifique.