La conception de machines complexes représente à la fois un marqueur de l'intelligence humaine et un fondement de la pratique ingénieriale. Face aux récents progrès des grands modèles de langage, cette étude s'interroge sur leur capacité à apprendre à créer, en adoptant une approche centrée sur la conception compositionnelle de machines. Cette tâche consiste à assembler des composants standardisés pour répondre à des exigences fonctionnelles comme la locomotion ou la manipulation dans un environnement physique simulé.
Pour soutenir cette investigation, les chercheurs ont développé BesiegeField, un environnement de test basé sur le jeu de construction mécanique Besiege, qui permet la construction modulaire, la simulation physique et l'évaluation par récompenses. En utilisant cette plateforme, ils ont évalué les performances des modèles de langage les plus avancés dotés de workflows agentiques, identifiant les compétences clés nécessaires au succès : raisonnement spatial, assemblage stratégique et capacité à suivre des instructions.
Les résultats montrent que les modèles open-source actuels présentent des limitations significatives dans cette tâche complexe. Les chercheurs explorent donc le renforcement apprentissage comme voie d'amélioration, en constituant un jeu de données de démarrage à froid, en menant des expériences de fine-tuning par RL, et en mettant en lumière les défis ouverts à l'intersection du langage, de la conception mécanique et du raisonnement physique.