UrbanVerse est un système révolutionnaire qui permet de créer des simulations urbaines réalistes et interactives à partir de vidéos de visites de villes. Ce système se compose de deux éléments principaux : UrbanVerse-100K, une base de données de plus de 100 000 actifs 3D urbains annotés avec des attributs sémantiques et physiques, et UrbanVerse-Gen, une pipeline automatique qui extrait les dispositions des scènes à partir de vidéos et instancie des simulations 3D à l'échelle métrique en utilisant les actifs récupérés. UrbanVerse, fonctionnant dans IsaacSim, offre 160 scènes de haute qualité construites à partir de 24 pays, ainsi qu'un benchmark de 10 scènes de test conçues par des artistes. Les expériences montrent que les scènes UrbanVerse préservent la sémantique et les dispositions du monde réel, atteignant un réalisme évalué par l'homme comparable à celui des scènes conçues manuellement. Dans la navigation urbaine, les politiques formées dans UrbanVerse démontrent des lois de puissance de mise à l'échelle et une forte généralisation, améliorant le succès de 6,3 % en simulation et de 30,1 % en transfert sim-to-real zéro-shot par rapport aux méthodes précédentes, accomplissant une mission réelle de 300 m avec seulement deux interventions. Ce système ouvre de nouvelles perspectives pour l'entraînement des agents d'IA urbains, tels que les robots livreurs et les quadrupèdes, en leur fournissant des environnements urbains divers et fidèles pour naviguer dans des rues chaotiques et assurer la connectivité du dernier kilomètre. UrbanVerse représente une avancée significative dans la création d'environnements de simulation réalistes et scalables, essentiels pour le développement et le déploiement d'agents d'IA dans des contextes urbains complexes.