L'adaptation de domaine non supervisée reste un défi majeur pour le transfert de connaissances des modèles à travers des domaines inconnus. Les méthodes existantes peinent à équilibrer la nécessité de représentations invariantes de domaine tout en préservant les caractéristiques spécifiques à chaque domaine. Cette étude introduit une approche novatrice qui déplace l'accent de l'alignement des représentations en coordonnées absolues vers l'alignement du positionnement relatif des concepts équivalents dans les espaces latents. La méthode définit une structure agnostique de domaine basée sur les relations sémantiques et géométriques entre les étiquettes de classe dans l'espace linguistique, guidant ainsi l'adaptation pour garantir que l'organisation des échantillons dans l'espace visuel reflète les relations inter-classes de référence tout en préservant les caractéristiques spécifiques au domaine. Les résultats empiriques démontrent la supériorité de cette méthode dans les tâches d'adaptation de domaine à travers quatre ensembles de données d'images et de vidéos diversifiés, surpassant les travaux précédents dans 18 scénarios d'adaptation différents avec des améliorations de précision moyenne de +3,32 % sur DomainNet, +5,75 % sur GeoPlaces, +4,77 % sur GeoImnet et +1,94 % d'amélioration de la précision moyenne de classe sur EgoExo4D. Cette approche ouvre de nouvelles perspectives pour l'apprentissage de modèles plus robustes et adaptables dans des environnements variés et dynamiques, ce qui est crucial pour les applications pratiques de la vision par ordinateur et de l'intelligence artificielle.