Segmentation d’images avec SAM 2.1 - Tout-en-un 🖼️

Introduction

La segmentation d’images est une tâche cruciale en vision par ordinateur, utilisée pour identifier et localiser des objets dans les images. Dans ce tutoriel, nous allons explorer comment utiliser le modèle Segment Anything Model (SAM) version 2.1 pour la segmentation d’images tout-en-un - une fonctionnalité puissante qui permet au modèle de segmenter n’importe quel objet sans nécessiter de données d’apprentissage supplémentaires ou de réglage fin. Cette capacité est particulièrement utile dans des applications diverses telles que l’imagerie médicale, les véhicules autonomes et la réalité augmentée.

Prérequis

Pour commencer avec ce tutoriel, assurez-vous d’avoir installé :

📺 Regardez : Les réseaux de neurones expliqués

Vidéo par 3Blue1Brown

Python 3.10+
SAM version 2.1
torch
numpy >= 1.24.3
matplotlib

Commandes d’installation :

pip install sam-api torch numpy matplotlib

Étape 1 : Configuration du projet

Tout d’abord, clonez le référentiel contenant le modèle Segment Anything Model (SAM) et ses dépendances. Cela Setup les étapes :

Clonez le référentiel SAM à partir de GitHub.
Accédez au répertoire cloné.
Installez les packages Python requis listés dans requirements.txt.

git clone https://github.com/facebookresearch/segment-anything.git
cd segment-anything
pip install -r requirements.txt

Étape 2 : Mise en œuvre centrale

Dans cette étape, nous allons charger un modèle préentraîné à partir de SAM et l’utiliser pour générer des masques pour les objets dans une image. Cela implique d’initialiser le modèle, de charger l’image d’entrée et d’appeler la fonction de segmentation.

import torch
from segment_anything import sam_model_registry, SamPredictor

# Initialisez le modèle SAM avec le chemin de point de contrôle approprié.
def initialiser_sam(chemin_point_de_contrôle: str):
    """Initialisez le modèle SAM."""
    device = "cuda" if torch.cuda.is_available() else "cpu"
    sam = sam_model_registry["vit_h"](point_de_contrôle=chemin_point_de_contrôle)
    return SamPredictor(sam.to(device))

# Chargez une image et passez-la à travers le prédicteur SAM.
def générer_mask(chemin_image: str, prédicteur):
    """Générez un masque de segmentation en utilisant l'image chargée."""
    prédicteur.set_image(chemin_image)
    point_d'entrée = torch.tensor([256., 384.]) # Exemple d'emplacement du point
    étiquette_point = torch.tensor([1])
    masques, _, _ = prédicteur.prédire(coords_point=point_d'entrée, étiquettes_point=étiquette_point, sortie_multimask=False)

    return masques

def principale():
    chemin_point_de_contrôle = "./sam_vit_h_4b8939.pth"  # Chemin vers les poids du modèle SAM
    prédicteur = initialiser_sam(chemin_point_de_contrôle)
    chemin_image = "chemin/vers/votre/image.jpg"
    masque = générer_mask(chemin_image, prédicteur)

if __name__ == "__main__":
    principale()

Étape 3 : Configuration

La configuration de votre Setup SAM implique de définir les chemins vers le point de contrôle du modèle et de spécifier comment les images d’entrée sont traitées. Dans cet exemple, nous avons durci certains paramètres pour simplifier mais dans la pratique, ceux-ci seraient configurable via un fichier de configuration ou des arguments en ligne de commande.

# Exemple de configuration du chemin vers le point de contrôle SAM.
CHEMIN_POINT_DE_CONTRÔLE_SAM = "./sam_vit_h_4b8939.pth"

def configurer_sam(chemin_point_de_contrôle: str):
    prédicteur = initialiser_sam(CHEMIN_POINT_DE_CONTRÔLE_SAM)
    return prédicteur

def configurer_image_d'entrée(chemin_image: str):
    chemin_image = "chemin/vers/votre/image.jpg"
    prédicteur.set_image(chemin_image)

prédicteur = configurer_sam(CHEMIN_POINT_DE_CONTRÔLE_SAM)
configurer_image_d'entrée("chemin/vers/votre/image.jpg")

Étape 4 : Exécution du code

Pour exécuter le script, assurez-vous d’avoir un fichier de point de contrôle SAM approprié dans votre répertoire de travail et une image à segmenter. Exécutez la fonction principale qui traitera l’image d’entrée et générera des masques de segmentation.

python main.py
# Sortie attendue :
# Un ensemble de masques binaires représentant différents segments dans l'image.

Étape 5 : Conseils avancés

Pour optimiser les performances,considerer utiliser une GPU si disponible pour des temps d’inférence plus rapides. De plus,expérimentez avec différents points et étiquettes d’entrée pour obtenir des résultats de segmentation plus précis.

Optimisation : Utilisez sortie_multimask=True lors de l’appel à prédire() pour plusieurs segmentations d’un objet.
Meilleures pratiques : Utilisez la dernière version de SAM (2.1) et mettez régulièrement à jour vos dépendances.

Résultats

À l’issue, vous devriez voir un ensemble de masques binaires correspondant à différents objets ou régions dans votre image d’entrée. Ceux-ci peuvent être utilisés directement pour une analyse ultérieure telle que la détection d’objets, le suivi ou la compréhension sémantique.

Aller plus loin

Explorez la documentation officielle : Documentation SAM 2.1
Plongez dans le référentiel GitHub SAM : Référentiel du modèle Segment Anything
En savoir plus sur les cas d’utilisation avancés tels que la segmentation d’instances et la segmentation panoptique avec SAM.

Conclusion

En utilisant le modèle Segment Anything Model (SAM) 2.1, vous pouvez effectuer une segmentation d’images tout-en-un sur une variété d’objets sans nécessiter de données d’apprentissage spécialisées ou de réglage fin. Ce tutoriel a fourni une vue d’ensemble de la façon de configurer votre environnement, de configurer le modèle et d’effectuer des tâches de segmentation de base.

Bonne codification !

Segmentation d'image avec SAM 2.1 - Tout en un coup zéro 🖼️