Explication des méthodes GSSL: Generative et Contrastive
Graph Self-Supervised Learning (GSSL)
Deux grandes familles de méthodes pour apprendre des représentations de graphes sans étiquettes
Generative Approche par reconstruction
Le modèle apprend à encoder le graphe dans un espace latent, puis à reconstruire les attributs originaux (features) ou la structure (relations). Le signal superviseur est la qualité de la reconstruction.
Graphe G(X, R)
→
GNN Encoder
→
Z (embedding)
→
Decoder
→
X̂ / R̂
→
Loss L
Deux sous-tâches principales
Tâche 1
Reconstruction des features
Le modèle masque certains attributs de nœuds X et apprend à les prédire depuis l'embedding Z. Le décodeur peut être un MLP, GCN ou RGCN.
Ẑ = GNN(X, A) X̂ = Decoder(Ẑ) L_feat = ‖X - X̂‖²
✓ Préserve les features✓ Info locale
Tâche 2
Reconstruction des relations
Le modèle prédit les arêtes ou scores de relation entre paires de nœuds depuis leurs embeddings. Utilise ConvE, DistMult ou produit scalaire.
Le modèle apprend à rapprocher les représentations de différentes vues augmentées d'un même graphe (paires positives), et à éloigner celles de graphes différents (paires négatives).
Graphe G(X, R)
→
Augmentation
→
G₁, …, Gₖ
→
GNN Encoder
→
H₁, …, Hₖ
→
L_contrastive
Types d'augmentation du graphe
Augmentation 1
Feature Masking
Masque aléatoirement une proportion des attributs de nœuds (mis à zéro ou bruit gaussien). Force le modèle à apprendre des représentations robustes aux features manquantes.
X̃ᵢ = Xᵢ ⊙ mᵢ mᵢ ~ Bernoulli(1-p)
Augmentation 2
Edge Dropping
Supprime aléatoirement une proportion des arêtes du graphe. Force le modèle à apprendre des représentations robustes aux variations de structure.
Ẽ = {(u,v) ∈ E : bᵤᵥ=1} bᵤᵥ ~ Bernoulli(1-p)
Paires positives / négatives
Positives
Deux vues du même nœud/graphe après différentes augmentations → rapprocher dans l'espace latent
Négatives
Vues de nœuds/graphes différents → éloigner dans l'espace latent
Fonctions de loss
Chaque approche optimise un objectif différent. Les méthodes génératives minimisent l'erreur de reconstruction ; les méthodes contrastives maximisent l'accord entre vues augmentées.
Generative L_features — Reconstruction des attributs
MSE entre les features originales et reconstruites. Minimisé quand l'encodeur capture l'information contenue dans les attributs de chaque nœud. Utilisé avec un masquage partiel (style MAE).
Generative L_struct — Reconstruction des relations
Binary cross-entropy sur l'existence d'arêtes (Dot Product / ConvE / DistMult). Le modèle apprend à prédire quels nœuds sont connectés depuis leurs embeddings.
Pour chaque nœud i, maximise la similarité avec sa vue augmentée hᵢ⁺ (positive) relativement à toutes les autres représentations du batch (négatives). τ contrôle la concentration des distributions.
Combinaison des deux approches pour bénéficier à la fois de la préservation de l'information locale (generative) et d'un objectif discriminatif (contrastive). Utilisé dans des méthodes hybrides comme AFGRL, SimGRACE ou des variantes VGAE.
Comparaison des deux approches
Chaque famille a ses forces et faiblesses. Les choisir selon la tâche aval et les contraintes du problème.