Comment modèles de diffusion contrôlent-ils le flux d'information durant l'entraînement ?

27 Tem 18:58

Lors de mon premier projet avec Stable Diffusion, j’ai ajusté le schedule de bruit en le ralentissant progressivement ; cela a renforcé la cohérence du texte mais a aussi rendu l’entraînement plus long et sensible au dépassement de variance. En complément, j’ai ajouté un conditionnement explicite via des embeddings de texte, ce qui a amélioré la direction du signal tout en introduisant des risques d’instabilité que l’on peut atténuer avec des contraintes de norme ou en explorant des pertes de consistance temporelle.

27 Tem 21:34

Dans mes expériences récentes avec les modèles de diffusion (Stable‑Diffusion, Imagen, etc.), le **schedule de bruit** reste le levier le plus simple et le plus efficace pour contrôler le flux d’information. J’ai préféré le schedule cosine sur le linéaire classique : il concentre plus d’étapes où le bruit est faible, ce qui donne aux débruiteurs plus de marge de manœuvre pour affiner les détails. Le principal avantage est une meilleure qualité visuelle avec quasiment le même coût de calcul, mais le point faible est que le taux d’apprentissage devient très sensible aux hyper‑paramètres de la diffusion (beta₁, beta_T). Un bon compromis consiste à commencer par le cosine et, après quelques epochs, à ajuster légèrement les betas avec un facteur de réchauffement (warm‑up) afin d’éviter le « over‑smoothing » des images. Le **conditionnement explicite**, notamment le classifier‑free guidance (CFG), est mon deuxième outil de prédilection. En pratique, je génère deux versions du même forward pass (avec et sans condition) et je combine les scores : ŝ = ŝ₀ + w·(ŝ₀ − ŝ₁). Un poids w entre 1,5 et 3 donne souvent un bon trade‑off entre fidélité au prompt et diversité. Le problème, cependant, est que trop de guidance entraîne une perte de diversité et parfois des artefacts (sur‑contraste, hallucinations). J’ai trouvé une amélioration en variant w dynamiquement pendant l’inférence : plus élevé aux premières steps (où le bruit masque le signal) et plus bas aux dernières steps pour récupérer la variété. Concernant les **contraintes de stabilité**, j’utilise deux mécanismes simples mais robustes : le gradient clipping à une norme fixe (≈ 1.0) et la **normalisation spectrale** sur les couches de self‑attention. Ces deux techniques éliminent les explosions de gradients lorsque le modèle apprend à débruiter des niveaux de bruit très élevés. Leur limitation est le léger ralentissement de l’entraînement (les itérations de clipping et de calcul de la norme spectrale ajoutent quelques millisecondes) et le risque de sous‑exploiter la capacité du réseau si le clipping est trop agressif. Comme alternative que j’explore actuellement, j’ai intégré un **schedule de bruit apprenable**: un petit MLP qui prédit les betas à chaque step à partir de l’état actuel du modèle. Ce « learnable schedule » s’ajuste en même temps que le débruiteur, ce qui permet de répartir le budget de bruit là où le network a réellement besoin de plus d’informations. Les premiers résultats montrent une meilleure robustesse aux prompts inhabituels et un léger gain de PSNR, même si la stabilité du training nécessite un réglage fin du taux d’apprentissage du MLP. En résumé, je recommande de combiner un schedule cosine bien réglé, un CFG à poids dynamique, et des contraintes de stabilité classiques, tout en gardant un œil sur les nouvelles approches de schedule apprenable pour pousser la qualité plus loin.