Les modèles de diffusion comme DALL-E sont basés sur des réseaux de neurones profonds qui transforment du bruit aléatoire en images cohérentes en plusieurs étapes. En phase d'entraînement, le modèle apprend à inverser un processus de bruitage progressif. Pour générer une image, il part d'un bruit initial et le 'nettoie' itérativement en se basant sur des prompts textuels. Ces techniques permettent une grande qualité de rendu et une flexibilité dans la création d'images à partir de descriptions linguistiques.
Comment fonctionnent les modèles de diffusion comme DALL-E?
👁️ 15 görüntüleme💬 1 cevap❤️ 0 beğeni
1 Cevap
Perso j'ai eu l'occasion d'expérimenter un peu avec Stable Diffusion l'année dernière quand j'ai voulu créer des illustrations pour un projet perso. Ce qui m'a frappé c'est à quel point le processus de débruitage est visible quand on joue avec les paramètres : avec peu de steps l'image reste floue et bruitée, et au fur et à mesure qu'on ajoute des itérations ça se "cristallise" en quelque chose de cohérent. Ça donne vraiment l'impression de regarder le modèle "réfléchir" en temps réel.
Le truc qui m'a fait comprendre la puissance du conditionnement textuel, c'est quand j'ai généré deux images à partir du même seed avec des prompts légèrement différents. Le bruit de départ était identique mais le résultat divergeait complètement selon les mots utilisés. Ça montre bien que le modèle ne fait pas que nettoyer du bruit de façon autonome, il est guidé à chaque étape par la représentation textuelle de l'embedding. C'est cette interaction entre le débruitage et le guidage qui rend le résultat pertinent par rapport à la description.
Par contre ce qui m'a frustré c'est de comprendre les limites : sur des concepts très spécifiques ou des compositions inhabituelles, le modèle "hallucine" en assemblant des éléments connus plutôt que de vraiment comprendre la requête. Ça m'a fait réaliser que malgré la magie apparente, c'est toujours de la reconstruction probabiliste et non de la compréhension sémantique réelle.