Générer des images de hautre qualité avec le modèle StableDiffusion de KerasCV

Traitement automatique du Langage Naturel (TALN)

Le Traitement Automatique du Langage Naturel est une application de l’apprentissage automatique qui permet aux machines de comprendre et manipuler le langage humain. C’est ce qui nous permettra donc d’interpréter le texte destiné à la génération d'images. 

La vision par ordinateur

En termes simples, la vision par ordinateur confère aux machines la capacité de voir, d'interpréter et de traiter les images et les vidéos. Elle représente également une application de l'apprentissage automatique, caractérisée par une utilisation accrue de l'apprentissage profond (Deep Learning DL).

Implémentation de StableDiffusion

Le décor planté, nous pouvons commencer la section technique de notre article. 

Nous allons implémenter le modèle StableDiffusion avec KerasCV en installant d'abord les packages nécessaires ce qui a été expliqué plus haut. 

La seconde ligne permet d'installer les outils nécessaires à l'installation de waymo-open-dataset dont KerasCV se sert pour les images. 

Ensuite, nous allons importer les packages:

Ceci étant fait, nous allons maintenant construire notre modèle. Ce modèle sera capable de générer des images à partir du texte que nous lui fournirons:

Vous pouvez ignorer le message disant que vous n'avez pas installé Waymo open dataset. 

Nous allons générer des images de "digital painting of angels warrior in the sky'. 

C'est juste pour le fun 😏 !

Mais nous pouvons ajouter d'autres paramètres pour plus de fun !

Et voilà comment générer des images à partir de texte avec le modèle StableDiffusion de KerasCV. 

Par ailleurs, deux (2) choses sont importantes à savoir.

La première est le temps que va prendre le modèle à générer l'image (Le mien a duré 1h pratiquement) sur colab. Votre débit internet sera mis à l'épreuve. 

La seconde chose est la qualité de votre prompt. Il existe un ensemble de paramètres à prendre en compte pour générer une excellente image. Vous pouvez visiter le site Stable Diffusion Art pour en savoir plus.

Mais comment ça marche réellement?

L'on peut croire que cela relève de la magie, mais pas du tout ! 

C'est une sorte de modèle de diffusion latent.

Vous connaissez l'idée de la super-résolution? Il est possible d'entraîner un modèle d'apprentissage profond pour nettoyer(enlever le bruit) une image d'entrée et ainsi la transformer en une version à plus haute résolution. 

Le modèle de Deep Learning utilise sa distribution de données d'apprentissage pour faire rayonner les détails visuels qui seraient très probablement donnés à l'entrée. 

Faible résolution Haute résolution

Enfin, vous pouvez télécharger le modèle sous la forme TFLite pour les applications mobiles (android & iOS) et système embarqués.

Pour finir, l'art et l'IA sont deux domaines qui se complètent à merveille et au-delà de ce qu'on peut voir aujourd'hui sur les réseaux sociaux, nous pouvons souligner un énorme travail de recherche en arrière-plan dans le domaine de l'intelligence artificielle. 

Je vous laisse ce lien lien drive pour les images en haute résolution car le blog diminue la qualité.

J'espère que cet article vous a plu. N'hésitez pas à commenter pour donner votre avis. 

Sur ce, je vous remercie !!!