En coulisse
Bonnes habitudes de santé : l’origami pour retrouver le calme intérieur
par Anna Sandner
StableDiffusion : des images à partir d’une saisie de texte
23/9/2022
La génération d'images à l'aide de l'intelligence artificielle fait des progrès. StableDiffusion ne fait pas de miracles, mais est plein de surprises. Et, comme moi, vous pouvez aussi l’essayer.
Toujours une nouvelle image
Je commence par taper « cheesy giraffe skiing in the Swiss mountains wearing headphones ». Donc une girafe qui skie dans les montagnes suisses avec des écouteurs. Les saisies de texte en anglais fonctionnent mieux, car StableDiffusion a été entraîné principalement avec des données en anglais.
Les images générées par StableDiffusion ne sont jamais les mêmes. Même si le texte et les paramètres restent identiques. Le paramètre « Guidance » vous permet d'indiquer dans quelle mesure l'IA doit respecter le texte saisi. Par défaut, elle est presque à sa valeur maximale. Mais même avec ce réglage, les résultats varient fortement.
Les saisies insolites donnent du n’importe quoi
L'exemple de la girafe réunit différentes choses qui ne vont normalement pas ensemble. De telles saisies de texte sont bien sûr très tentantes, mais, en même temps, elles sont très difficiles pour l'IA. En effet, il n'y a pas de photos, ni même probablement de dessins, qui les représentent. Et l'IA est entraînée à partir d'images réelles.
Le problème se manifeste également dans le texte « John Oliver marries a cabbage », en français « John Oliver épouse un chou ».
Certes, les éléments mentionnés dans le texte se retrouvent dans les images, mais pas sous la forme décrite. Dans aucune photo, John Oliver n'épouse un chou. Comment j’en arrive à une phrase aussi absurde ? Dans une vidéo de John Oliver, quelqu'un a essayé la même chose avec Dall-E 2. Dall-E 2 échoue, tout comme StableDiffusion.
Comme l'IA a besoin de modèles réels pour obtenir de bons résultats, John Oliver a épousé un chou pour l'occasion. Après tout, on fait tout ce qu’on peut pour aider.
Ce qui fonctionne bien et moins bien
Vous avez certainement remarqué les yeux grotesques de John Oliver. Les yeux sont souvent de travers. Les corps humains sont parfois déformés de manière grotesque. StableDiffusion a également du mal à dessiner des lignes droites.
Cela est plus gênant pour les images photoréalistes que pour les peintures. Quoi qu’il en soit, les points forts de StableDiffusion semblent se situer dans le domaine des images fantastiques. Le site arthub.ai en donne une bonne impression.
Voici quelques images pour accompagner le texte « a beautiful castle beside a waterfall in the woods, fantasy painting ».
StableDiffusion n'est pas non plus très à l'aise avec des termes abstraits. L'image la plus inappropriée rencontrée au cours de mon test de plusieurs centaines d'images est sortie avec la saisie « happiness » : l’image exprime plutôt le contraire.
Top 20 : les meilleures illustrations de titres de chansons
20 : Dr. Funkenstein (George Clinton)
19 : Dancing Queen (ABBA)
18 : Cosmic Girl (Jamiroquai)
17 : Breakfast in America (Supertramp)
16 : Shelter From The Storm (Bob Dylan)
15 : Yellow River (Christie)
14 : Jailhouse Rock (Elvis Presley)
13 : Diamonds on the Soles of Her Shoes (Paul Simon)
12 : Sexy Motherfucker (Prince)
11 : Shine On You Crazy Diamond (Pink Floyd)
10 : Material Girl (Madonna)
9 : Leck mich im Arsch (Wolfgang Amadeus Mozart)
8 : Sex Machine (James Brown)
7 : I Am the Walrus (Beatles)
6 : Bad Guy (Billie Eilish)
5 : Sultans of Swing (Dire Straits)
4 : The Boy in the Bubble (Paul Simon)
3 : Highway to Hell (AC/DC)
2 : Lucy In The Sky With Diamonds (Beatles)
1 : Shiny Happy People (R.E.M.)
David Lee
Senior Editor
David.Lee@digitecgalaxus.chMon intéret pour l'informatique et l'écriture m'a mené relativement tôt (2000) au journalisme technique. Comment utiliser la technologie sans se faire soi-même utiliser m'intéresse. Dans mon temps libre, j'aime faire de la musique où je compense mon talent moyen avec une passion immense.
En coulisse
Des informations intéressantes sur le monde des produits, un aperçu des coulisses des fabricants et des portraits de personnalités intéressantes.
Tout afficher
