На huggingface появилась новая демонстрация от Microsoft:
https://huggingface.co/spaces/microsoft/Promptist
Предполагается, что с помощью этого инструмента пользователи будут "оптимизировать" промпты для генеративных нейросетей, чтобы создавать более качественные изображения. По факту же в конец вашего промпта просто добавляются некоторые модификаторы через запятую (например, промпт "A cat" превращается в "A cat, fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration").
Конечно, я не специализируюсь на промптах, но все равно решила испытать этот инструмент самостоятельно на примере нейросети Openjorney (аналог Midjorney). Для этого я придумала несколько промптов - начав с самого простого и постепенно усложняя задачу с помощью изощрённых вариаций до максимально странных и абстрактных промптов. В двух следующих постах выложу примеры генерации, соответствующие исходным промптам и промптам с модификаторами.
#генерация
https://huggingface.co/spaces/microsoft/Promptist
Предполагается, что с помощью этого инструмента пользователи будут "оптимизировать" промпты для генеративных нейросетей, чтобы создавать более качественные изображения. По факту же в конец вашего промпта просто добавляются некоторые модификаторы через запятую (например, промпт "A cat" превращается в "A cat, fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration").
Конечно, я не специализируюсь на промптах, но все равно решила испытать этот инструмент самостоятельно на примере нейросети Openjorney (аналог Midjorney). Для этого я придумала несколько промптов - начав с самого простого и постепенно усложняя задачу с помощью изощрённых вариаций до максимально странных и абстрактных промптов. В двух следующих постах выложу примеры генерации, соответствующие исходным промптам и промптам с модификаторами.
#генерация
huggingface.co
Promptist - a Hugging Face Space by microsoft
This app takes plain text input and optimizes it into a better format for Stable Diffusion. Users provide a description, and the app returns an enhanced version to improve image generation.
👍10
Рис.1. A cat
Рис.2. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration
Рис.3. Robot cat with USB tail
Рис.4. + RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD
Рис.5. Eerie cat from Adeptus mechanicus in a red cloak with a lot of augmentations and grey mechanical tentacles with claws
Рис.6. + fantasy, intricate, elegant, highly detailed, digital painting, artstation
Рис.7. A manifold in Euclidean space which resembles to cat somehow
Рис.8. + digital art, trending on artstation
Рис.9. Architecture of the stable diffusion model, which generates cats
Рис.10. + hyperdetailed, artstation, cgsociety, 8 k
Видно, что чем более абстрактен промпт, тем больше модификаторы мешают нейросети понять, что от нее хотят. В некоторых случаях модель просто скатывается в генерацию обычных котов и пейзажей, несмотря на то, что промпт был совсем не об этом.
#генерация
Рис.2. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration
Рис.3. Robot cat with USB tail
Рис.4. + RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD
Рис.5. Eerie cat from Adeptus mechanicus in a red cloak with a lot of augmentations and grey mechanical tentacles with claws
Рис.6. + fantasy, intricate, elegant, highly detailed, digital painting, artstation
Рис.7. A manifold in Euclidean space which resembles to cat somehow
Рис.8. + digital art, trending on artstation
Рис.9. Architecture of the stable diffusion model, which generates cats
Рис.10. + hyperdetailed, artstation, cgsociety, 8 k
Видно, что чем более абстрактен промпт, тем больше модификаторы мешают нейросети понять, что от нее хотят. В некоторых случаях модель просто скатывается в генерацию обычных котов и пейзажей, несмотря на то, что промпт был совсем не об этом.
#генерация
👍10
Ещё больше этот эффект заметен при генерации следующих вещей (за исключением рис. 14, тут осталась заметная степень корреляции с промптом)
Рис. 11. Architecture of the stable diffusion model
Рис. 12.+ hyperdetailed, artstation, cgsociety, 8 k
Рис. 13. Mysterious love of two manifolds in Euclidian space
Рис. 14. + by Greg Rutkowski and Raymond Swanland, Trending on Artstation, ultra realistic digital art
Рис. 15. The shop with infinite dimensional vector spaces
Рис. 16. + digital painting, artstation, concept art, soft light, hdri, smooth, sharp focus, illustration, fantasy
Рис. 17. The vector space
Рис. 18. + highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha, high definition
Рис. 19. The
Рис. 20. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD, hyperdetailed, artstation, cgsociety
Пояснение к последнему примеру: по промпту "the" модель должна выбрасывать случайные картинки, что она и делает в исходном варианте. При добавлении модификаторов, конечно, распределение схлопывается к обычным фентези женщинам и драконам.
Общий вывод такой: похоже, что инструмент promptist, несмотря на ограниченность области применимости, может быть полезен при генерации изображений, которые нравятся нормисам.
#генерация
Рис. 11. Architecture of the stable diffusion model
Рис. 12.+ hyperdetailed, artstation, cgsociety, 8 k
Рис. 13. Mysterious love of two manifolds in Euclidian space
Рис. 14. + by Greg Rutkowski and Raymond Swanland, Trending on Artstation, ultra realistic digital art
Рис. 15. The shop with infinite dimensional vector spaces
Рис. 16. + digital painting, artstation, concept art, soft light, hdri, smooth, sharp focus, illustration, fantasy
Рис. 17. The vector space
Рис. 18. + highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha, high definition
Рис. 19. The
Рис. 20. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD, hyperdetailed, artstation, cgsociety
Пояснение к последнему примеру: по промпту "the" модель должна выбрасывать случайные картинки, что она и делает в исходном варианте. При добавлении модификаторов, конечно, распределение схлопывается к обычным фентези женщинам и драконам.
Общий вывод такой: похоже, что инструмент promptist, несмотря на ограниченность области применимости, может быть полезен при генерации изображений, которые нравятся нормисам.
#генерация
👍11