Рис.1. A cat
Рис.2. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration
Рис.3. Robot cat with USB tail
Рис.4. + RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD
Рис.5. Eerie cat from Adeptus mechanicus in a red cloak with a lot of augmentations and grey mechanical tentacles with claws
Рис.6. + fantasy, intricate, elegant, highly detailed, digital painting, artstation
Рис.7. A manifold in Euclidean space which resembles to cat somehow
Рис.8. + digital art, trending on artstation
Рис.9. Architecture of the stable diffusion model, which generates cats
Рис.10. + hyperdetailed, artstation, cgsociety, 8 k
Видно, что чем более абстрактен промпт, тем больше модификаторы мешают нейросети понять, что от нее хотят. В некоторых случаях модель просто скатывается в генерацию обычных котов и пейзажей, несмотря на то, что промпт был совсем не об этом.
#генерация
Рис.2. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration
Рис.3. Robot cat with USB tail
Рис.4. + RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD
Рис.5. Eerie cat from Adeptus mechanicus in a red cloak with a lot of augmentations and grey mechanical tentacles with claws
Рис.6. + fantasy, intricate, elegant, highly detailed, digital painting, artstation
Рис.7. A manifold in Euclidean space which resembles to cat somehow
Рис.8. + digital art, trending on artstation
Рис.9. Architecture of the stable diffusion model, which generates cats
Рис.10. + hyperdetailed, artstation, cgsociety, 8 k
Видно, что чем более абстрактен промпт, тем больше модификаторы мешают нейросети понять, что от нее хотят. В некоторых случаях модель просто скатывается в генерацию обычных котов и пейзажей, несмотря на то, что промпт был совсем не об этом.
#генерация
👍10
Ещё больше этот эффект заметен при генерации следующих вещей (за исключением рис. 14, тут осталась заметная степень корреляции с промптом)
Рис. 11. Architecture of the stable diffusion model
Рис. 12.+ hyperdetailed, artstation, cgsociety, 8 k
Рис. 13. Mysterious love of two manifolds in Euclidian space
Рис. 14. + by Greg Rutkowski and Raymond Swanland, Trending on Artstation, ultra realistic digital art
Рис. 15. The shop with infinite dimensional vector spaces
Рис. 16. + digital painting, artstation, concept art, soft light, hdri, smooth, sharp focus, illustration, fantasy
Рис. 17. The vector space
Рис. 18. + highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha, high definition
Рис. 19. The
Рис. 20. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD, hyperdetailed, artstation, cgsociety
Пояснение к последнему примеру: по промпту "the" модель должна выбрасывать случайные картинки, что она и делает в исходном варианте. При добавлении модификаторов, конечно, распределение схлопывается к обычным фентези женщинам и драконам.
Общий вывод такой: похоже, что инструмент promptist, несмотря на ограниченность области применимости, может быть полезен при генерации изображений, которые нравятся нормисам.
#генерация
Рис. 11. Architecture of the stable diffusion model
Рис. 12.+ hyperdetailed, artstation, cgsociety, 8 k
Рис. 13. Mysterious love of two manifolds in Euclidian space
Рис. 14. + by Greg Rutkowski and Raymond Swanland, Trending on Artstation, ultra realistic digital art
Рис. 15. The shop with infinite dimensional vector spaces
Рис. 16. + digital painting, artstation, concept art, soft light, hdri, smooth, sharp focus, illustration, fantasy
Рис. 17. The vector space
Рис. 18. + highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha, high definition
Рис. 19. The
Рис. 20. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD, hyperdetailed, artstation, cgsociety
Пояснение к последнему примеру: по промпту "the" модель должна выбрасывать случайные картинки, что она и делает в исходном варианте. При добавлении модификаторов, конечно, распределение схлопывается к обычным фентези женщинам и драконам.
Общий вывод такой: похоже, что инструмент promptist, несмотря на ограниченность области применимости, может быть полезен при генерации изображений, которые нравятся нормисам.
#генерация
👍11
Forwarded from Борис опять
#ml
Внезапно через час AIRI проводит ИИшницу, онлайн митап.
AIRI это крутой проект, так что нежалко поделиться. Одно из немногих мест на стыке индустрии и академии, где исследователи могут делать ML исследования без очевидного профита в краткосроке. Когда-то я чуть не пошел туда работать, но выбрал Толоку. Раньше они разбирали статьи с NIPS, так что ребята делают хороший контент. Из недавних их статей видел про интерпретацию мультиязычных моделей.
В расписании митапа в этот раз про мультимодальный RUDOLPH, топология, объяснимый искусственный интеллект (XAI) (я тоже не слышал), и что-то про DL в “клеточно-специфичной интерпретации мутаций в не кодирующих белки регионах генома" (я тоже не понимаю этих слов).
Таймкоды в оригинальном посте:
https://t.iss.one/airi_research_institute/203
Ссылка на трансляцию:
https://www.youtube.com/live/cyiG6WwwrIM?feature=share
Внезапно через час AIRI проводит ИИшницу, онлайн митап.
AIRI это крутой проект, так что нежалко поделиться. Одно из немногих мест на стыке индустрии и академии, где исследователи могут делать ML исследования без очевидного профита в краткосроке. Когда-то я чуть не пошел туда работать, но выбрал Толоку. Раньше они разбирали статьи с NIPS, так что ребята делают хороший контент. Из недавних их статей видел про интерпретацию мультиязычных моделей.
В расписании митапа в этот раз про мультимодальный RUDOLPH, топология, объяснимый искусственный интеллект (XAI) (я тоже не слышал), и что-то про DL в “клеточно-специфичной интерпретации мутаций в не кодирующих белки регионах генома" (я тоже не понимаю этих слов).
Таймкоды в оригинальном посте:
https://t.iss.one/airi_research_institute/203
Ссылка на трансляцию:
https://www.youtube.com/live/cyiG6WwwrIM?feature=share
❤4👍2🤯1
⬆️ моя тимлид и соавтор рассказывает про топологические методы в анализе глубоких сетей в 16 часов
❤12👍2
#задача , навеянная теоремой Клини о неподвижной точке.
Надо придумать такой запрос к генеративной нейросети, чтобы она максимально правдоподобно (или хотя бы просто красиво) сгенерировала изображение своей собственной архитектуры или какого-то ее элемента.
Из-за того, что варианты генерации тут могут быть самые разные и единого правильного решения нет, лучшая генерация будет выбрана с помощью опроса.
Правила:
1. Нужно использовать нейросеть более-менее общего назначения (например, dalle-2, разные версии stable diffusion, обученные выдавать достаточно широкий класс изображений - НЕ только диаграммы для статей и т.п.).
2. Нельзя дообучать (файнтюнить) нейросеть специально для этого задания.
3. Нельзя делать условную генерацию с использованием другой картинки. Можно использовать только тестовый промпт и варьировать параметры генерации.
4. Каждый участник выкладывает полученный им результат генерации в комментарии к этому посту. Вместе с результатом указывается, какая нейросеть была использована,с какими параметрами и промптом. Если нейросеть малоизвестная, нужна ссылка на ее описание. При возможности желательно указать сид генерации, чтобы можно было воспроизвести.
5. Можно выкладывать в комменты больше 1 картинки, но в опрос (на конкурс) пойдет только одна от каждого человека. Поэтому тогда нужно указать, какая на конкурс, а какие просто так.
6. Опрос для выяснения результатов конкурса будет сделан в среду в 20 часов по Москве.
7. Итоги будут подведены в пятницу тоже в 20 часов.
За победу в опросе даётся звание лексмеханик, или, если уже раньше был лексмехаником - трансмеханик.
Надо придумать такой запрос к генеративной нейросети, чтобы она максимально правдоподобно (или хотя бы просто красиво) сгенерировала изображение своей собственной архитектуры или какого-то ее элемента.
Из-за того, что варианты генерации тут могут быть самые разные и единого правильного решения нет, лучшая генерация будет выбрана с помощью опроса.
Правила:
1. Нужно использовать нейросеть более-менее общего назначения (например, dalle-2, разные версии stable diffusion, обученные выдавать достаточно широкий класс изображений - НЕ только диаграммы для статей и т.п.).
2. Нельзя дообучать (файнтюнить) нейросеть специально для этого задания.
3. Нельзя делать условную генерацию с использованием другой картинки. Можно использовать только тестовый промпт и варьировать параметры генерации.
4. Каждый участник выкладывает полученный им результат генерации в комментарии к этому посту. Вместе с результатом указывается, какая нейросеть была использована,с какими параметрами и промптом. Если нейросеть малоизвестная, нужна ссылка на ее описание. При возможности желательно указать сид генерации, чтобы можно было воспроизвести.
5. Можно выкладывать в комменты больше 1 картинки, но в опрос (на конкурс) пойдет только одна от каждого человека. Поэтому тогда нужно указать, какая на конкурс, а какие просто так.
6. Опрос для выяснения результатов конкурса будет сделан в среду в 20 часов по Москве.
7. Итоги будут подведены в пятницу тоже в 20 часов.
За победу в опросе даётся звание лексмеханик, или, если уже раньше был лексмехаником - трансмеханик.
🔥10