Рис.1. A cat
Рис.2. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration
Рис.3. Robot cat with USB tail
Рис.4. + RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD
Рис.5. Eerie cat from Adeptus mechanicus in a red cloak with a lot of augmentations and grey mechanical tentacles with claws
Рис.6. + fantasy, intricate, elegant, highly detailed, digital painting, artstation
Рис.7. A manifold in Euclidean space which resembles to cat somehow
Рис.8. + digital art, trending on artstation
Рис.9. Architecture of the stable diffusion model, which generates cats
Рис.10. + hyperdetailed, artstation, cgsociety, 8 k
Видно, что чем более абстрактен промпт, тем больше модификаторы мешают нейросети понять, что от нее хотят. В некоторых случаях модель просто скатывается в генерацию обычных котов и пейзажей, несмотря на то, что промпт был совсем не об этом.
#генерация
Рис.2. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration
Рис.3. Robot cat with USB tail
Рис.4. + RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD
Рис.5. Eerie cat from Adeptus mechanicus in a red cloak with a lot of augmentations and grey mechanical tentacles with claws
Рис.6. + fantasy, intricate, elegant, highly detailed, digital painting, artstation
Рис.7. A manifold in Euclidean space which resembles to cat somehow
Рис.8. + digital art, trending on artstation
Рис.9. Architecture of the stable diffusion model, which generates cats
Рис.10. + hyperdetailed, artstation, cgsociety, 8 k
Видно, что чем более абстрактен промпт, тем больше модификаторы мешают нейросети понять, что от нее хотят. В некоторых случаях модель просто скатывается в генерацию обычных котов и пейзажей, несмотря на то, что промпт был совсем не об этом.
#генерация
👍10
Ещё больше этот эффект заметен при генерации следующих вещей (за исключением рис. 14, тут осталась заметная степень корреляции с промптом)
Рис. 11. Architecture of the stable diffusion model
Рис. 12.+ hyperdetailed, artstation, cgsociety, 8 k
Рис. 13. Mysterious love of two manifolds in Euclidian space
Рис. 14. + by Greg Rutkowski and Raymond Swanland, Trending on Artstation, ultra realistic digital art
Рис. 15. The shop with infinite dimensional vector spaces
Рис. 16. + digital painting, artstation, concept art, soft light, hdri, smooth, sharp focus, illustration, fantasy
Рис. 17. The vector space
Рис. 18. + highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha, high definition
Рис. 19. The
Рис. 20. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD, hyperdetailed, artstation, cgsociety
Пояснение к последнему примеру: по промпту "the" модель должна выбрасывать случайные картинки, что она и делает в исходном варианте. При добавлении модификаторов, конечно, распределение схлопывается к обычным фентези женщинам и драконам.
Общий вывод такой: похоже, что инструмент promptist, несмотря на ограниченность области применимости, может быть полезен при генерации изображений, которые нравятся нормисам.
#генерация
Рис. 11. Architecture of the stable diffusion model
Рис. 12.+ hyperdetailed, artstation, cgsociety, 8 k
Рис. 13. Mysterious love of two manifolds in Euclidian space
Рис. 14. + by Greg Rutkowski and Raymond Swanland, Trending on Artstation, ultra realistic digital art
Рис. 15. The shop with infinite dimensional vector spaces
Рис. 16. + digital painting, artstation, concept art, soft light, hdri, smooth, sharp focus, illustration, fantasy
Рис. 17. The vector space
Рис. 18. + highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha, high definition
Рис. 19. The
Рис. 20. + fantasy, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, RPG Reference, Oil Painting, Trending on Artstation, octane render, Insanely Detailed, 8k, HD, hyperdetailed, artstation, cgsociety
Пояснение к последнему примеру: по промпту "the" модель должна выбрасывать случайные картинки, что она и делает в исходном варианте. При добавлении модификаторов, конечно, распределение схлопывается к обычным фентези женщинам и драконам.
Общий вывод такой: похоже, что инструмент promptist, несмотря на ограниченность области применимости, может быть полезен при генерации изображений, которые нравятся нормисам.
#генерация
👍11
Forwarded from Борис опять
#ml
Внезапно через час AIRI проводит ИИшницу, онлайн митап.
AIRI это крутой проект, так что нежалко поделиться. Одно из немногих мест на стыке индустрии и академии, где исследователи могут делать ML исследования без очевидного профита в краткосроке. Когда-то я чуть не пошел туда работать, но выбрал Толоку. Раньше они разбирали статьи с NIPS, так что ребята делают хороший контент. Из недавних их статей видел про интерпретацию мультиязычных моделей.
В расписании митапа в этот раз про мультимодальный RUDOLPH, топология, объяснимый искусственный интеллект (XAI) (я тоже не слышал), и что-то про DL в “клеточно-специфичной интерпретации мутаций в не кодирующих белки регионах генома" (я тоже не понимаю этих слов).
Таймкоды в оригинальном посте:
https://t.iss.one/airi_research_institute/203
Ссылка на трансляцию:
https://www.youtube.com/live/cyiG6WwwrIM?feature=share
Внезапно через час AIRI проводит ИИшницу, онлайн митап.
AIRI это крутой проект, так что нежалко поделиться. Одно из немногих мест на стыке индустрии и академии, где исследователи могут делать ML исследования без очевидного профита в краткосроке. Когда-то я чуть не пошел туда работать, но выбрал Толоку. Раньше они разбирали статьи с NIPS, так что ребята делают хороший контент. Из недавних их статей видел про интерпретацию мультиязычных моделей.
В расписании митапа в этот раз про мультимодальный RUDOLPH, топология, объяснимый искусственный интеллект (XAI) (я тоже не слышал), и что-то про DL в “клеточно-специфичной интерпретации мутаций в не кодирующих белки регионах генома" (я тоже не понимаю этих слов).
Таймкоды в оригинальном посте:
https://t.iss.one/airi_research_institute/203
Ссылка на трансляцию:
https://www.youtube.com/live/cyiG6WwwrIM?feature=share
❤4👍2🤯1
⬆️ моя тимлид и соавтор рассказывает про топологические методы в анализе глубоких сетей в 16 часов
❤12👍2
#задача , навеянная теоремой Клини о неподвижной точке.
Надо придумать такой запрос к генеративной нейросети, чтобы она максимально правдоподобно (или хотя бы просто красиво) сгенерировала изображение своей собственной архитектуры или какого-то ее элемента.
Из-за того, что варианты генерации тут могут быть самые разные и единого правильного решения нет, лучшая генерация будет выбрана с помощью опроса.
Правила:
1. Нужно использовать нейросеть более-менее общего назначения (например, dalle-2, разные версии stable diffusion, обученные выдавать достаточно широкий класс изображений - НЕ только диаграммы для статей и т.п.).
2. Нельзя дообучать (файнтюнить) нейросеть специально для этого задания.
3. Нельзя делать условную генерацию с использованием другой картинки. Можно использовать только тестовый промпт и варьировать параметры генерации.
4. Каждый участник выкладывает полученный им результат генерации в комментарии к этому посту. Вместе с результатом указывается, какая нейросеть была использована,с какими параметрами и промптом. Если нейросеть малоизвестная, нужна ссылка на ее описание. При возможности желательно указать сид генерации, чтобы можно было воспроизвести.
5. Можно выкладывать в комменты больше 1 картинки, но в опрос (на конкурс) пойдет только одна от каждого человека. Поэтому тогда нужно указать, какая на конкурс, а какие просто так.
6. Опрос для выяснения результатов конкурса будет сделан в среду в 20 часов по Москве.
7. Итоги будут подведены в пятницу тоже в 20 часов.
За победу в опросе даётся звание лексмеханик, или, если уже раньше был лексмехаником - трансмеханик.
Надо придумать такой запрос к генеративной нейросети, чтобы она максимально правдоподобно (или хотя бы просто красиво) сгенерировала изображение своей собственной архитектуры или какого-то ее элемента.
Из-за того, что варианты генерации тут могут быть самые разные и единого правильного решения нет, лучшая генерация будет выбрана с помощью опроса.
Правила:
1. Нужно использовать нейросеть более-менее общего назначения (например, dalle-2, разные версии stable diffusion, обученные выдавать достаточно широкий класс изображений - НЕ только диаграммы для статей и т.п.).
2. Нельзя дообучать (файнтюнить) нейросеть специально для этого задания.
3. Нельзя делать условную генерацию с использованием другой картинки. Можно использовать только тестовый промпт и варьировать параметры генерации.
4. Каждый участник выкладывает полученный им результат генерации в комментарии к этому посту. Вместе с результатом указывается, какая нейросеть была использована,с какими параметрами и промптом. Если нейросеть малоизвестная, нужна ссылка на ее описание. При возможности желательно указать сид генерации, чтобы можно было воспроизвести.
5. Можно выкладывать в комменты больше 1 картинки, но в опрос (на конкурс) пойдет только одна от каждого человека. Поэтому тогда нужно указать, какая на конкурс, а какие просто так.
6. Опрос для выяснения результатов конкурса будет сделан в среду в 20 часов по Москве.
7. Итоги будут подведены в пятницу тоже в 20 часов.
За победу в опросе даётся звание лексмеханик, или, если уже раньше был лексмехаником - трансмеханик.
🔥10
Разборы статей в обоих версиях - платной (один человек платит другому за разбор той статьи, которую ему/ей хочется понять, тот рассказывает, остальные могут смотреть запись) и бесплатной (каждый разбирает что хочет, потом рассказывает, группа: https://t.iss.one/+JtF90t2jL2llODcy ) переносятся на следующую неделю, потому что рассказчики не успевают подготовиться. И правда, статьи часто бывают очень сильно перегружены информацией, которая еще и очень плотно упакована (чтобы вписаться в ограничения конференции/журнала), и поэтому разбирать их тяжело. Тем не менее, я все равно рада, что люди стараются это делать, даже если получается дольше, чем рассчитывалось.
А раз пока нет записей этих разборов, вот разборы от разных авторов, которые уже есть на Ютуб:
1. ОЧЕНЬ качественный канал с разборами статей, событий из мира Deep Learning и других кеков (англ.): https://www.youtube.com/@YannicKilcher/videos . Если видео посвящено разбору статьи, все самые главные формулы, как правило, подробно объясняются. Изюминкой является то, что тут освещаются не только популярные, но и малоизвестные статьи, а еще иногда на разбор приглашается автор статьи. Мой любимый разбор: https://www.youtube.com/watch?v=NeGJAUSQEJI&ab_channel=YannicKilcher Мое любимое видео, НЕ являющееся обзором: https://www.youtube.com/watch?v=efPrtcLdcdM&ab_channel=YannicKilcher .
2. Разборы популярных статей и просто учебные материалы по популярным темам в Deep Learning (английский): https://www.youtube.com/@AICoffeeBreak/videos . Автор также старается делать качественные материалы, но акцент чаще делается на прикладное применение нейросети, которая вводится в статье, чем на формулы и прочую теорию (по крайней мере, так в разборах статей; остальное не смотрела). Поэтому если хочется разобраться в формулах, эти видео, скорее всего, не помогут.
3. Аналогичная характеристика, но видео выходят раз в год (англ.): https://www.youtube.com/@ArxivInsights/videos . Плюс тут все-таки формулы чуть чаще разбирают, чем на предыдущем канале.
4. Я пока мало смотрела этот канал, и кажется, что тут акцент не на разборы, а скорее на обсуждения статей и других тем (русский): https://www.youtube.com/@databreakfast/videos , хотя что-то вроде разборов тоже встречается, поэтому решила включить в список. Главным недостатком является то, что видео мало подготовлены к тому, чтобы их мог смотреть внешний зритель. Например, здесь: https://www.youtube.com/watch?v=Vln2hHMdonM&ab_channel=DataBreakfast разбор начали как будто не с начала, а с середины статьи... никакой ссылки на предыдущее видео в цепочке или краткого введения, что к чему, не было, и мне было из-за этого ничего не понятно.
5. Бонус (англ.): https://www.youtube.com/@TwoMinutePapers/videos - канал, который называется "Papers", но на самом деле разбираются не сами статьи, а демонстрации к ним. Конечно, это бесполезно, если хочется разобраться в сути того, как устроена и обучается нейросеть в статье; но зато полезно для того, чтобы в принципе быть в курсе того, что современные нейросети могут и не могут, так как здесь это демонстрируется наглядно. В результате канал могут смотреть не только специалисты, но и более широкий круг зрителей.
Конечно, это только те каналы, которые я знаю, наверняка есть и еще.
#объяснения_статей #учебные_материалы
А раз пока нет записей этих разборов, вот разборы от разных авторов, которые уже есть на Ютуб:
1. ОЧЕНЬ качественный канал с разборами статей, событий из мира Deep Learning и других кеков (англ.): https://www.youtube.com/@YannicKilcher/videos . Если видео посвящено разбору статьи, все самые главные формулы, как правило, подробно объясняются. Изюминкой является то, что тут освещаются не только популярные, но и малоизвестные статьи, а еще иногда на разбор приглашается автор статьи. Мой любимый разбор: https://www.youtube.com/watch?v=NeGJAUSQEJI&ab_channel=YannicKilcher Мое любимое видео, НЕ являющееся обзором: https://www.youtube.com/watch?v=efPrtcLdcdM&ab_channel=YannicKilcher .
2. Разборы популярных статей и просто учебные материалы по популярным темам в Deep Learning (английский): https://www.youtube.com/@AICoffeeBreak/videos . Автор также старается делать качественные материалы, но акцент чаще делается на прикладное применение нейросети, которая вводится в статье, чем на формулы и прочую теорию (по крайней мере, так в разборах статей; остальное не смотрела). Поэтому если хочется разобраться в формулах, эти видео, скорее всего, не помогут.
3. Аналогичная характеристика, но видео выходят раз в год (англ.): https://www.youtube.com/@ArxivInsights/videos . Плюс тут все-таки формулы чуть чаще разбирают, чем на предыдущем канале.
4. Я пока мало смотрела этот канал, и кажется, что тут акцент не на разборы, а скорее на обсуждения статей и других тем (русский): https://www.youtube.com/@databreakfast/videos , хотя что-то вроде разборов тоже встречается, поэтому решила включить в список. Главным недостатком является то, что видео мало подготовлены к тому, чтобы их мог смотреть внешний зритель. Например, здесь: https://www.youtube.com/watch?v=Vln2hHMdonM&ab_channel=DataBreakfast разбор начали как будто не с начала, а с середины статьи... никакой ссылки на предыдущее видео в цепочке или краткого введения, что к чему, не было, и мне было из-за этого ничего не понятно.
5. Бонус (англ.): https://www.youtube.com/@TwoMinutePapers/videos - канал, который называется "Papers", но на самом деле разбираются не сами статьи, а демонстрации к ним. Конечно, это бесполезно, если хочется разобраться в сути того, как устроена и обучается нейросеть в статье; но зато полезно для того, чтобы в принципе быть в курсе того, что современные нейросети могут и не могут, так как здесь это демонстрируется наглядно. В результате канал могут смотреть не только специалисты, но и более широкий круг зрителей.
Конечно, это только те каналы, которые я знаю, наверняка есть и еще.
#объяснения_статей #учебные_материалы
Telegram
Reading Club (ML Papers)
Laida invites you to join this group on Telegram.
👍14❤🔥2
Проорала с этой новости: https://www.linkedin.com/feed/update/urn:li:activity:7037489441694744576/
потому что иллюстрация очень уж напоминает это:
https://t.iss.one/boris_again/1612
потому что иллюстрация очень уж напоминает это:
https://t.iss.one/boris_again/1612
Linkedin
Philipp Schmid on LinkedIn: Controlled text-to-image generation with ControlNet on Inference Endpoints
ControlNet just landed in Diffusers!🧨 ⚡️
ControlNet allows users to extend the Stable Diffusion tex-to-image pipeline using conditioning to improve AI image…
ControlNet allows users to extend the Stable Diffusion tex-to-image pipeline using conditioning to improve AI image…
😁4