Stable Diffusion

Здарова, тигры! Я вам покушац принес.

Написал статью на Хабр про Stable Diffusion — нейросеть для генерации изображений по текстовому описанию. Пробежался по основным компонентам от DreamStudio до UNet, VAE, CLIP.

Го читать, писать комменты. Лайки, репосты < 3:
https://habr.com/ru/post/688204/

Dream Textures

Наткнулся на расширение для Blender, которое позволяет генерировать текстуры с помощью Stable Diffusion.

Возможно, если работаете с графикой в играх, вам будет полезно. В крайнем случае — нет.

https://github.com/carson-katri/dream-textures

Как генерить текстуры с помощью DALLE2 и SD?

Пора уже создать дайджест по всем новым возможностям, появившимся благодаря Stable Diffusion. Вот, например коллаб, где можно генерировать бесшовные текстуры.

Как работает. Просто генерируете любую картинку с суффиксом "top down photo", чтобы получить вид сверху. Затем замащиваем квадратную область 4×4 тайлами из сгенеренной картинки. Швы удаляем и просим сетку их дорисовать. Вуаля! Все готово.

Можно применять с любой Text2image сетью, которая умеет в инпейнтинг.

Гайд подсмотрел в твиттере.

@ai_newz

Снова про текстуры

Рубрика: 1 зритель.

Подрубил на часок. Велкам:
https://www.twitch.tv/diky_muzhchina

AlphaTensor

Ребята из DeepMind опубликовали статью в Nature, в которой описали, как с помощью RL научились подбирать алгоритмы перемножения матриц, которые работают быстрее дефолтных на 10-20%.

Сам еще не читал, но очень интересно. Ссылка:
https://www.deepmind.com/blog/discovering-novel-algorithms-with-alphatensor

Завтра в 16:15 мск буду заниматься набиванием ачивок выступать на конфе. Заходите послушать

https://piterpy.com/schedule/video?v=MTAwMTM3wooyMDAwMDcwMMKKMA

Technical Artist Sean Simon presented DiffusionCraft AI, a Stable Diffusion-powered version of Minecraft which allows turning placed blocks into beautiful concepts.

Full video and more info: https://80.lv/articles/stable-diffusion-powered-minecraft-with-image-to-image-capabilities/?utm_source=telegram

Распознаем хайлайты в Dota 2

Выступал недавно на митапе. Рассказал, как можно находить интересные моменты в игре. Кратко:

1. Разбираемся с форматом реплеев
2. Знакомимся с репозиторием woodota
3. Реализуем алгоритм на эвристиках (анализ временных рядов)
4. Собираем датасет из видео на YouTube
5. Распознаем время на изображениях с помощью нейросети TrOCR
6. Сопоставляем заголовки видео и записи в БД с помощью DistilBERT
7. Реализуем метрику качества IoU

Го смотреть:
https://youtu.be/EWoJ4Vg8-0A

Написал статью про то, как генерировал картинки для игр. Поддержим лукасами < 3.

Кстати, все еще ищу художников, которые могли бы дать квалифицированный фидбек. См. предыдущий пост.

https://dtf.ru/gamedev/1436514-ya-obuchil-neyroset-risovat-igrovye-ikonki

Лицензия Stable Diffusion

Вышло видео с размышлениями Яника касаемо лицензии для нейросети Stable Diffusion. На первый взгляд все хорошо, вы можете тюнить модель и использовать ее в коммерческих целях, если не нарушаете ограничения в Appendix: не используете для принятия судебных, медицинских и прочих важных решений.

Потенциальная ловушка заключается в том, что в разделе IV, п. 7 сказано "You shall undertake reasonable efforts to use the latest version of the Model". Т.е. вы должны предпринять разумные усилия, чтобы использовать последнюю версию модели.

Кульминация. Другая компания может купить Stability AI, выпустить новую версию модели, которая будет сильно хуже предшествующих и попросить вас обновиться. А если не обновитесь, то она имеет право потребовать отключить ваш сервис.

Заключение. Продажа Stability AI возможна, потому что они недавно подняли $100M, а любой инвест-фонд в итоге хочет совершить exit: продать компанию или выйти на IPO.

https://youtu.be/W5M-dvzpzSQ?t=765