Stable-Craiyon

Пример - "Portrait of Walter White, in the style of a GTA V Cover art, digital art , 4k , highly detailed , trending on artstation"

• GitHub
• Colab

🎨 OpenAI внедрили в DALL·E 2 "Outpainting"

Только что пришло письмо от OpenAI, где говорится, что из-за опенсорса stable diffusion они решили внедрить Outpainting, про который я подробно писал весной, в интерфейс DALL-E 2.

Outpainting позволяет генерировать изображения любого размера. Но в отличие от гибкого разрешения в диффузионных UNet'ах с вниманием, Outpainting предполагает пошаговую генерацию со всеми своими плюсам и минусами.

+ Поэтапная, контролируемая генерация деталей и объектов
- Локальное рецептивное поле

Outpainting — это продолжение генерации изображения за его первоначальными границами. Outpainting добавляет визуальные элементы, развивая генерацию в новых направлениях, основываясь на вашем текстовом описании.

Это позволяет начать ваше полотно в одном стиле, а закончить в другом, уточнять элементы и менять их!

Outpainting — это Inpainting без привязки исходному разрешению..

📇 blog post
🥑 DALL-E 2 Editor

Multimodal Lecture Presentations (MLP)

Вышел набор данных для тестирования возможностей моделей машинного обучения в мультимодальном понимании образовательного контента. Для проверки понимания мультимодальной информации на слайдах лекций представлены две исследовательские задачи, которые должны стать первым шагом к разработке ИИ, способного объяснять и иллюстрировать слайды лекций: автоматический поиск (1) устных объяснений к рисунку (Figure-to-Text) и (2) иллюстраций, сопровождающих устное объяснение (Text-to-Figure).

Идеально, мне как раз не хватает рук и людей делать лекции, заменим ка мы их нейроночкой через пару лет 😀

📖 Датасет

​stablediffusion-infinity – нейросеть, схожая по функциональности на DALL-E 2, которая может дорисовывать существующие иллюстрации, используя свободную Stable Diffusion

⤷ Ссылка на проект

GitHub | #Interesting

🧠 GraphSAGE: как масштабировать графовые нейронные сети до миллиардов соединений

Что общего между UberEats и Pinterest? Их рекомендательные системы работают с помощью GraphSAGE в огромных масштабах с миллионами и миллиардами узлов и ребер.

Pinterest разработал собственную версию под названием PinSAGE, чтобы рекомендовать пользователям наиболее актуальные изображения (пины). Граф этого ресурса содержит 18 миллиардов соединений и 3 миллиарда узлов.
UberEats также использует модифицированную версию GraphSAGE, чтобы предлагать блюда, рестораны и различные виды кухни. Эта платформа утверждает, что поддерживает более 600 000 ресторанов и 66 миллионов пользователей.
В этом руководстве мы используем набор данных с 20 тысячами узлов, а не миллиардами, из-за ограничений Google Colab. В процессе изучения будем придерживаться архитектуры оригинального GraphSAGE, а также затронем некоторые интересные функции из предыдущих вариантов.

➡️ Читать дальше
⚙️ Код
🗒 Dataset

@machinelearning_ru

Суперпозиция в нейронных сетях

Очень крутая статья про суперпозицию в нейронных сетях. Оказывается, нейросети могут кодировать больше информации, чем напрямую в эмбеингах. И они достигают это с помощью суперпозиции (которая пока не ясно что именно, но ребята нашли две подходящие теории в математике). Лучше полистайте их картинки и станет яснее.

Статья

Слева направо, сверху вниз: Леди Гага, Борис Джонсон, Владимир Путин, Ангела Меркель, Дональд Трамп, Платон.

Text2Pokemon

Превратите любого в покемона с помощью этой арт-модели с искусственным интеллектом.
За основу взяли Stable Diffusion и добавили несколько ключей, которые показывают только мультяшных персонажей.

• Попробовать

@neural

SReC — нейронная сеть для сжатия изображения без потери качества.

SReC рассматривает сжатие без потерь как проблему сверхвысокого разрешения и применяет нейронные сети для сжатия изображений. SReC может достичь самых современныхq коэффициентов сжатия больших наборов данных с практичным временем выполнения.

* Обучение, сжатие и распаковка полностью поддерживаются и имеют открытый исходный код :0

Фотография сверху - пример сжатия изображения без потери качества(тг съел качество, поэтому я оставил ссылку).

Документация и примеры кода здесь :3

Чё пацаны, аниме?

StableDiffusion обученный на аниме.

• Попробовать
• Colab

​Unstable-Fusion – полноценное приложение на основе Stable Diffusion с функциями inpainting, img2img и многим другим

Подерживает запуск как локально, так и с помощью серверов colab

⤷ Ссылка на проект

| #Interesting #AI #Useful

Stable-Dreamfusion

Преобразование текста в 3D, основанное на StableDiffusion.

• GitHub
• Colab

VToonify: Controllable High-Resolution Portrait Video Style Transfer

VToonify: управляемая передача стиля портретного видео с высоким разрешением теперь так же доступна для тестов в веб.

• Попробовать
• GitHub

​Pulse – инструмент, который превращает пиксилезированные фотографии лица в картинки с высоким качеством

Получив входное изображение с низким разрешением, PULSE ищет в выходных данных генеративной модели (StyleGAN) изображения с высоким разрешением, которые перцептивно схожи с входной картинкой

#Python #AI #Interesting

Natural Language YouTube Searcher

Даете ссылку на видео, пишите что нужно найти (на любом языке) и нейросеть не просто показывает кадр, который вы искали, но и говорит на какой он секунде.

Если во время выполнения второго блока будет вылетать, то увеличьте показатель frames_to_skip.

📁 Попробовать

@neural

Prompt-to-Prompt: Latent Diffusion and Stable Diffusion implementation

"Наш метод позволяет редактировать сгенерированные изображения, изменяя только текстовую подсказку. Например, здесь мы сначала генерируем изображение из подсказки ввода «Кошка в шляпе лежит на шезлонге». с использованием модели диффузии текста в изображение Imagen . Тогда с нашим подходом мы легко сможем заменить шляпу или главного героя"

"Еще одним примером редактирования подсказки является изменение семантического влияния определенных слов в подсказке на сгенерированное изображение. Используя наш метод, мы можем усилить или ослабить «пушистость» куклы-кролика на изображении ниже."

• Подробнее
• Github Code