Forwarded from Denis Sexy IT 🤖
Ночью выкатили совершенно офигенную фичу для пользователей нейролава: тренировка своих моделей для арт генерации, aka Dreambooth.
Работает примерно так: вы учите ее на 20+ фотографиях объектов, или одном стиле, и после этого получаете модель где текстом можете указывать «что именно с объектом происходит и в каком он стиле».
В отличие от конкурентов, мы позволяем не только натренировать модель каждому желающему, но и использовать ее после на сайте, как и обычный арт генератор (и со всеми улучшалками что мы встроили в базовую SD).
Помимо этого, бонусом идет база промптов которые наша команда подготовила – то есть можно просто сидеть и рандомно выбирать, что понравилось.
Например – я, один раз обучив модель на 20 своих фотках, больше не нуждаюсь в новых аватарках, потому что могу теперь их производить в фабричных масштабах по тысяче в день.
Играться тут, фича платная:
https://neural.love/train-a-model
(Инструкция по ссылке)
P.S. Очень горжусь командой, параллельно обслуживать тренировки моделей, которые могут длится по часу и больше, та еще задача
Работает примерно так: вы учите ее на 20+ фотографиях объектов, или одном стиле, и после этого получаете модель где текстом можете указывать «что именно с объектом происходит и в каком он стиле».
В отличие от конкурентов, мы позволяем не только натренировать модель каждому желающему, но и использовать ее после на сайте, как и обычный арт генератор (и со всеми улучшалками что мы встроили в базовую SD).
Помимо этого, бонусом идет база промптов которые наша команда подготовила – то есть можно просто сидеть и рандомно выбирать, что понравилось.
Например – я, один раз обучив модель на 20 своих фотках, больше не нуждаюсь в новых аватарках, потому что могу теперь их производить в фабричных масштабах по тысяче в день.
Играться тут, фича платная:
https://neural.love/train-a-model
(Инструкция по ссылке)
P.S. Очень горжусь командой, параллельно обслуживать тренировки моделей, которые могут длится по часу и больше, та еще задача
🔥43👍7❤2😢1
This media is not supported in your browser
VIEW IN TELEGRAM
🧳 Nvidia представила Magic3D — 3D по текстовому описанию!
Самое крутое в таких работа то, что для них не требуется обучать новую Text-To-3D диффузию. Для задачи вполне подходят уже обученные:
— 2B DALL-E от OpenAI
— 2B Imagen от Google
— 2B eDiff-I от Nvidia
— И конечно же готовящийся новый ???M ** от ********* 😉
Работа по своей сути является eDiff-I-ким гомологом Гугловского Imagen-овского DreamFusion.
👾 Принцип работы очень и очень простой:
Этот алгоритм я уже описывал, так что просто повторю. Это градиентный метод, основанный на Loss-функции, такой как DeepDream. По факту происходит оптимизация рандомно инициализированной 3D модельки (a Neural Radiance Field, or NeRF) через градиенты 2D диффузионных генераций.
То есть по факту, проворачивая такой трюк, не нужно иметь 3D данных вообще!
Подробнее:
1) Рандомная фигура рендерится через NERF (плотность, освещение, цвет)
2) Этот изначальный бред (так как это начало) рендерится в 2D проекцию
3) Затем к картинке подмешивают шум, и все это подается на Text2Image диффузионный U-Net
4) После чего U-Net предсказывает необходимый денойз
5) Затем из пересказанного денойза вычитается подмешанный шум. и ВУАЛЯ! Дальше все дифференцируемо! Можно пускать градиенты обратно на 3D-модель
📇 project
📄 paper
Самое крутое в таких работа то, что для них не требуется обучать новую Text-To-3D диффузию. Для задачи вполне подходят уже обученные:
— 2B DALL-E от OpenAI
— 2B Imagen от Google
— 2B eDiff-I от Nvidia
—
👾 Принцип работы очень и очень простой:
Этот алгоритм я уже описывал, так что просто повторю. Это градиентный метод, основанный на Loss-функции, такой как DeepDream. По факту происходит оптимизация рандомно инициализированной 3D модельки (a Neural Radiance Field, or NeRF) через градиенты 2D диффузионных генераций.
То есть по факту, проворачивая такой трюк, не нужно иметь 3D данных вообще!
Подробнее:
1) Рандомная фигура рендерится через NERF (плотность, освещение, цвет)
2) Этот изначальный бред (так как это начало) рендерится в 2D проекцию
3) Затем к картинке подмешивают шум, и все это подается на Text2Image диффузионный U-Net
4) После чего U-Net предсказывает необходимый денойз
5) Затем из пересказанного денойза вычитается подмешанный шум. и ВУАЛЯ! Дальше все дифференцируемо! Можно пускать градиенты обратно на 3D-модель
📇 project
📄 paper
👍25🔥6❤🔥4🏆1
Что лучше и красивее?
Anonymous Poll
8%
DALL-E 2
16%
Stable Diffusion v1.5
32%
MidJourney v4
3%
Imagen / eDiff-I (закрыте модели)
41%
... посмотреть результат
This media is not supported in your browser
VIEW IN TELEGRAM
🐣 Text-2-Image для генерации векторных изображений в формате SVG надо? VectorFusion от Berkeley
Помните, недавний подход DreamFusion от Google? Они взяли Imagen и превратили его в 3D при помощи NERF. Кстати, Вчера Nvidia сделала их реплику.
По сути это такой подход в дифференцируемой графике. Ее можно ведь применять и к 2D векторной графике. Создаете первичные векторные формы (по факту цветные закорючки) любого цвета и размера в любом количестве. Рендерите в растр, и похожим методом как в случае с DreamFusion! Через бекпроб к звездам, как говорится. А градиенты берутся из Stable Diffusion! Еще бы, пока что единственный актуальны Text-2-Image опенсорс!
Так что мы с вами увидим много крутых подходов в ближайшее время, благодаря тому, что кто-то все таки опенсорсит image -генеративные модели!
📄 paper
🐣 project
💐 gallery
🧸 м и ш и н л е р н и н г
Помните, недавний подход DreamFusion от Google? Они взяли Imagen и превратили его в 3D при помощи NERF. Кстати, Вчера Nvidia сделала их реплику.
По сути это такой подход в дифференцируемой графике. Ее можно ведь применять и к 2D векторной графике. Создаете первичные векторные формы (по факту цветные закорючки) любого цвета и размера в любом количестве. Рендерите в растр, и похожим методом как в случае с DreamFusion! Через бекпроб к звездам, как говорится. А градиенты берутся из Stable Diffusion! Еще бы, пока что единственный актуальны Text-2-Image опенсорс!
Так что мы с вами увидим много крутых подходов в ближайшее время, благодаря тому, что кто-то все таки опенсорсит image -генеративные модели!
📄 paper
🐣 project
💐 gallery
🧸 м и ш и н л е р н и н г
🔥29👍8❤3💯1💋1
Мишин Лернинг 🇺🇦🇮🇱
🧸 Готовы к новой версии Stable Diffusion?!
СКОРО! ✨🚀
Не расходимся! ЭТО БУДЕТ ЖАРКО!
Не расходимся! ЭТО БУДЕТ ЖАРКО!
👍26👎8🔥5😍4❤🔥2
🚀 Долгожданный релиз — STABLE DIFFUSION 2
Что будет, если за создание опенсорс решения берутся профессионалы? А что если таких команд много? Представьте:
— LAION собирают 5,000,000,000 пар картинка-текст
— DeepFloyd берут LAION-5B и готовят чистый и роскошный сабсет для трейна
— Rom из LAION делает CLIP-ViT/H
— Robin Rombach из CompVis и StabilityAI собирает роскошный Text2Image — STABLE DIFFUSION 2
Но это еще не все! Встречайте целый зоопарк моделей:
👾 Stable Diffusion 2 base — 512x512
🚀 Stable Diffusion 2 — 768x768
✨ Stable Upscaler 4x
🎨 Stable Diffusion 2 Inpainting
👁 Stable Depth
☠️ Короче, можно смело выбрасывать на помойку всякий шлак) Пришла эпоха STABLE DIFFUSION 2! Генерируй в 768х768, Апскейль до 3072х3072! Делай 3D, Редактируй Инпеинтингом!
p.s.: Я просто боюсь представить, что там может быть дальше! Stability 🫦 ты секс!
🔮 Git настоящего OpenAI
@mishin learning
Что будет, если за создание опенсорс решения берутся профессионалы? А что если таких команд много? Представьте:
— LAION собирают 5,000,000,000 пар картинка-текст
— DeepFloyd берут LAION-5B и готовят чистый и роскошный сабсет для трейна
— Rom из LAION делает CLIP-ViT/H
— Robin Rombach из CompVis и StabilityAI собирает роскошный Text2Image — STABLE DIFFUSION 2
Но это еще не все! Встречайте целый зоопарк моделей:
👾 Stable Diffusion 2 base — 512x512
🚀 Stable Diffusion 2 — 768x768
✨ Stable Upscaler 4x
🎨 Stable Diffusion 2 Inpainting
👁 Stable Depth
☠️ Короче, можно смело выбрасывать на помойку всякий шлак) Пришла эпоха STABLE DIFFUSION 2! Генерируй в 768х768, Апскейль до 3072х3072! Делай 3D, Редактируй Инпеинтингом!
p.s.: Я просто боюсь представить, что там может быть дальше! Stability 🫦 ты секс!
🔮 Git настоящего OpenAI
@mishin learning
❤🔥63👍20🔥10⚡3💋2👎1🐳1🌚1
Forwarded from addmeto (Grigory Bakunov)
У stablediffusion вышла версия 2.0, технически там очень много всего поменялось. Но вот с точки зрения потребителя, пользователя кажется, что все то же самое. Качество существенно не изменилось. Как ни старайся, уверенно отличить версию первую от версии второй я не могу в 7 случаях из 10. Это я пытаюсь сказать, что не стоило называть этот релиз 2.0. Больше похоже на 1.9. Но все равно поздравляю причастных.
https://stability.ai/blog/stable-diffusion-v2-release
https://stability.ai/blog/stable-diffusion-v2-release
Stability AI
Stable Diffusion 2.0 Release — Stability AI
The open source release of Stable Diffusion version 2.0.
👍33💯3😢1
Позор, товарищи ученые... Доценты с кандидатами... Позор!
печально все это конечно
печально все это конечно
👎131👍41💯26🔥8🕊8🐳5❤🔥1
https://youtu.be/e9TetIO8sfE
какой же зашквар, я реально в себя прийти не могу
tl;dr
ии на вооружении у фюрера и мысли про науч философию ИИ прямиком из питерской подворотни. + возбудил деда RL и беспилотники
какой же зашквар, я реально в себя прийти не могу
tl;dr
ии на вооружении у фюрера и мысли про науч философию ИИ прямиком из питерской подворотни. + возбудил деда RL и беспилотники
YouTube
Выступление Владимира Путина на конференции Artificial Intelligence Journey: прямая трансляция
Президент России Владимир Путин принимает участие в конференции «Путешествие в мир искусственного интеллекта». В нашей трансляции покажем речь главы государства перед молодыми учеными
#россия #путин #ии #москва #AIJЧитай
нас на сайте: https://www.kp.ru/…
#россия #путин #ии #москва #AIJЧитай
нас на сайте: https://www.kp.ru/…
👎46😢13👍8🕊5🌚2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🖤❤️ Оселдец, тебе *****
Леди Гаага близко 😁
p.s.: нормально бункерный народу в ИИ законтачил.. зашквар, да. но зашквариться ученым было не западло. пишу доступно, на новом и могучем языке россии — на пригожинском
Леди Гаага близко 😁
p.s.: нормально бункерный народу в ИИ законтачил.. зашквар, да. но зашквариться ученым было не западло. пишу доступно, на новом и могучем языке россии — на пригожинском
🔥58👎11💯6😍4🕊3👍1
Forwarded from DL in NLP (Vlad Lialin)
Первый день NeurIPS 2022
День expo и прочих не очень важных вещей, но вот что было классного
1. PyTorch: fully sharded data parallel (FSDP) скоро войдёт в сам торч. Это когда ты распиливаешь веса своей нейросети, параметры своих оптимизаторов и градиенты нескольким GPU, но при этом вычисления всё ещё проводятся в data parallel режиме. Такой подход работает быстрее чем model parallel и в принципе проще в общении. Добавили классную фичу meta-device которая позволяет при инициализации загружать в память только ту часть нейросети которая вам нужна на этой GPU.
1. Новые фичи для профайлера. Стек должен стать более читаемым и добавили фичей для distributed. Если вы всё ещё не пользуетесь, вот блогпост.
На этом объективно интересное закочнилось и дальше я общался с рандомными людьми которые иногда оказывались очень крутыми и с будками компаний, где искал куда податься на работу после выпуска
1. Будка Apple выглядит как миниатюрный Apple Store
1. Оказывается у Disney есть диплёрнинг рисёч 🤯. Общался с рисечером который работает на стыке оптики и геометрического DL.
1. Спотифай активно применяет RL в проде, например для вашей домашней странички. Кроме этого у них есть NLP исследования в применении к подкастам, что интересно тк тексты очень длинные и с несколькими спикерами.
1. Weights and Biases активно работают над двумя новыми фичами: production monitoring и CI/CD для моделей.
1. По слухам GPT-4 тренируют на нескольких десятках тысяч GPU. Также кажется что большим компаниям уже показывают демки текущей модели под жёстким NDA. Вроде бы скачок возможностей между GPT-3 и GPT-4 такой же огромный как и был между GPT-2 и GPT-3.
1. ServiceNow — если вы не знаете кто это, я не удивлюсь. Всё что знал про них раньше, это что они спонсируют BigCode железом. Выяснилось что у них есть интересный рисёч вместе в MILA в Канаде.
1. Как бедный студент я насобирал кучу мерча, тк не за свои же деньги покупать блокноты и футболки 😅
Во второй день начинаются статьи и постер-сессии. Так что следующий пост будет куда более техническим
День expo и прочих не очень важных вещей, но вот что было классного
1. PyTorch: fully sharded data parallel (FSDP) скоро войдёт в сам торч. Это когда ты распиливаешь веса своей нейросети, параметры своих оптимизаторов и градиенты нескольким GPU, но при этом вычисления всё ещё проводятся в data parallel режиме. Такой подход работает быстрее чем model parallel и в принципе проще в общении. Добавили классную фичу meta-device которая позволяет при инициализации загружать в память только ту часть нейросети которая вам нужна на этой GPU.
1. Новые фичи для профайлера. Стек должен стать более читаемым и добавили фичей для distributed. Если вы всё ещё не пользуетесь, вот блогпост.
На этом объективно интересное закочнилось и дальше я общался с рандомными людьми которые иногда оказывались очень крутыми и с будками компаний, где искал куда податься на работу после выпуска
1. Будка Apple выглядит как миниатюрный Apple Store
1. Оказывается у Disney есть диплёрнинг рисёч 🤯. Общался с рисечером который работает на стыке оптики и геометрического DL.
1. Спотифай активно применяет RL в проде, например для вашей домашней странички. Кроме этого у них есть NLP исследования в применении к подкастам, что интересно тк тексты очень длинные и с несколькими спикерами.
1. Weights and Biases активно работают над двумя новыми фичами: production monitoring и CI/CD для моделей.
1. По слухам GPT-4 тренируют на нескольких десятках тысяч GPU. Также кажется что большим компаниям уже показывают демки текущей модели под жёстким NDA. Вроде бы скачок возможностей между GPT-3 и GPT-4 такой же огромный как и был между GPT-2 и GPT-3.
1. ServiceNow — если вы не знаете кто это, я не удивлюсь. Всё что знал про них раньше, это что они спонсируют BigCode железом. Выяснилось что у них есть интересный рисёч вместе в MILA в Канаде.
1. Как бедный студент я насобирал кучу мерча, тк не за свои же деньги покупать блокноты и футболки 😅
Во второй день начинаются статьи и постер-сессии. Так что следующий пост будет куда более техническим
🔥57👍20❤6
Forwarded from эйай ньюз
ТОРЧ МУЛЬТИМОДАЛЬНЫЙ
Meta AI выкатила на NeurIPS новую либу TorchMultimodal для тренировки SOTA мультимодалтьных и мультитаск моделей по типу CLIP, FLAVA, data2vec, Omnivore, и т.д.
Зачем? А затем что сейчас быстро растет интерес к моделям, которые понимают несколько типов ввода (текст, изображения, видео и аудио) и при необходимости используют это понимание для создания выходных данных различных форм (текст, изображения, видео). И для их эффективной тренировки нужен набор готовых инструментов. На картинке список основных примитивов, которые предоставляет эта либа.
❱❱ Блог
❱❱ GitHub
@ai_newz
Meta AI выкатила на NeurIPS новую либу TorchMultimodal для тренировки SOTA мультимодалтьных и мультитаск моделей по типу CLIP, FLAVA, data2vec, Omnivore, и т.д.
Зачем? А затем что сейчас быстро растет интерес к моделям, которые понимают несколько типов ввода (текст, изображения, видео и аудио) и при необходимости используют это понимание для создания выходных данных различных форм (текст, изображения, видео). И для их эффективной тренировки нужен набор готовых инструментов. На картинке список основных примитивов, которые предоставляет эта либа.
❱❱ Блог
❱❱ GitHub
@ai_newz
🔥28👍5❤1
Тут в предверии выхода GPT-4 творится что-то сумасшедшее. OpenAI выкатили чат-бота на основе GPT-3 (по крайней мере они так говорят).
Сеть действительно умная. Может генерировать крутые шутки, писать письма, отвечать на вопросы. Кажется, что это лучшее, что я видел в мире GPT.
Demo доступно всем! Го тестировать, если вдруг еще не попробовали!
p.s. сеть подтвердила разработку gpt-4 (думаю, что это вшитая пасхалка)
👉 https://chat.openai.com/
Сеть действительно умная. Может генерировать крутые шутки, писать письма, отвечать на вопросы. Кажется, что это лучшее, что я видел в мире GPT.
Demo доступно всем! Го тестировать, если вдруг еще не попробовали!
p.s. сеть подтвердила разработку gpt-4 (думаю, что это вшитая пасхалка)
👉 https://chat.openai.com/
❤🔥49😍3🏆3❤1👍1