Хотя старый добрый адафактор тоже неплох (между картинками 3 часа на 1x4090 / 5000 step)
To be, or.. be horse!
Чувак собрал на коленке диффузионку для текстов и обучил на макбук эир (Шекспир)
https://www.reddit.com/r/MachineLearning/comments/1srufft/bulding_my_own_diffusion_language_model_from/
Кода меньше чем в вашем последнем ДАГе
Многие думают что это некст биг финк
А вот тут веса унисекс диффузии показывают
https://huggingface.co/inclusionAI/LLaDA2.0-Uni
ЗЫ: "мамкин" оптимизатор Rose всё же сошел с дистанции. Лосс пошел вверх, фокус не удался
Чувак собрал на коленке диффузионку для текстов и обучил на макбук эир (Шекспир)
https://www.reddit.com/r/MachineLearning/comments/1srufft/bulding_my_own_diffusion_language_model_from/
Кода меньше чем в вашем последнем ДАГе
Многие думают что это некст биг финк
А вот тут веса унисекс диффузии показывают
https://huggingface.co/inclusionAI/LLaDA2.0-Uni
ЗЫ: "мамкин" оптимизатор Rose всё же сошел с дистанции. Лосс пошел вверх, фокус не удался
Reddit
From the MachineLearning community on Reddit
Explore this post and more from the MachineLearning community
Пиксель диффужен (без вае)
https://huggingface.co/nvidia/PixelDiT-1300M-1024px
Хотел написать разбор, но передумал
Это проект тех же людей что делали pixart/sana /dc-ae и прочие сомнительные штуки
Я не верю ни в этих людей ни в эту команду ни единому слову в их папире
Как обычно манипуляции домыслы и крики СОТА
Недолюблюваю их всей душой. Тем не менее оно работает - и инференс довольно быстрый
Обучать не пробовал потому что не хочу чинить их лютый говнокод и нет доверия. Предполагаю что обучка в пиксельспейс будет жрать память как не в себя но могу и ошибаться - мб все и не так плохо - проверьте сами
Сота или нет - я не знаю По картинкам вроде как нет - но по папире да
Обучку на имаджнет я не дергал - так как считаю что это не говорит ничего о том способна ли модель сгенерить BMW
Промпты для теста брал отсюда
https://huggingface.co/AiArtLab/sdxs-1b#samples-with-seed-0-and-good-prompts
https://huggingface.co/nvidia/PixelDiT-1300M-1024px
Хотел написать разбор, но передумал
Это проект тех же людей что делали pixart/sana /dc-ae и прочие сомнительные штуки
Я не верю ни в этих людей ни в эту команду ни единому слову в их папире
Как обычно манипуляции домыслы и крики СОТА
Недолюблюваю их всей душой. Тем не менее оно работает - и инференс довольно быстрый
Обучать не пробовал потому что не хочу чинить их лютый говнокод и нет доверия. Предполагаю что обучка в пиксельспейс будет жрать память как не в себя но могу и ошибаться - мб все и не так плохо - проверьте сами
Сота или нет - я не знаю По картинкам вроде как нет - но по папире да
Обучку на имаджнет я не дергал - так как считаю что это не говорит ничего о том способна ли модель сгенерить BMW
Промпты для теста брал отсюда
https://huggingface.co/AiArtLab/sdxs-1b#samples-with-seed-0-and-good-prompts
🐳2😱1
Получили микро грант от banodoco
Это такое комьюнити чуваков которые делают очень прикольный вижуал арт нейронками, проводят фесты и тп
Помимо этого они вкладывают в опенсурс и в экосистему на которой все это держится
Раньше я там тусил как артист а теперь пришел просить хелп как программист - такой вот круг
У них невероятно дружелюбное комьюнити и можно часами залипать в их дискорд
да думаю все знают их, не знаю зачем я это пишу - принесу тогда немношк видео
Это такое комьюнити чуваков которые делают очень прикольный вижуал арт нейронками, проводят фесты и тп
Помимо этого они вкладывают в опенсурс и в экосистему на которой все это держится
Раньше я там тусил как артист а теперь пришел просить хелп как программист - такой вот круг
У них невероятно дружелюбное комьюнити и можно часами залипать в их дискорд
да думаю все знают их, не знаю зачем я это пишу - принесу тогда немношк видео
🐳5🌚2
Всем првт! Обучение sdxs-2b
Прогнал претрейн в 512, начал в 1k
В основе Cosmos3dTransformer
Текст енкодер - мелкий Qwen35-0.8b
Трансформер жирный, 27 слоев нашпигованых этеншен, учится медленно
Вообще это видео модель (сейчас учится в 2d)
Будет и аниме и фото (в комментах будет пример фото)
Я не смотрел анима, поэтому не могу сравнить, но вообще пока она хуже sdxs-1b в деталях, но уже лучше в позах.
Доделаю вот вот бота в телеграм можно будет попробовать
Прогнал претрейн в 512, начал в 1k
В основе Cosmos3dTransformer
Текст енкодер - мелкий Qwen35-0.8b
Трансформер жирный, 27 слоев нашпигованых этеншен, учится медленно
Вообще это видео модель (сейчас учится в 2d)
Будет и аниме и фото (в комментах будет пример фото)
Я не смотрел анима, поэтому не могу сравнить, но вообще пока она хуже sdxs-1b в деталях, но уже лучше в позах.
Доделаю вот вот бота в телеграм можно будет попробовать
🐳4