whargarbl
649 subscribers
1.82K photos
193 videos
10 files
719 links
Последнее убежище кожанных мешков
Download Telegram
Хотя старый добрый адафактор тоже неплох (между картинками 3 часа на 1x4090 / 5000 step)
To be, or.. be horse!

Чувак собрал на коленке диффузионку для текстов и обучил на макбук эир (Шекспир)
https://www.reddit.com/r/MachineLearning/comments/1srufft/bulding_my_own_diffusion_language_model_from/

Кода меньше чем в вашем последнем ДАГе

Многие думают что это некст биг финк

А вот тут веса унисекс диффузии показывают
https://huggingface.co/inclusionAI/LLaDA2.0-Uni

ЗЫ: "мамкин" оптимизатор Rose всё же сошел с дистанции. Лосс пошел вверх, фокус не удался
Пиксель диффужен (без вае)

https://huggingface.co/nvidia/PixelDiT-1300M-1024px

Хотел написать разбор, но передумал

Это проект тех же людей что делали pixart/sana /dc-ae и прочие сомнительные штуки

Я не верю ни в этих людей ни в эту команду ни единому слову в их папире

Как обычно манипуляции домыслы и крики СОТА

Недолюблюваю их всей душой. Тем не менее оно работает - и инференс довольно быстрый

Обучать не пробовал потому что не хочу чинить их лютый говнокод и нет доверия. Предполагаю что обучка в пиксельспейс будет жрать память как не в себя но могу и ошибаться - мб все и не так плохо - проверьте сами

Сота или нет - я не знаю По картинкам вроде как нет - но по папире да

Обучку на имаджнет я не дергал - так как считаю что это не говорит ничего о том способна ли модель сгенерить BMW

Промпты для теста брал отсюда
https://huggingface.co/AiArtLab/sdxs-1b#samples-with-seed-0-and-good-prompts
🐳2😱1
Получили микро грант от banodoco

Это такое комьюнити чуваков которые делают очень прикольный вижуал арт нейронками, проводят фесты и тп

Помимо этого они вкладывают в опенсурс и в экосистему на которой все это держится

Раньше я там тусил как артист а теперь пришел просить хелп как программист - такой вот круг

У них невероятно дружелюбное комьюнити и можно часами залипать в их дискорд

да думаю все знают их, не знаю зачем я это пишу - принесу тогда немношк видео
🐳5🌚2
soon
Всем првт! Обучение sdxs-2b

Прогнал претрейн в 512, начал в 1k

В основе Cosmos3dTransformer
Текст енкодер - мелкий Qwen35-0.8b

Трансформер жирный, 27 слоев нашпигованых этеншен, учится медленно

Вообще это видео модель (сейчас учится в 2d)

Будет и аниме и фото (в комментах будет пример фото)

Я не смотрел анима, поэтому не могу сравнить, но вообще пока она хуже sdxs-1b в деталях, но уже лучше в позах.

Доделаю вот вот бота в телеграм можно будет попробовать
🐳4