Получили микро грант от banodoco
Это такое комьюнити чуваков которые делают очень прикольный вижуал арт нейронками, проводят фесты и тп
Помимо этого они вкладывают в опенсурс и в экосистему на которой все это держится
Раньше я там тусил как артист а теперь пришел просить хелп как программист - такой вот круг
У них невероятно дружелюбное комьюнити и можно часами залипать в их дискорд
да думаю все знают их, не знаю зачем я это пишу - принесу тогда немношк видео
Это такое комьюнити чуваков которые делают очень прикольный вижуал арт нейронками, проводят фесты и тп
Помимо этого они вкладывают в опенсурс и в экосистему на которой все это держится
Раньше я там тусил как артист а теперь пришел просить хелп как программист - такой вот круг
У них невероятно дружелюбное комьюнити и можно часами залипать в их дискорд
да думаю все знают их, не знаю зачем я это пишу - принесу тогда немношк видео
🐳5🌚2
Всем првт! Обучение sdxs-2b
Прогнал претрейн в 512, начал в 1k
В основе Cosmos3dTransformer
Текст енкодер - мелкий Qwen35-0.8b
Трансформер жирный, 27 слоев нашпигованых этеншен, учится медленно
Вообще это видео модель (сейчас учится в 2d)
Будет и аниме и фото (в комментах будет пример фото)
Я не смотрел анима, поэтому не могу сравнить, но вообще пока она хуже sdxs-1b в деталях, но уже лучше в позах.
Доделаю вот вот бота в телеграм можно будет попробовать
Прогнал претрейн в 512, начал в 1k
В основе Cosmos3dTransformer
Текст енкодер - мелкий Qwen35-0.8b
Трансформер жирный, 27 слоев нашпигованых этеншен, учится медленно
Вообще это видео модель (сейчас учится в 2d)
Будет и аниме и фото (в комментах будет пример фото)
Я не смотрел анима, поэтому не могу сравнить, но вообще пока она хуже sdxs-1b в деталях, но уже лучше в позах.
Доделаю вот вот бота в телеграм можно будет попробовать
🐳4
Месяц назад я запилил говно мюон для неквадратных матриц
https://github.com/recoilme/muon_adamw8bit/blob/master/muon_adamw8bit/optimizer.py#L88
У меня была сделана наивная нормализация (Клодом) - но фокус не удался, к сожалению
В чем собственно проблема - мюон не работает на неквадратных матрицах, от слова совсем
Кстати умные Пацанчики юзают его только для квадратиков см ГПТ2 от Ильи. Матрицы бывают квадртне, широке и высоке 4 на 2 например - Tall, но обычно его суют во все щели - это же Мюон, смотри вот папира какой он ловкий!
На диффузии это становится видно буквально через сутки. Он бодро начинает - затем анатомия начинает разваливаться на глазах. Буквально рукожопы. Странно что мюон существует довольно давно но остальные заметили это только сейчас. Думаю заметили, раз напр Илья не юзал, но решили промолчать как умные люди
У меня есть гипотеза что публично называть говно говном могу себе позволить только я
Пацаны запилили православную реализацию для m!=n
https://github.com/tilde-research/aurora-release/blob/main/src/aurora.py#L46
Называется Аврора. Пишут что Мюон руинил до 25% весов в матрицах в блоге
Буду пробовать. О результатах доложу на следующем синке
До новых встреч, коллеги!
ЗЫ Кстати на фото реальный снимок как корежит Мюон - вот исправление адафактором
https://github.com/recoilme/muon_adamw8bit/blob/master/muon_adamw8bit/optimizer.py#L88
У меня была сделана наивная нормализация (Клодом) - но фокус не удался, к сожалению
В чем собственно проблема - мюон не работает на неквадратных матрицах, от слова совсем
Кстати умные Пацанчики юзают его только для квадратиков см ГПТ2 от Ильи. Матрицы бывают квадртне, широке и высоке 4 на 2 например - Tall, но обычно его суют во все щели - это же Мюон, смотри вот папира какой он ловкий!
На диффузии это становится видно буквально через сутки. Он бодро начинает - затем анатомия начинает разваливаться на глазах. Буквально рукожопы. Странно что мюон существует довольно давно но остальные заметили это только сейчас. Думаю заметили, раз напр Илья не юзал, но решили промолчать как умные люди
Пацаны запилили православную реализацию для m!=n
https://github.com/tilde-research/aurora-release/blob/main/src/aurora.py#L46
Называется Аврора. Пишут что Мюон руинил до 25% весов в матрицах в блоге
Буду пробовать. О результатах доложу на следующем синке
До новых встреч, коллеги!
ЗЫ Кстати на фото реальный снимок как корежит Мюон - вот исправление адафактором
🐳3👀2