Всем првт! Обучение sdxs-2b
Прогнал претрейн в 512, начал в 1k
В основе Cosmos3dTransformer
Текст енкодер - мелкий Qwen35-0.8b
Трансформер жирный, 27 слоев нашпигованых этеншен, учится медленно
Вообще это видео модель (сейчас учится в 2d)
Будет и аниме и фото (в комментах будет пример фото)
Я не смотрел анима, поэтому не могу сравнить, но вообще пока она хуже sdxs-1b в деталях, но уже лучше в позах.
Доделаю вот вот бота в телеграм можно будет попробовать
Прогнал претрейн в 512, начал в 1k
В основе Cosmos3dTransformer
Текст енкодер - мелкий Qwen35-0.8b
Трансформер жирный, 27 слоев нашпигованых этеншен, учится медленно
Вообще это видео модель (сейчас учится в 2d)
Будет и аниме и фото (в комментах будет пример фото)
Я не смотрел анима, поэтому не могу сравнить, но вообще пока она хуже sdxs-1b в деталях, но уже лучше в позах.
Доделаю вот вот бота в телеграм можно будет попробовать
🐳4
Месяц назад я запилил говно мюон для неквадратных матриц
https://github.com/recoilme/muon_adamw8bit/blob/master/muon_adamw8bit/optimizer.py#L88
У меня была сделана наивная нормализация (Клодом) - но фокус не удался, к сожалению
В чем собственно проблема - мюон не работает на неквадратных матрицах, от слова совсем
Кстати умные Пацанчики юзают его только для квадратиков см ГПТ2 от Ильи. Матрицы бывают квадртне, широке и высоке 4 на 2 например - Tall, но обычно его суют во все щели - это же Мюон, смотри вот папира какой он ловкий!
На диффузии это становится видно буквально через сутки. Он бодро начинает - затем анатомия начинает разваливаться на глазах. Буквально рукожопы. Странно что мюон существует довольно давно но остальные заметили это только сейчас. Думаю заметили, раз напр Илья не юзал, но решили промолчать как умные люди
У меня есть гипотеза что публично называть говно говном могу себе позволить только я
Пацаны запилили православную реализацию для m!=n
https://github.com/tilde-research/aurora-release/blob/main/src/aurora.py#L46
Называется Аврора. Пишут что Мюон руинил до 25% весов в матрицах в блоге
Буду пробовать. О результатах доложу на следующем синке
До новых встреч, коллеги!
ЗЫ Кстати на фото реальный снимок как корежит Мюон - вот исправление адафактором
https://github.com/recoilme/muon_adamw8bit/blob/master/muon_adamw8bit/optimizer.py#L88
У меня была сделана наивная нормализация (Клодом) - но фокус не удался, к сожалению
В чем собственно проблема - мюон не работает на неквадратных матрицах, от слова совсем
Кстати умные Пацанчики юзают его только для квадратиков см ГПТ2 от Ильи. Матрицы бывают квадртне, широке и высоке 4 на 2 например - Tall, но обычно его суют во все щели - это же Мюон, смотри вот папира какой он ловкий!
На диффузии это становится видно буквально через сутки. Он бодро начинает - затем анатомия начинает разваливаться на глазах. Буквально рукожопы. Странно что мюон существует довольно давно но остальные заметили это только сейчас. Думаю заметили, раз напр Илья не юзал, но решили промолчать как умные люди
Пацаны запилили православную реализацию для m!=n
https://github.com/tilde-research/aurora-release/blob/main/src/aurora.py#L46
Называется Аврора. Пишут что Мюон руинил до 25% весов в матрицах в блоге
Буду пробовать. О результатах доложу на следующем синке
До новых встреч, коллеги!
ЗЫ Кстати на фото реальный снимок как корежит Мюон - вот исправление адафактором
🐳3👀2
всё еще невероятно сырое и через неделю будет прям лучше и надо терпеть - но меня прям распирает поделиться удачными кадрами)
бот / веса
@inkimpbot / sdxs-2b
ещё вы будете смеяться но это видео модель, 3D трансформер
Практически модель мира, мира лучшего чем этот, лол
и нет, это не анима, тренил с нуля (ну почти) - инит с весов cosmos-transformer-3d
бот / веса
@inkimpbot / sdxs-2b
ещё вы будете смеяться но это видео модель, 3D трансформер
Практически модель мира, мира лучшего чем этот, лол
🤯6👻2🐳1🍌1