Awesome-Diffusion

Один из админов нашел репозиторий, достойный вашего внимания, но перед началом стоит чуть поговорить про то, что такое диффузионные модели:

Работают диффузионные модели следующим образом — сначала искажают обучающие данные, постепенно добавляя гауссовский шум, медленно стирая детали, пока данные не превратятся в чистый шум, а затем нейронная сеть обучается, чтобы обратить этот процесс искажения вспять. При обратном искажении данные синтезируются из чистого шума путем постепенного снижения шума до тех пор, пока не будет получен чистый образец. (источник)

Собственно тема интересная и скорее всего вы о ней слышали, когда смотрели на всякие нейрогенерации коих в последнее время довольно много.

Репозиторий представляет собой сборник ссылок на статьи и их реализации, разделённые на самые разные темы(в том числе NLP, Vision, Audio, TS, etc).

Всё оформлено классно, а самое главное - структурированно.

Меня заинтересовала тема временных рядов и скорее всего, при необходимости, я попробую что-нибудь оттуда использовать.

Репозиторий

Теперь вы знаете как отвечать человеку, когда вам лень или он вам не понравился.

Это вопрос. Вопросам здесь не место.

Визуализация аудитории

Сделал небольшой парсер участников канала в телеге.

Беру все доступные описания и закидываю в модель, подаю в PCA и сжимаю до вектора из 2-х элементов, ручками выбираю кол-во кластеров и строю график.

Теперь про график:
Красные - всякие ссылки на каналы
Темные - DS/ML/универы
Зеленые - словосочетания и предложения

Ну и те, что в центре - что-то между всеми остальными.

Пока делал всё это, задумался о том, сколько данных мы теряем - начиная от сжатия и заканчивая кластеризацией.

Ведь действительно, для сжатия мы подаем N-мерные вектора, которые схлопываются в 2-мерные и именно по 2-мерным мы делаем кластеризацию.

Ок, давай подавать N-мерные, в чем проблема?
Проблема в том, что тогда у кластеров не будет четкой границы и понимать график станет куда сложнее.

Этим постом я хотел вернуть нас к пониманию того, что объяснять ML довольно сложно. Почему? Потому что мы не всегда имеем полное представление о данных.

Код для визуализации

Обучение нейронок в VR Chat

Это уже за гранью моего понимания

Бесплатно и в облаке - ʎzy 💥

👉 ʎzy(лизи) - это система для запуска произвольного python кода в облаке, которая в ближайшее время станет open-source.

Зачем❔

1️⃣ Для контроля и оптимизации доставки данных

2️⃣ Масштабирование - ускорение существующего кода с использованием облачных ресурсов

3️⃣ Хранения результатов экспериментов

Отдельно заинтересовала возможность запуска вычислений катбуста. Как? Да очень просто

model.fit(data, labels, provisioning=Provisioning(gpu=Gpu.any()))

⚡️ После публикации в open-source можно будет взять terraform скрипты и поднять лизи у себя в приватном облаке, при необходимости.

Ну и также: автоматический перенос зависимостей и минимальное изменение кода.

↘️ Сейчас идет Бетка, в private preview бесплатно доступны NVidia Tesla V100 GPU, скоро будет добавлен доступ к A100.

@Градиентное погружение

Попробовать
Послушать доклад
Взглянуть на презу
Обратная связь(Чатик)

I Don't Like Notebooks

Прошло 4 года с момента выступления Джоэла Граса на JupyterCon 2018, но несмотря на это, его преза до сир пор ощущается живой и актуальной за счет веселых мемов и приятной подачи.

Просто выделите немного времени, расслабьтесь и пролистайте слайды, вам понравится.

@Градиентное погружение

Преза
Выступление