Про прогрессбары

Недавно понадобилось отслеживать состояние обучения модельки(переводчика) в реалтайме, но я работаю в save & run all кагла, что довольно неудобно и накладывает ограничения

Соответственно появились мысли о всяких MLOps инструментах типо wandb, neptune, tensorboard и тд

Но они тоже не сказать что супер удобные, ведь что есть удобнее мессенджеров?

Тут я начал гуглить на эту тему что-то для тг. Нашел штуку HF, которая тупо отправляет сообщение в мессенджер. Нормально, но хочется большего, большего реалтайма без флуда

Написал другу об этом всём, а в ответ:

Сделать TQDM вывод красивый, вытащить выходной поток, прогнать через какую-нить либу, которая по любому есть, это-ж питон. И в одно сообщение красиво скидывать с таймаутом в минуту, не шля новые, а изменяя старое
(хотя скорее всего есть более удобные инструменты юпитера)

Как ни странно он был прав, при этом настолько, что изменить в коде нужно было всего две строчки:

from tqdm.contrib.telegram import tqdm
for i in tqdm(iterable, token='{token}', chat_id='{chat_id}'):
    ...

В конечном итоге я остановился на комбинации tqdm telegram + wandb (полный вывод консоли + использование ресурсов) и пока что меня это устраивает

Много чего произошло за последнее время в жизни канала и админов.

Одним из таких событий стало награждение в Сбере, в ходе которого у нас появился свой собственный мерч (правда всего один экземпляр)

Хочу посоветовать уважаемым читателям небольшой бесплатный курс MLOps Zoomcamp от моего старинного приятеля Алексея, автора книги Machine Learning Bookcamp. Курс рассчитан на не самую опытную аудиторию и поможет закрыть некоторые пробелы в ответе на вопрос "Как же все-таки выкатывать ML в продакшен".

Говоря про MLOps, не могу не заметить, насколько хайповым стал этот термин. На каком-то этапе я обнаружил, что все вокруг говорят про MLOps, и заволновался, что отстал от жизни. Немного почитал и обнаружил, что это все знакомые практики под новым красивым названием. Позже в одном из первых ревью на план нашей с Валерой книги ревьювер даже написал замечание в духе "удивлен, что эта глава не называется MLOps, хотя содержание похоже на него".

Как хорошие software инженеры уделяли внимание мониторингу и пайплайнам деплоймента до того, как про devops стали вещать из каждого утюга, так и MLOps - это не что-то кардинально новое, а просто собранные вместе практики, которые нельзя игнорировать, работая с настоящим продакшеном, а не только тыкая fit-predict в jupyter ноутбуках. Впрочем, хоть горшком назови, только в печь не ставь прод не роняй.

🔥 HF выложили первый урок по RL!

Рассказывается зачем RL вообще нужен и его основы: пространство действий, окружение, награда, штрафы и т.д.

Довольно подробно рассказывается математика, которая стоит за всем этим. В качестве практики предлагают потренироваться на одном из базовых окружений - lunar lander, уже даже есть лидерборд).

Помимо этого есть много очень хороших дополнительных материалов для самостоятельного изучения.

Кажется самое время начать изучать этот ваш RL.

Урок
Лидерборд

Почитать

Почему-то именно сегодня захотелось зайти наконец-то в закладки и посмотреть что же такого интересного почитать есть.

Наткнулся на книжку Steve Nouri "Data Science interview questions" - содержит 134 вопроса к интервью с ответами на темы: статистика, датасаенс, аналитика, классический ML, DL и просто какой-то разнобой.

Вопросы не сказать что сложные, некоторые мне не очень нравятся из-за постановки + не в своем блоке, но несмотря на это я был приятно удивлен - вопросы действительно показывают кругозор кандидата и его интересы.

Думаю можно иногда почитывать, чтобы освежить память.

Книжка

Awesome-Diffusion

Один из админов нашел репозиторий, достойный вашего внимания, но перед началом стоит чуть поговорить про то, что такое диффузионные модели:

Работают диффузионные модели следующим образом — сначала искажают обучающие данные, постепенно добавляя гауссовский шум, медленно стирая детали, пока данные не превратятся в чистый шум, а затем нейронная сеть обучается, чтобы обратить этот процесс искажения вспять. При обратном искажении данные синтезируются из чистого шума путем постепенного снижения шума до тех пор, пока не будет получен чистый образец. (источник)

Собственно тема интересная и скорее всего вы о ней слышали, когда смотрели на всякие нейрогенерации коих в последнее время довольно много.

Репозиторий представляет собой сборник ссылок на статьи и их реализации, разделённые на самые разные темы(в том числе NLP, Vision, Audio, TS, etc).

Всё оформлено классно, а самое главное - структурированно.

Меня заинтересовала тема временных рядов и скорее всего, при необходимости, я попробую что-нибудь оттуда использовать.

Репозиторий

Теперь вы знаете как отвечать человеку, когда вам лень или он вам не понравился.

Это вопрос. Вопросам здесь не место.

Визуализация аудитории

Сделал небольшой парсер участников канала в телеге.

Беру все доступные описания и закидываю в модель, подаю в PCA и сжимаю до вектора из 2-х элементов, ручками выбираю кол-во кластеров и строю график.

Теперь про график:
Красные - всякие ссылки на каналы
Темные - DS/ML/универы
Зеленые - словосочетания и предложения

Ну и те, что в центре - что-то между всеми остальными.

Пока делал всё это, задумался о том, сколько данных мы теряем - начиная от сжатия и заканчивая кластеризацией.

Ведь действительно, для сжатия мы подаем N-мерные вектора, которые схлопываются в 2-мерные и именно по 2-мерным мы делаем кластеризацию.

Ок, давай подавать N-мерные, в чем проблема?
Проблема в том, что тогда у кластеров не будет четкой границы и понимать график станет куда сложнее.

Этим постом я хотел вернуть нас к пониманию того, что объяснять ML довольно сложно. Почему? Потому что мы не всегда имеем полное представление о данных.

Код для визуализации

Обучение нейронок в VR Chat

Это уже за гранью моего понимания

Бесплатно и в облаке - ʎzy 💥

👉 ʎzy(лизи) - это система для запуска произвольного python кода в облаке, которая в ближайшее время станет open-source.

Зачем❔

1️⃣ Для контроля и оптимизации доставки данных

2️⃣ Масштабирование - ускорение существующего кода с использованием облачных ресурсов

3️⃣ Хранения результатов экспериментов

Отдельно заинтересовала возможность запуска вычислений катбуста. Как? Да очень просто

model.fit(data, labels, provisioning=Provisioning(gpu=Gpu.any()))

⚡️ После публикации в open-source можно будет взять terraform скрипты и поднять лизи у себя в приватном облаке, при необходимости.

Ну и также: автоматический перенос зависимостей и минимальное изменение кода.

↘️ Сейчас идет Бетка, в private preview бесплатно доступны NVidia Tesla V100 GPU, скоро будет добавлен доступ к A100.

@Градиентное погружение

Попробовать
Послушать доклад
Взглянуть на презу
Обратная связь(Чатик)