🤗 Decision Transformers

Теперь на Hugging Face доступны 9 чекпоинтов моделей для обучения с подкреплением

Блог пост

Кагл. Мало места на диске? 🧐

Вообще да.
Просто представьте ситуацию: всего у вас 20гб, ваш обучающий сет весит 13 гб(его не удалить в силу каких-то особенностей, добавлять через утилиту датастеов тоже не враиант), а вы обучаете 10 чекпоинтов моделей, вес каждого около 2гб.

👉 Откуда же достать место? Есть лайфхак, которым пользуются hf - сохранять ВСЕ ненужные для сохранения файлы в /root/.cache/

Это работает, так как кагл считает дисковое пространство только в /kaggle/working . Если вы запустите Save & Run All, то root/.cache/ просто не отобразится в outputs.

Я много помогал ребятам из Алиэкспресса делать разные штуки.

Поиск, ценообразование, рекомендательные системы, антифрод, А/Б тесты, МММ, косвенно матчинг

Теперь они проводят Первый митап команды AliTech

Расскажут о том, как готовить данные и обучать алгоритмы, чтобы находить совпадения среди миллионов товаров (а на AliExpress их больше 2 млрд), разберут не только истории успеха, но и попытки, которые ни к чему не привели — на митапе команды AliTech 7 апреля, в 18:00.

В программе

— Как сделали матчер: тайтлы, берты и две сестры, Андрей Русланцев, AliExpress Россия

— Как не сделали матчер: тайтлы, чехлы и близнецы, Денис Ивашков, AliExpress Россия

— Prod2vec: три в одном! Объединяем всю информацию о товаре в один вектор, Александр Голубев, Ozon

— Прикладные задачи матчинга и способы оценки качества, Макар Красноперов, Яндекс.Маркет

— Q&A сессия о матчинге и не только!

Митап будет в 18:00 в четверг, 7 апреля, в новом офисе AliExpress в башне «Империя» в Сити — и в трансляции на YouTube. Регистрироваться тут (это обязательно)

🤷‍♀️ О том, как я переводчик делаю

👉 Всё началось с малого, с желания иметь модель весом < 50МБ, со скоростью пули и реакцией катбуста.

И всё, тут понеслось:
— Строю пайплайн, ищу данные, обучаю 3 дня
— Понимаю что капец косякнул в коде обучения
— Дебажу день, ставлю обучаться на ночь
— Ловлю новый баг в токенизации
— Думаю ладно, багов больше не будет, но нет тут то было, оказывается довольно большая часть сета какая-то кривая и это сильно портит метрики
— Закончились ресурсы на кагле, нужно было искать гпу на эксперименты
— Одолжил аккаунт, запустил, добавл новый сет и фильтры для него -> в итоге первая +- модель, которая вместо нормального перевода давала парафраз с ответом на вопрос если таковой был 😂
— Эксперименты продолжаются, начинаю разбивать текст, чтобы обучать только для перевода одного-трех предложений -> что-то идёт не так и вроде становится хуже
— Думаю: а как же так? Я про дистилляцию забыл? Надо пробовать, лосс падает, примеры генерятся - всё очень круто, ставлю на ночь
— Словил очередной баг: из-за пересечения имен в функции генерации текста предиктилась моделью учителем...
— Ощутил нехватку данных, поспрашивал людей, покапал популярные датасеты ииии ничего не изменил, так закончились гпу часы 🙃
— Решил, ну ладно, какие там ещё вычислители? TPU надо пробовать
— Вспоминаю что недавно видел крутую либу от HF - accelerate, решил использовать и получил легкую интеграцию под все вычислители, но обучать на TPU нахватало терпения 🙌

Ну а сейчас муки эксперименты продолжаются, если верить wandb.ai, то я уже запускал блокнот более 200 раз, понял что нужно увеличивать сет, но гпу кагла тупо не хватит, либо придется сильно урезать урезанное.

Что же в итоге? Читайте доки, проверяйте данные и метрики перед запусками, делайте перерывы в работе, а то ваши мыслительные процессы станут похожи на жалкие потуги обучить T5 на процессоре

Это что-то с чем-то

Вышло обновление Disco Diffusion 5.1 для генерации картинок и видео.

Телега шакалит качество 😢

-> Ссылка на колаб

ИИ для распознавания аутизма

Исследователи из Стэнфорда разработали алгоритм, который может помочь определить, есть ли у кого-то аутизм, глядя на сканирование мозга.

Как описано в новом исследовании, опубликованном в журнале Biological Psychiatry, алгоритм оценивал сканирование мозга из выборки примерно 1100 пациентов. С точностью 82% алгоритм отобрал группу пациентов, у которых диагностировали аутизм.

Новость

Кажется нейронки скоро станут одним из инструментов детективов, а за этим пойдет переквалификация в нейродетективов.

Фантастические идеи фильмов становятся явью.

Silero TTS V3

Русский text to speech стал ещё лучше, вот прям конкретно.

Для сравнения превосходства нового спикера послушайте результаты работы с костылями и без

Честно говоря, очень страшно за то в каких мошеннических схемах это может использоваться

Попробовать онлайн
Почитать как работает это чудо
Поглядеть на гит

YDB

Яндекс выложил свою базу данных в открытый доступ

Даже чат в тг есть -> тык

Гитхаб

Про прогрессбары

Недавно понадобилось отслеживать состояние обучения модельки(переводчика) в реалтайме, но я работаю в save & run all кагла, что довольно неудобно и накладывает ограничения

Соответственно появились мысли о всяких MLOps инструментах типо wandb, neptune, tensorboard и тд

Но они тоже не сказать что супер удобные, ведь что есть удобнее мессенджеров?

Тут я начал гуглить на эту тему что-то для тг. Нашел штуку HF, которая тупо отправляет сообщение в мессенджер. Нормально, но хочется большего, большего реалтайма без флуда

Написал другу об этом всём, а в ответ:

Сделать TQDM вывод красивый, вытащить выходной поток, прогнать через какую-нить либу, которая по любому есть, это-ж питон. И в одно сообщение красиво скидывать с таймаутом в минуту, не шля новые, а изменяя старое
(хотя скорее всего есть более удобные инструменты юпитера)

Как ни странно он был прав, при этом настолько, что изменить в коде нужно было всего две строчки:

from tqdm.contrib.telegram import tqdm
for i in tqdm(iterable, token='{token}', chat_id='{chat_id}'):
    ...

В конечном итоге я остановился на комбинации tqdm telegram + wandb (полный вывод консоли + использование ресурсов) и пока что меня это устраивает

Много чего произошло за последнее время в жизни канала и админов.

Одним из таких событий стало награждение в Сбере, в ходе которого у нас появился свой собственный мерч (правда всего один экземпляр)