📎 Master of Data Science

Вот так бывает, ловишь рыбу находишь клад. В моем случае рыба - hadoop, а клад - курс в котором он преподавался.

🔥 Просто чекните блокноты в репозитории, они шикарны: есть картинки и понятные объяснения, примеры, причем курс очень свежий (буквально пару недель назад вышел). И что немало важно, есть докеры: под мак, под линух и винду. Для меня это знак хорошего качества.

✊ Из тем (самое главное): map reduce, spark, hadoop, dask, немного про форматы файлов и основы гита.

@gradientdip

Сайт
Репозиторий

🔥 HIVEMIND - децентрализованное обучение из коробки

— Давайте честно, не приходила ли к вам мысля как-нибудь объединить кагл/колаб/{свое железо} ноутбуки в одну целую машину, чтобы и модельки обучать и инфу передавать?

👉 Так вот, ребята вот уже год-два делают свою либу и при этом явно добились результата.

⚡️ Вместе с Яндексом, ВШЭ, HF они продемонстрировали результат на NeurIPS 2021— обучили языковую модель ALBERT и сейчас помогают другим командам.

Ну ладно, что это вообще за штука и как она работает?

Два основных сценария:

1️⃣ Глобальное обучение — здесь как раз и нужны колабы, но у них внутренний firewall, поэтому в цепи должна быть хотя бы одна машина с "публичным ipшником" (любой сервак за 5 копеек, можно без гпу).

2️⃣ Локальное, когда ваши машины подключены по проводам.

👀 Вся магия происходит в оптимизаторе. Интернет медленный, поэтому нужно обучать за малое количество шагов с большим батчем. В целом можно использовать стандартный SGD/Adam/etc, но есть и специализированные: LAMB или LARS.

Стратегии обучения:

1️⃣ Локальная оптимизация — каждый участник делает независимо несколько шагов обучения на своих данных, а потом они все усредняют веса и повторяют процедуру.

2️⃣ Глобальная оптимизация — участники не применяют свои локальные градиенты сразу, а откладывают их. Когда все вместе соберут заранее оговорённое число примеров, они обмениваются градиентами и обновляют веса по "глобальным" градиентам.

❓Даст ли это сильное ускорение? Не знаю, все индивидуально, но сама технология действительно интересная.

Очень благодарен разработчикам за детальную QA сессию/лекцию по устройству либы, в комментах будут более точные объяснения.

@gradientdip

Демонстрация
CALM - пример
Внутреннее устройство DHT
Hivemind (github)
DeDLOC: обучаем большие нейросети всем миром

Типикал день датасаентиста

Сохранение файлов в кагле

Тут пару недель назад кагл обновил свой бэк и теперь, если ваша интерактивная сессия решила немного сломаться и перестать отображать файлы на панели, то вы не сможете скачать файлы 😢

Поэтому админы предлагают выход:

import wandb

!wandb login {key}
wandb.init(project="project", name="save-file-only")
wandb.save('./data/experiments/test/model-16-0.2066.ckpt')

Если вы знаете и другие варианты, то поделитесь в комментах

Старые подходы (не актуально)

Торчвижен обновился (и уже давно)

👉 И это довольно важно, так как многие любят использовать модели из их хаба, а тут выкатили сразу кучу, так ещё и с более крутым качеством.

🔥Что нового:

1️⃣ Добавили веса IMAGENET1K_V2, улучшив метрику:

ResNet50:
acc@1 (on ImageNet-1K): 76.13 -> 80.858
acc@5 (on ImageNet-1K): 92.862 -> 95.434

MobileNet_V3_Large:
acc@1 (on ImageNet-1K): 74.042 -> 75.274
acc@5 (on ImageNet-1K): 91.34 -> 92.566

В основном резнет-образные получили сильный буст, остальные не очень много.

2️⃣ Обновили список квантизированных моделей (удивился что такой есть, полезно смотреть доки)

3️⃣ Добавили инференс трансформации по умолчанию (подробнее в следующем посте)

@gradientdip

Попробовать можно уже сейчас, но только в main ветке (сейчас ветка v12 - stable)

Большинство библиотек машинного обучения не были разработаны для работы с геопространственными данными. #TorchGeo, библиотека домена PyTorch, призвана изменить эту ситуацию, отслеживая некоторые из величайших мировых проблем, таких как стихийные бедствия и изменение климата.

🌎 Подробнее

Каждый раз, когда меня просят построить антифрод систему - мой бейзлайн это ошибка реконструкции автоэнкодера. Быстро, не нужны лейблы, достаточно иметь некоторое количество “хороших” транзакций и работает из коробки довольно неплохо.

Сегодня прочитал статью Credit Card Fraud Detection Using Sparse Autoencoder and Generative Adversarial Network

В который раз позавидовал способности людей расписывать что-то длинной в абзац на 10 страниц

Идея следующая

1. Берем хорошие транзакции, учим на них sparse autoencoder
2. Репрезентация (code после encoder) полученная от sparse autoencoder становится новыми фичами
3. Учим GAN, где реальные образцы - это репрезентация существующих хороших транзакций с пункта 2, а фейковые, понятное дело, шум
4. Снимаем с GAN дискриминатор и используем его теперь чтобы принять решение о транзакции (прогнанной сначала через sparse autoencoder) - фрод или нет

С чем бы я поэкспериментировал

1. Попробовать обычный AN и denoising AN
2. Попробовать добавлять небольшой шум на AN representation перед входом в GAN
3. Попробовать подмешать небольшой процент фрода в фейковые сэмплы

Идею - дарю
#ArticleReview

ресёрч би лайк:
1. не смог реализовать архитектуру из статьи
2. немного изменил её
3. всё заработало
4. пишешь пейпер про свою новую архитектуру

Это историческое событие, спасибо что вы с нами, будем и дальше радовать постами ❤️

VQ-Diffusion

Что это такое?

Это модель от microsoft. Смысл этой модели и различие её от обычной диффузии(glide, dalle2, imagen) заключается в том, что она генерирует латентное пространство vqvae, вместо того, чтобы генерировать сразу картинку.

Они заменили unet на трансформер dalle, что позволяет им без проблем генерировать сразу пространство vqvae.
Также они считают текстовые эмбеддинги с помощью клипа, что довольно интересно.

Собрал колаб для этой модели.

гитхаб
пейпер

@gradientdip

Пример генерации
teddy bear in the swimming pool

меня как моушн дизайнера печалит что в демо далли можно генерить только статику. но при этом далли отлично умеет в инпейнтинг - дорисовку недостающей части изображения. в этом эксперименте каждую следующую картинку я генерил на основе предыдущей, уменьшая и поворачивая ее. получается такой бесконечный зум аут, в процессе создания которого можно полностью менять наполнение кадра

@тоже моушн

Шахматисты подсмотрели у нейросети парочку новых трюков

Чему учатся сложные нейросетевые агенты, такие как AlphaZero? Этот вопрос представляет как научный, так и практический интерес.

Ученые из Google постарались ответить на этот вопрос. В своей работе, они приводят доказательства того, что нейросеть AlphaZero приобрела человеческие знания в процессе ее обучения игре в шахматы. Исследуя широкий спектр человеческих шахматных понятий, они показываем, когда и где эти понятия представлены в сети AlphaZero. В статье также предоставлен поведенческий анализ нейросети от шахматного гроссмейстера Владимира Крамника.

Шахматист даже утверждает, что научился новым ходам и идеям у нейросети (похожие мысли высказывали и топовые игроки в Го, которые анализировали игру компьютера ).

♟ Статья

Давайте говорить

Общаться с коллегами, друзьями и путешественниками - казалось бы обыденностью, в таком случае зачем прилагать усилия, верно?

Встречая давнего друга мы стараемся узнать что же такого невероятного с ним приключилось за время разлуки, мы интересуемся им и искренне ценим потраченное на нас время - это очень круто.

Но что происходит когда мы встречаем незнакомые лица? Как себя чувствуем? Дискомфорт и пустота, ожидание первого шага со стороны другого человека.

За последние дни я познакомился со множеством людей, послушал крутых и не очень спикеров, теперь я готов поделиться мыслями.

Начнем с простого:

1️⃣ Многие спикеры не обращают внимания на аудиторию. И я не про то, что они не видят, а про то что они не спрашивают у аудитории кто они такие. Очень важно понять уровень подготовки аудитории и их сферы, потратьте 5 минут, наладьте свзязь и пошутите - вам сразу станет комфортнее.

2️⃣ Говорите как есть (если это лекция или что-то ламповое) - люди приходят не слушать рабочий сленг, люди приходят получить удовольствие от харизмы спикера, для того чтобы расширить свои горизонты познания.

3️⃣ Не пытайтесь себя продать (если это как пункт 2) - все и так устали от рекламы из каждой щели, не надо показывать рекламных видосов - это некрасиво.

Я был убежден, что плохая преза - признак провала, но это не так! Я был на лекции профессора из РАН про корону, слабый дизайн и много текста - все грустно, но это был настолько интересный дедушка, что теперь я знаю про виды короны, их историю и различия, просто вау.

Некоторые преподы привлекают внимание своим голосом, если вы когда-нибудь думали о том как удивить кассира на кассе, то знайте, радиоведущие делают это часто.

Все выше сказанное было написано с одной мыслью - важно уметь представлять себя независимо от ситуации и рода деятельности. Быть крутыми прогерами - круто, но ещё круче уметь донести свою крутоту не достижениями, а мыслями и интересами.

Сингулярность на пороге. Как ИИ проектирует GPU?

NVIDIA использует ИИ для разработки более компактных, быстрых и эффективных микросхем, обеспечивающих повышение производительности с каждым поколением чипов.

В работе PrefixRL: Optimization of Parallel Prefix Circuits using Deep Reinforcement Learning исследователи демонстрируют, что ИИ не только может научиться проектировать эти схемы с нуля, но и разработанные им схемы меньше и быстрее, чем схемы, разработанные современными инструментами автоматизации электронного проектирования (EDA). Новейшая архитектура NVIDIA Hopper GPU имеет почти 13 000 чипов, разработанных ИИ.

За наводку спасибо @j_links

Удобочитаемость

Термин обозначающий, сложность прочтения какого-либо текста.

В годах 50-х профессора и учёные задумались: можно ли по тексту узнать примерный уровень знаний, необходимый для прочтения?

Как оказалось - да, вылилось это в раздел, просвещенный индексам удобочитаемости.

Это какие-то статистики по тексту, иногда с учётом частоты слов, а иногда с учётом слогов, нграм.

Зачастую индексы писались для конкретной возрастной группы, скажем не выше студентов, ну и конечно же для английского языка (для русского есть только интерпретации).

Это все помогало анализировать аудиторию, что было важно для условных печатных издательств.

Что лично меня удивило, так это наличие таких индексов в Ворде.

Подойдут как косвенные признаки для анализа документов + дополнительные фичи при обучении моделей.

Readability
Реализации индексов [github]
Flesch–Kincaid readability

#useful

👾 Я вот три тыщи лет не писал и сейчас не собирался, но люди подходят на улицах и просят продолжать блог, эх...

💡 Запилил вам целую статью с описанием и сравнением ⚡️ скорости ⚡️ разных обработчиков табличек с python. Очень-очень старался, потратил на это кучу времени и сил. Тыкать сюда.

⏰ Вечером ждите новый постик про то, как у меня дела!