Julia
Мы хотим язык с открытым исходным кодом, с либеральной лицензией. Мы хотим скорость C с динамизмом Ruby. Нам нужен гомоиконичный язык с настоящими макросами, как Lisp, но с очевидными, знакомыми математическими обозначениями, такими как в Matlab. Мы хотим что-то такое же удобное для общего программирования, как Python, такое же простое для статистики, как R, такое же естественное для обработки строк, как Perl, такое же мощное для линейной алгебры, как Matlab, и способное склеивать программы вместе как оболочку. Нечто простое в освоении, но при этом радующее самых серьезных хакеров. Мы хотим высокой интерактивности и эффективной компиляции. Мы ведь не слишком многого просим, верно?

В посте выше приведены слова разработчиков языка. Действительно, их продукт получился интересным, благодаря чему смог обрести популярность в очень узких кругах.

Для Julia существуют инструменты, способные заменить набор среднестатистического питониста-датасаентиста(ну или как минимум заинтересовать его).

Самая интересная фича:
Возможность запуска питоновских библиотек из под Julia.
Т.е. вы можете запускать sklearn и юзать модели в вашем коде, но при этом выполнять обработку больших данных значительнее быстрее нативного питона.

Попробовать это чудо можно без смс и регистрации в онлайне.
Ну а для самых пытливых - годная книжка

Возможно тема джулии кого-то заинтересовала, поэтому ловите подгон в виде списка полезных ресурсов(к сожалению только англ).
Ссылка на русскоязычное комьюнити. Оно почти не активничает, но что-то спросить все же можно.

Хозяйке на заметку: если вам нужно относительно качественно перефразировать предложение, можно сделать это методом back-translation: перевести его русского на английский и назад на русский.
Чтобы не получить на выходе то же самое предложение, можно запретить модели-переводчику воспроизводить n-граммы (токенные), встречавшиеся в исходном предложении.
Кажется, получается дёшево и сердито.

import torch
from transformers import FSMTModel, FSMTTokenizer, FSMTForConditionalGeneration
tokenizer = FSMTTokenizer.from_pretrained("facebook/wmt19-en-ru")
model = FSMTForConditionalGeneration.from_pretrained("facebook/wmt19-en-ru")
inverse_tokenizer = FSMTTokenizer.from_pretrained("facebook/wmt19-ru-en")
inverse_model = FSMTForConditionalGeneration.from_pretrained("facebook/wmt19-ru-en")
model.cuda();
inverse_model.cuda();

def paraphrase(text, gram=4, num_beams=5, **kwargs):
    """ Generate a paraphrase using back translation. 
    Parameter `gram` denotes size of token n-grams of the original sentence that cannot appear in the paraphrase.
    """
    input_ids = inverse_tokenizer.encode(text, return_tensors="pt")
    with torch.no_grad():
        outputs = inverse_model.generate(input_ids.to(inverse_model.device), num_beams=num_beams, **kwargs)
    other_lang = inverse_tokenizer.decode(outputs[0], skip_special_tokens=True)
    # print(other_lang)
    input_ids = input_ids[0, :-1].tolist()
    bad_word_ids = [input_ids[i:(i+gram)] for i in range(len(input_ids)-gram)]
    input_ids = tokenizer.encode(other_lang, return_tensors="pt")
    with torch.no_grad():
        outputs = model.generate(input_ids.to(model.device), num_beams=num_beams, bad_words_ids=bad_word_ids, **kwargs)
    decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return decoded
    
text = 'Женщина-дайвер исчезла в Черном море во время научных работ на побережье Анапы.'
print(paraphrase(text, gram=3, do_sample=False))
# Женщина-водолаз пропала в акватории Черного моря, когда выполняла исследовательские работы у берегов Анапы.
# Wall time: 699 ms

TriviaQA: Крупномасштабный набор данных для понимания прочитанного и ответов на вопросы

Датасет содержит более 650К пар вопрос-ответ-доказательство для задачи понимания текста и около 110К пар вопрос-ответ для ODQA на английском языке. Его использовали при обучении WebGPT. Для скачивания доступно 3гб инфы.

Авторы добавили лидерборд, на котором топ держат LongT5 и Big Bird

GitHub | Site | Leaderboard

OLive - ONNX Runtime Go Live

Либа для конвертации моделей в onnx и тюнинг их инференса. Тюнинг заключается в подборе оптимизационных параметров по типу максимальной задержки или же присетов точности. Всего 27 опций. Получается своеобразный гридсерч к которому мы привыкли.

Штука эта ощущается сыроватой, так как у меня не запустился их блокнот с последним коммитом "fix tutorial" 💁

GitHub
Примеры

Поездка в Москву в декабре была крайне удачной, записали много контента. В том числе это интервью с Романом, где поговорили про обучение и карьеру

Что вы знаете о задаче суммаризации?

Знали ли вы что её можно разделить на 2 категории:
- Экстрактивный подход (всякие хитрые и не очень алгоритмы)
- Абстрактивный подход (нейронки)

Если со вторым все понятно, то вот про первый стоит немного поговорить. В отличие нейронок, здесь мы не используем генерацию текста, связи с чем работаем только с предложениями и их усреднёнными векторами(GloVe, Gensim, FastText), а в некоторых случаях с мерами схожести строк.

Так например, вы можете использовать алгоритм TextRank для подбора "ключевых предложений". Помимо этого существуют и другие реализации по типу LexRank, LSA, KL Divergence. Про них можно почитать тут.

Объяснение TextRank/PageRank

CLIP получил обновление 🔥

Помните те модельки, которые можно использовать для понимания связи текста и изображения? Так вот, всего два дня назад были зарелизины RN50x64 и ViT-L/14 💪.

Админы очень рады такому обновлению, так так часто используют клиповские ViT для задач классификации/регрессии, а также верят в качество от OpenAI.

Новость

Катбуст, он такой один 💥

Пару дней назад я осознал, что давненько не читал доки скоростного котэ и решил наверстать упущенное, попутно просматривая официальный чатик.

И знаете, я нашел/вспомнил некоторые крутые фичи, которыми хочу поделиться:

1️⃣ В задаче регрессии катбуст можно претрейнить, правда не совсем. По сути мы вместе с признаками указываем отдельно результат какого-либо другого алгоритма и все, недостак какой-то получается.

2️⃣ Можно продолжать тренировку нашего дерева с разными параметрами, просто указывая модель для инициализации, что в теории может позволить сделать обучение более гибким, но муторным.

3️⃣ Можно обучать батчами. По сути тоже что и пункт 1 👀.

⚡️Ну и наверное самый полезный факт - катбуст конвертится в onnx. При этом мы получаем ускорение на CPU около 15% и около 24% на CUDA.

Примеры 1-3 пунктов
CatBoost-ONNX

Pandas медленный, верно? 🤨

И кажется не только мы так считаем, но и ребята из RAPIDS.

Представьте такаю ситуацию, что вы работаете с настолько большим сетом, что даже самая простая операция в пандасе занимает минимум 10 минут. Что в таком случае вы будете делать?

Первым на ум приходит удаление ненужных колонок из памяти и конвертация колонок в более "легкие" типы, такие как: float16/32, int8/32. Но вот незадача, этого всё равно недостаточно, а значит пришло время серьезной артиллерии - юзаем GPU.

Как именно? С помощью библиотеки cuDF. Она имеет практически такой же интерфейс, что и pandas и позволяет без лишней боли пользоваться прекрасным инструментом.

Но тут есть ограничения, а именно - поддерживаются только P4, P100, T4, V100. Админ около часа пытался запустить в колабе на K80, но безуспешно. Благо есть Kaggle с P100 на которой все работает как часы и даже conda инсталить не нужно.

Ну так, админ, что там по скоростям? Бывает по разному, но вы однозначно получите ускорение в 30-100 раз 🔥

Kaggle notebook
Статья с более подробным описанием

Великие и могучие tiny модели пополнили свои ряды 🙌

Я думаю, что каждый датасаентист рано или поздно задавал себе вопрос - почему моя модель так долго инференсит/обучется? Ну так, вот помимо всяких оптимизационных решений есть вариант попроще - взять маленькую модель, но со схожим качеством. Таким образом вы значительно ускоряете ваш процесс почти не меняя код, круто ведь?

Примерно такими же мыслями(наверное) руководствовались ребята из deeppavlov, когда выпускали новую русскую distilrubert-tiny модель примерно неделю назад 🔥.

По параметрам и весу она незначительно, но меньше ранее известной rubert-tiny. По скорости также есть улучшения, как и по кол-ву токенов в словаре. Кст, на батче 16 на CPU моделька в 3 раза быстрее ⚡️.

Временные ряды ⏱

Сталкивались ли вы с задачей предсказания каких-то значений на основе временных меток? Если да, то скорее всего вы знаете, что значения каждого ряда специфичны и зависят от множества факторов. Давайте разберем их на примере нефти.

1️⃣ Нефть - сезонный продукт, особенно в России, так как из неё делают мазут, который часто используется в зимнее время. Её основными ценообразующими факторами являются решения ОПЕК/ОПЕК+ (регулируют добычу нефти в каждой участвующей стране) и уровень запасов в коммерческих хранилищах.

2️⃣ Но это ещё не все, также существенное влияние оказывают внешние факторы по типу сильных климатических изменений(ураганы) и следовательно, изменения в цепочках поставок.

3️⃣ Исходя из фактов выше, уже можно понять, что собирать подобные данные в автоматическом режиме крайне сложно, а учитывать их степень влияния ещё сложнее.

Именно поэтому, когда админ делал предсказание на год вперед, он осознавал, что его результат будет очень плачевен. Так и вышло, я ошибся примерно на 10 баксов вниз за одну единицу 😁.

Ну а вообще зачем был пост выше?

Его основной посыл - проверяйте ваши возможности и данные во время работы с временными признаками. Зачастую можно проглядеть утечку данных и получить супер результат, даже не проверяя предсказанные значения на графике.

В реальных проектах такие ошибки стараются минимизировать. Бывает, что ваша модель просто-напросто может выдать отрицательный результат и вы об этом не узнаете 💁.

Как такое исправлять? Стакать модели и простые подходы, например - взять средневзвешенное значений:
1) бустинг
2) среднее за прошлый месяц/прошлого года
3) значение прошлого года
4) линейная модель

Таким образом ваши предсказания станут устойчивее к выкрутасам моделей, но менее устойчивы к краткосрочным изменениям, хотя на то они и краткосрочны.

Видео про факторы нефти

Junior Data Scientist в ВТБ

Хотите пройти интервью? 🤷‍♀️

Когда я готовил пост про суммаризацию, случайно наткнулся на интересный сайт на котором нашел серию вопросов-ответов для подготовки к собеседованию и честно, мне понравилось. Есть картинки, которые сильно упрощают понимание текста, только жалко что все на английском.

[1] В первой части затрагивают такие вопросы как:
— Что вы знаете о фича инжиниринге?
— Что такое NLP?
— Что такое рекомендательные системы?
[2] Во второй части стало чуть ближе к практике и появились вопросы про:
— Градиентный спуск
— Преобразование Бокса-Кокса(для временных рядов бывает полезно)
— Variance inflation factors(честно хз что это)
[3] В последней части вопросы начали затрагивать тему классификации и такие штуки как:
— AdaBoost/XGBoost/Random Forest
— Метрики/Ошибки первого и второго рода
— Переобучение

Ну т.е. спрашивают реально дельные вещи, я бы даже сказал, что инфа из этой статьи далеко не во всех курсах присутствует.
А вообще хотите что-нибудь разобрать из этого списка? Пишите в комменты, попробуем.✊

ONNX - не панацея

Странно такое слышать от человека, который около месяца конвертировал различные клипы: начиная от классического Open AI и заканчивая RuCLIP.

И так, когда применять onnx не совсем разумно?
Оказалось тогда, когда ваша модель и так мегабастрая.

Из-за чего конкретно так происходит, я разобраться не смог, но предполагаю, что из-за всяких оптимизаций.

🚀 @SBERLOGABIG online seminar on machine learning:
👨‍🔬 Vlad Lialin «Современные модели с памятью. Начало новой парадигмы? »
⌚️ Четверг 3 февраля, 18.00 по Москве

О докладчике: Влад - автор одного из лучших каналов в телеграмме по Natural Language Processing - "DL in NLP" (@dlinnlp) - подписывайтесь !

В 2019 GPT-2 изменил NLP навсегда. Впервые подход "больше данных, больше слоёв" начал работать для языка. 2020 принёс GPT-3, который поражал нас своими размерами ещё больше. Постепенно гигантские модели стали практически повседневными - у каждой большой компании есть одна или две - но тренировать их становится всё сложнее.

Всего несколько месяцев назад DeepMind выпустил модель RETRO. Её особенность заключается в том, что несмотря на небольшой по современным меркам размер (7B), она обходит GPT-3 (175B) и Gopher (280B) на большом числе задач. Каким образом? Кроме информации заключенной в параметрах нейросети, RETRO обращается к огромному текстовому корпусу в котором ищет похожие тексты. Эти похожие тексты подаются в языковую модель вместе с обычным входом, который языковая модель должна продолжить. Таким образом RETRO может "подсмотреть" какую-то информацию которую никогда не видела или не запомнила из этой внешней базы данных.

На встрече мы разберём предшествовавшие модели, такие как KNN-LM, подробно разберём саму RETRO и как она работает и пофантазируем как такой подход может потенциально изменить NLP в 2022.

Ссылка на зум будет доступна в этом канале: https://t.iss.one/sberlogabig ближе к началу доклада.
Подписывайтесь на канал https://t.iss.one/sberlogabig ! Интересные материалы и увлекательные доклады.👍

RuCLIP tiny - быстрее, чем вы думаете 🔥

Спустя около месяца с начала разработки, мы готовы представить вам самую свежую нашу работу - модель для связывания текста и изображения - RuCLIP tiny.

Что в ней такого примечательного? Как минимум её размер на диске 146Мб(!), занимаемый объем ~800Мб в памяти видеокарты, а также кол-во параметров 38М. И все это в fp32.

А что ещё? Конечно же скорость работы, а именно ~16мс на батче размером 64(!). Мы также протестировали нашу разработку на датасете CIFAR100 и получили 46.62% top1 и 73.18% top5 zero-shot accuracy.

Помимо всего прочего мы не забыли сделать удобный интерфейс и ноутбуки для наших пользователей.

Почитать поподробнее можно в нашей статье на хабре
Саму разработку вы можете найти на нашем гитхабе

RuGPT3 от Сбера

AlphaCode - ещё один генератор кода
*но это не точно*

Буквально вчера компания DeepMind(подконтрольная гуглом) выпустила свежую статью, в которой рассказала о своем исследовании в области решения задач с Codeforces. Как обычно, с помощью нейронки.

Суть в чем - взяли все задачки/решения с платформы, в том числе неправильные, и подали на вход модельке похожей на Copilot, при этом указывали правильно ли решена поставленная задача.

Результаты тестирования показали, что AlphaCode решает задачки лучше чем 54% всех пользователей Codeforces. Подобных результатов получилось достичь за счет генерации большого числа решений и тестирования в системе.

Посмотреть визуализацию работы модели можно по ссылке
Почитать статью из блога можно тут
Датасет вроде как тоже выпустили