🚀 @SBERLOGABIG online seminar on machine learning:
👨‍🔬 Vlad Lialin «Современные модели с памятью. Начало новой парадигмы? »
⌚️ Четверг 3 февраля, 18.00 по Москве

О докладчике: Влад - автор одного из лучших каналов в телеграмме по Natural Language Processing - "DL in NLP" (@dlinnlp) - подписывайтесь !

В 2019 GPT-2 изменил NLP навсегда. Впервые подход "больше данных, больше слоёв" начал работать для языка. 2020 принёс GPT-3, который поражал нас своими размерами ещё больше. Постепенно гигантские модели стали практически повседневными - у каждой большой компании есть одна или две - но тренировать их становится всё сложнее.

Всего несколько месяцев назад DeepMind выпустил модель RETRO. Её особенность заключается в том, что несмотря на небольшой по современным меркам размер (7B), она обходит GPT-3 (175B) и Gopher (280B) на большом числе задач. Каким образом? Кроме информации заключенной в параметрах нейросети, RETRO обращается к огромному текстовому корпусу в котором ищет похожие тексты. Эти похожие тексты подаются в языковую модель вместе с обычным входом, который языковая модель должна продолжить. Таким образом RETRO может "подсмотреть" какую-то информацию которую никогда не видела или не запомнила из этой внешней базы данных.

На встрече мы разберём предшествовавшие модели, такие как KNN-LM, подробно разберём саму RETRO и как она работает и пофантазируем как такой подход может потенциально изменить NLP в 2022.

Ссылка на зум будет доступна в этом канале: https://t.iss.one/sberlogabig ближе к началу доклада.
Подписывайтесь на канал https://t.iss.one/sberlogabig ! Интересные материалы и увлекательные доклады.👍

RuCLIP tiny - быстрее, чем вы думаете 🔥

Спустя около месяца с начала разработки, мы готовы представить вам самую свежую нашу работу - модель для связывания текста и изображения - RuCLIP tiny.

Что в ней такого примечательного? Как минимум её размер на диске 146Мб(!), занимаемый объем ~800Мб в памяти видеокарты, а также кол-во параметров 38М. И все это в fp32.

А что ещё? Конечно же скорость работы, а именно ~16мс на батче размером 64(!). Мы также протестировали нашу разработку на датасете CIFAR100 и получили 46.62% top1 и 73.18% top5 zero-shot accuracy.

Помимо всего прочего мы не забыли сделать удобный интерфейс и ноутбуки для наших пользователей.

Почитать поподробнее можно в нашей статье на хабре
Саму разработку вы можете найти на нашем гитхабе

RuGPT3 от Сбера

AlphaCode - ещё один генератор кода
*но это не точно*

Буквально вчера компания DeepMind(подконтрольная гуглом) выпустила свежую статью, в которой рассказала о своем исследовании в области решения задач с Codeforces. Как обычно, с помощью нейронки.

Суть в чем - взяли все задачки/решения с платформы, в том числе неправильные, и подали на вход модельке похожей на Copilot, при этом указывали правильно ли решена поставленная задача.

Результаты тестирования показали, что AlphaCode решает задачки лучше чем 54% всех пользователей Codeforces. Подобных результатов получилось достичь за счет генерации большого числа решений и тестирования в системе.

Посмотреть визуализацию работы модели можно по ссылке
Почитать статью из блога можно тут
Датасет вроде как тоже выпустили

Кликбейт заголовок: Не пытайся тюнить гиперпараметры пока... 😸😸😸

Ну а если серьезно и вы пытаетесь побороть преобучение или недообчение то посмотрите видео, в котором @nikitxskv расскажет как его детектить с помощью наших встроенных инструментов: https://youtu.be/O2OJ_JWYV0I?t=0

👀 Посмотри все серии Catboost tips'n'tricks videos
📌 Не забудь подписаться на наш канал в Twitter

День-два назад падал гитхаб, потом hugging face, ну а теперь вк.

UPDATE: всё норм

VQGAN + Clip = годнейший симулятор спайсового наркомана

Все началось с того, что я пошел в пиццерию, чтобы сделать матешу.

Ну а дальше случилась странная(в хорошем смысле) ситуация. Прогуливаясь по ТЦ, наткнулись на магазинчик с кубиками рубика. Друг решил что пора бы продемонстрировать свои навыки в сборке и попросил дать кубик 7*7.

Стоим мы такие, смотрим. В какой-то момент зашла речь про наше место учебы, мы и сказали что учимся в {Место учебы}. Оказалось, что сын продавщицы учится там же.

Болтаем, рассказываем о жизни и вдруг я говорю, что мои оценки ниже среднего т.к. большую часть времени занимаюсь далеко не программой обучения. Отвечая на вопрос - "И чем же?", сказал, что занимаюсь нейронками и вот, вот этим всем.

Тут же она спрашивает - "Вы случаем не знаете парня, который перед президентом выступал?"(подразумевается конференция AI Jorney). И знаете, этим парнем был я 😉. После этих слов меня попросили дать контакт, что я конечно же сделал 😂.

Самое интересно в этой ситуации то, что парень давно хотел со мной встретится и когда я выступал на одном внутреннем мероприятии, он был одним из слушателей.

Кажется, выступления дают свои плоды 👍

Типикал датасаенс вопрос. Четвертый пункт это вообще бомба, видать у списка нет структуры и разные типы хранить не может)

Silero может лучше

Если вы работали с text2speech или speech2text моделями, то скорее всего уже знаете о существовании такой разработки как Silero. Простая в использовании, с хорошим качеством(по мере опенсурса) и в меру быстрая библиотека. Ещё она умеет расставлять автоматически ударения(улучшает качество синтеза речи), но получается не всегда хорошо, поэтому давайте пилить костыли.

Обычно я использую для этого библиотеку StressRNN. Она инференсится на onnxruntime и имеет в себе небольшой словарь для проверки корректности.

Получается недурно, так например
Вход: Шифровальщица попросту забыла ряд ключевых множителей и тэгов.
Выход: Шифров+альщица п+опросту заб+ыла р+яд ключев+ых множ+ителей +и т+эгов.

Код для получения примера прилагается:

# !pip install git+https://github.com/Desklop/StressRNN
from stressrnn import StressRNN
import re

stress_rnn = StressRNN()
text = "Шифровальщица попросту забыла ряд ключевых множителей и тэгов."
stressed_text = stress_rnn.put_stress(text)
print(stressed_text)
print(re.compile(r"(.)\+", re.UNICODE).sub(r"+\1", stressed_text))
#     ^ формат для silero

OFA: нужно лишь спросить

One For All — мультимодальная модель от Alibaba, которая умеет решать практически все CV-NLP задачи:
- text2image generating
- image captioning
- image inpainting
- VQA
- object detection
- NLU

Мало того, что она побила кучу сот, но и впервые для переключения между задачами не требуется совсем никаких архитектурных изменений (как во Florence). Нужно всего лишь текстом указать что мы хотим: «Закрась центр картинки» или «Что находится в *координаты куска картинки*?». Но САМОЕ крутое здесь это то, что модель смогла обобщиться на новые задачи, которых не было во время обучения — главное правильно сформулировать, что от неё требуется.

Технические детали:
Это энкодер-декодер архитектура — гибрид VQVAE и BART. Для слов, координат и визуальных токенов используется общий словарь репрезентаций, благодаря чему можно произвольно комбинировать модальности. Обучается это всё только на общедоступных данных, за что отдельный респект.

Статья, GitHub

исследователи из гугла на днях выложили алгоритм frame interpolation. он умеет делать что то типа оживших фото из гарри поттера - гифку из набора картинок. так вот он неожиданно хорошо показал себя при замедлении анимаций сделанных в VQGAN+CLIP, pytti или Disco Diffusion. собрал это дело в колаб!

frame interpolation on github
demo video on youtube
colab notebook

Занимаетесь датасенсом?
Быть может в большей степени статистикой?
А может вы ещё и реп любите?
Тогда у меня для вас кое-что есть:
Data Science – Baba Brinkman Music Video

Это не шутка, катбуст рекламируют на стендах.
Интересно, какая у них конверсия?

Кст, оказалась, что звездочку приписывают не просто так, а потому что могут влепить штраф

CLIPasso: AI Создает скетчи по картинкам

В этой статье комбинируется дифференциальный рендеринг и CLIP. И, конечно, никакой это не настоящий AI 😅

Вот как это работает:
По картинке предсказываются приблизительные параметры линий, составляющих карандашный набросок. Затем параметрическое представление линий растеризуется и кормится в CLIP для вычисления похожести наброска с оригинальным изображением. Ошибка пропихивается назад до параметров линий и они итеративно обновляются, увеличивая совпадение со входной картинкой.

>> Папира >> Страница проекта

MusicBot - работает за вас, крутится у нас ⚡️

Мы готовы представить вам бета версию нашего нового мультитаск бота 🔥

Что он умеет? Ну вообще 3 вещи:
1️⃣ Создавать музыку в разных жанрах: calm, jazz, classic, pop
2️⃣ Общаться на английском (диалоговый бот)
3️⃣ Радовать вас результатом

Хотим заметить, что бот будет работать только ближайшие 24 часа, но если мы увидем заинтересованность аудитории, то подумаем над расширением.

За генерацию музыки отвечает модель music composer, разработанная командой SberAI, а за генерацию текста - всеми любимая GPT2.

Попробовать бота, спросить о жизни и послушать джаз можно тут - @gpt_music_bot

👀 Гитхаб обновил интерфейс на сайте.
Теперь описание для закрепленных репозиториев отображается одной строкой без переносов.

Если честно, не очень приятно, так как мои описания не влезают.