THE AI INDEX REPORT

Тут Стенфорд выкатил полный отчет по различным аспектам ИИ, начиная от научных публикаций и заканчивая финансированием исследований и разработок.

Вообщем-то документик большой, 200+ страниц. В целом, суть такова - ну очень большой интерес к этой сфере, много надежд на разработку различных черных коробок.

Пара интересных фактов:
— 21% PHD связаны с ИИ
— Больше всего времени на обучение тратится на тяжелые модели для обнаружения объектов и RL
— Климат и здравоохранение - самые популярные темы научных статей, влияющих на мир
— ИИ стал доступнее, обучение моделей для базовых задач уже не такое затратное (всё таки, отточенные пайплайны и no-code решения играют большую роль)

Потыкать графики можно тут
PDF файл

Maximal Update Parametrization

Майкрософт выпустил статью о том, как можно перенести параметры с маленькой модели на большую, при этом получить результат лучше, чем просто тренируя большую модель.

Статья
GitHub

Full Stack Deep Learning

Делимся прикольным опенсурс курсом по DL на английском.
В нем есть всё: начиная от базы и заканчивая развертыванием в качестве API.

Ссылка

Про ускорение кода

"Если необходимо, чтобы Ваш код работал быстрее,
то вероятно, следует просто использовать PyPy"

Гвидо ван Россум (создатель Python).

Вообщем-то наткнулся на интересную запись выступления с Moscow Python Conf++ 2019. Спикер рассказывает как они в Яндексе ускоряли рассылку писем путем применения языка Nim, Cython, PyPy, Numba - всё это без лишней воды, умных терминов и большого кол-ва кода с крутой подачей автора.

Посмотреть видео под чаёчек можно тут

👉 BLIP

Тут недавно вышло видео Яника про эдакий шустрый CLIP с 14М и 129М параметрами (VIT-B/VIT-L), который может:

1️⃣ Подписывать изображения

2️⃣ Отвечать что на картинке

3️⃣ Вытаскивать мультимодальную инфу

4️⃣ Сопоставлять и давать оценку парам текст-картинка

Попробовать сея чудо можно в онлайне на Replicate, в Hugging Face Spaces или Colab Notebook

GitHub
Видео Яника

Всем привет!
Сегодня мы опубликовали статью на Хабре о том, какие фичи есть в ETNA и как их генерировать, а ещё показали, как из всего этого собрать пайплайн прогнозирования.

https://habr.com/p/657297/

The 🤗 Research Residency Program

Команда Hugging Face объявила о начале набора в 9-ти месячную программу продвинутого машинного обучения.

Резидент, вместе с прикрепленным исследователем из команды HF, выберут проблему и в течение всей программы будут развивать проект с целью публикации в массы.

Местоположение и социальный статус не имеют значения.

НО:
— Резидентура предлагается только в качестве полной занятости.
— Резидентура не может быть завершена одновременно с любыми другими обязательствами.

Заявки принимаются до 3 апреля 2022 года!

Blog Post

Не знаю какую чёрную магию они туда прикрутили, но их генеративная модель (да, это нарисовала нейросеть) выглядит на порядок стильнее, чем все, что мы видели до этого! И вроде как пускают тестить бету

#text2image

🤗 Decision Transformers

Теперь на Hugging Face доступны 9 чекпоинтов моделей для обучения с подкреплением

Блог пост

Кагл. Мало места на диске? 🧐

Вообще да.
Просто представьте ситуацию: всего у вас 20гб, ваш обучающий сет весит 13 гб(его не удалить в силу каких-то особенностей, добавлять через утилиту датастеов тоже не враиант), а вы обучаете 10 чекпоинтов моделей, вес каждого около 2гб.

👉 Откуда же достать место? Есть лайфхак, которым пользуются hf - сохранять ВСЕ ненужные для сохранения файлы в /root/.cache/

Это работает, так как кагл считает дисковое пространство только в /kaggle/working . Если вы запустите Save & Run All, то root/.cache/ просто не отобразится в outputs.

Я много помогал ребятам из Алиэкспресса делать разные штуки.

Поиск, ценообразование, рекомендательные системы, антифрод, А/Б тесты, МММ, косвенно матчинг

Теперь они проводят Первый митап команды AliTech

Расскажут о том, как готовить данные и обучать алгоритмы, чтобы находить совпадения среди миллионов товаров (а на AliExpress их больше 2 млрд), разберут не только истории успеха, но и попытки, которые ни к чему не привели — на митапе команды AliTech 7 апреля, в 18:00.

В программе

— Как сделали матчер: тайтлы, берты и две сестры, Андрей Русланцев, AliExpress Россия

— Как не сделали матчер: тайтлы, чехлы и близнецы, Денис Ивашков, AliExpress Россия

— Prod2vec: три в одном! Объединяем всю информацию о товаре в один вектор, Александр Голубев, Ozon

— Прикладные задачи матчинга и способы оценки качества, Макар Красноперов, Яндекс.Маркет

— Q&A сессия о матчинге и не только!

Митап будет в 18:00 в четверг, 7 апреля, в новом офисе AliExpress в башне «Империя» в Сити — и в трансляции на YouTube. Регистрироваться тут (это обязательно)

🤷‍♀️ О том, как я переводчик делаю

👉 Всё началось с малого, с желания иметь модель весом < 50МБ, со скоростью пули и реакцией катбуста.

И всё, тут понеслось:
— Строю пайплайн, ищу данные, обучаю 3 дня
— Понимаю что капец косякнул в коде обучения
— Дебажу день, ставлю обучаться на ночь
— Ловлю новый баг в токенизации
— Думаю ладно, багов больше не будет, но нет тут то было, оказывается довольно большая часть сета какая-то кривая и это сильно портит метрики
— Закончились ресурсы на кагле, нужно было искать гпу на эксперименты
— Одолжил аккаунт, запустил, добавл новый сет и фильтры для него -> в итоге первая +- модель, которая вместо нормального перевода давала парафраз с ответом на вопрос если таковой был 😂
— Эксперименты продолжаются, начинаю разбивать текст, чтобы обучать только для перевода одного-трех предложений -> что-то идёт не так и вроде становится хуже
— Думаю: а как же так? Я про дистилляцию забыл? Надо пробовать, лосс падает, примеры генерятся - всё очень круто, ставлю на ночь
— Словил очередной баг: из-за пересечения имен в функции генерации текста предиктилась моделью учителем...
— Ощутил нехватку данных, поспрашивал людей, покапал популярные датасеты ииии ничего не изменил, так закончились гпу часы 🙃
— Решил, ну ладно, какие там ещё вычислители? TPU надо пробовать
— Вспоминаю что недавно видел крутую либу от HF - accelerate, решил использовать и получил легкую интеграцию под все вычислители, но обучать на TPU нахватало терпения 🙌

Ну а сейчас муки эксперименты продолжаются, если верить wandb.ai, то я уже запускал блокнот более 200 раз, понял что нужно увеличивать сет, но гпу кагла тупо не хватит, либо придется сильно урезать урезанное.

Что же в итоге? Читайте доки, проверяйте данные и метрики перед запусками, делайте перерывы в работе, а то ваши мыслительные процессы станут похожи на жалкие потуги обучить T5 на процессоре

Это что-то с чем-то

Вышло обновление Disco Diffusion 5.1 для генерации картинок и видео.

Телега шакалит качество 😢

-> Ссылка на колаб

ИИ для распознавания аутизма

Исследователи из Стэнфорда разработали алгоритм, который может помочь определить, есть ли у кого-то аутизм, глядя на сканирование мозга.

Как описано в новом исследовании, опубликованном в журнале Biological Psychiatry, алгоритм оценивал сканирование мозга из выборки примерно 1100 пациентов. С точностью 82% алгоритм отобрал группу пациентов, у которых диагностировали аутизм.

Новость

Кажется нейронки скоро станут одним из инструментов детективов, а за этим пойдет переквалификация в нейродетективов.

Фантастические идеи фильмов становятся явью.

Silero TTS V3

Русский text to speech стал ещё лучше, вот прям конкретно.

Для сравнения превосходства нового спикера послушайте результаты работы с костылями и без

Честно говоря, очень страшно за то в каких мошеннических схемах это может использоваться

Попробовать онлайн
Почитать как работает это чудо
Поглядеть на гит