Кликбейт заголовок: Не пытайся тюнить гиперпараметры пока... 😸😸😸

Ну а если серьезно и вы пытаетесь побороть преобучение или недообчение то посмотрите видео, в котором @nikitxskv расскажет как его детектить с помощью наших встроенных инструментов: https://youtu.be/O2OJ_JWYV0I?t=0

👀 Посмотри все серии Catboost tips'n'tricks videos
📌 Не забудь подписаться на наш канал в Twitter

День-два назад падал гитхаб, потом hugging face, ну а теперь вк.

UPDATE: всё норм

VQGAN + Clip = годнейший симулятор спайсового наркомана

Все началось с того, что я пошел в пиццерию, чтобы сделать матешу.

Ну а дальше случилась странная(в хорошем смысле) ситуация. Прогуливаясь по ТЦ, наткнулись на магазинчик с кубиками рубика. Друг решил что пора бы продемонстрировать свои навыки в сборке и попросил дать кубик 7*7.

Стоим мы такие, смотрим. В какой-то момент зашла речь про наше место учебы, мы и сказали что учимся в {Место учебы}. Оказалось, что сын продавщицы учится там же.

Болтаем, рассказываем о жизни и вдруг я говорю, что мои оценки ниже среднего т.к. большую часть времени занимаюсь далеко не программой обучения. Отвечая на вопрос - "И чем же?", сказал, что занимаюсь нейронками и вот, вот этим всем.

Тут же она спрашивает - "Вы случаем не знаете парня, который перед президентом выступал?"(подразумевается конференция AI Jorney). И знаете, этим парнем был я 😉. После этих слов меня попросили дать контакт, что я конечно же сделал 😂.

Самое интересно в этой ситуации то, что парень давно хотел со мной встретится и когда я выступал на одном внутреннем мероприятии, он был одним из слушателей.

Кажется, выступления дают свои плоды 👍

Типикал датасаенс вопрос. Четвертый пункт это вообще бомба, видать у списка нет структуры и разные типы хранить не может)

Silero может лучше

Если вы работали с text2speech или speech2text моделями, то скорее всего уже знаете о существовании такой разработки как Silero. Простая в использовании, с хорошим качеством(по мере опенсурса) и в меру быстрая библиотека. Ещё она умеет расставлять автоматически ударения(улучшает качество синтеза речи), но получается не всегда хорошо, поэтому давайте пилить костыли.

Обычно я использую для этого библиотеку StressRNN. Она инференсится на onnxruntime и имеет в себе небольшой словарь для проверки корректности.

Получается недурно, так например
Вход: Шифровальщица попросту забыла ряд ключевых множителей и тэгов.
Выход: Шифров+альщица п+опросту заб+ыла р+яд ключев+ых множ+ителей +и т+эгов.

Код для получения примера прилагается:

# !pip install git+https://github.com/Desklop/StressRNN
from stressrnn import StressRNN
import re

stress_rnn = StressRNN()
text = "Шифровальщица попросту забыла ряд ключевых множителей и тэгов."
stressed_text = stress_rnn.put_stress(text)
print(stressed_text)
print(re.compile(r"(.)\+", re.UNICODE).sub(r"+\1", stressed_text))
#     ^ формат для silero

OFA: нужно лишь спросить

One For All — мультимодальная модель от Alibaba, которая умеет решать практически все CV-NLP задачи:
- text2image generating
- image captioning
- image inpainting
- VQA
- object detection
- NLU

Мало того, что она побила кучу сот, но и впервые для переключения между задачами не требуется совсем никаких архитектурных изменений (как во Florence). Нужно всего лишь текстом указать что мы хотим: «Закрась центр картинки» или «Что находится в *координаты куска картинки*?». Но САМОЕ крутое здесь это то, что модель смогла обобщиться на новые задачи, которых не было во время обучения — главное правильно сформулировать, что от неё требуется.

Технические детали:
Это энкодер-декодер архитектура — гибрид VQVAE и BART. Для слов, координат и визуальных токенов используется общий словарь репрезентаций, благодаря чему можно произвольно комбинировать модальности. Обучается это всё только на общедоступных данных, за что отдельный респект.

Статья, GitHub

исследователи из гугла на днях выложили алгоритм frame interpolation. он умеет делать что то типа оживших фото из гарри поттера - гифку из набора картинок. так вот он неожиданно хорошо показал себя при замедлении анимаций сделанных в VQGAN+CLIP, pytti или Disco Diffusion. собрал это дело в колаб!

frame interpolation on github
demo video on youtube
colab notebook

Занимаетесь датасенсом?
Быть может в большей степени статистикой?
А может вы ещё и реп любите?
Тогда у меня для вас кое-что есть:
Data Science – Baba Brinkman Music Video

Это не шутка, катбуст рекламируют на стендах.
Интересно, какая у них конверсия?

Кст, оказалась, что звездочку приписывают не просто так, а потому что могут влепить штраф

CLIPasso: AI Создает скетчи по картинкам

В этой статье комбинируется дифференциальный рендеринг и CLIP. И, конечно, никакой это не настоящий AI 😅

Вот как это работает:
По картинке предсказываются приблизительные параметры линий, составляющих карандашный набросок. Затем параметрическое представление линий растеризуется и кормится в CLIP для вычисления похожести наброска с оригинальным изображением. Ошибка пропихивается назад до параметров линий и они итеративно обновляются, увеличивая совпадение со входной картинкой.

>> Папира >> Страница проекта

MusicBot - работает за вас, крутится у нас ⚡️

Мы готовы представить вам бета версию нашего нового мультитаск бота 🔥

Что он умеет? Ну вообще 3 вещи:
1️⃣ Создавать музыку в разных жанрах: calm, jazz, classic, pop
2️⃣ Общаться на английском (диалоговый бот)
3️⃣ Радовать вас результатом

Хотим заметить, что бот будет работать только ближайшие 24 часа, но если мы увидем заинтересованность аудитории, то подумаем над расширением.

За генерацию музыки отвечает модель music composer, разработанная командой SberAI, а за генерацию текста - всеми любимая GPT2.

Попробовать бота, спросить о жизни и послушать джаз можно тут - @gpt_music_bot

👀 Гитхаб обновил интерфейс на сайте.
Теперь описание для закрепленных репозиториев отображается одной строкой без переносов.

Если честно, не очень приятно, так как мои описания не влезают.