Демо видео к посту выше – предсказание карты глубины по одной картинке.

@ai_newz

Нейродайджест за неделю (#11)

1. Компьютерное зрение и графика
- RadSplat - рендеринг в VR, с качеством NeRF на скорости 900FPS.
- PeRFlow - новинка от китайцев из тиктока, ускоряющая text2image диффузию с помощью выпрямления нелинейных траекторий диффузии.
- Marigold-LCM - предсказание карты глубины на основе одного изображения.
- Viggle AI - пара мемов и моушн-кэпчер из видоса.

2. Инновации в мире эйай
- Суперкомпьютер Stargate от Microsoft и OpenAI - настолько мощный, что ему нужен свой ядерный реактор.
- Hume.ai - AI-бот, способный "чувствовать" эмоции собеседника. Теперь с gpt-шкой можно слезно поболтать за жизнь.

3. LLM-ки
- Mistral Instruct 7B v0.2 поиграл в дум DOOM и еще пара приколюх с хакатона Mistral.
- Дайджест новых LLM - обзор последних достижений и анонсов в мире моделей больших языковых моделей, включая Grok 1.5 от Илона Маска.
- В топе LLM заметные перестановки. И что такое Chatbot Arena
- DBRX и Stable Code Instruct 3B - новые лидеры open source AI-моделей.

4. Интересное
- Вклад Виталика Бутерина в AI (тот что создал Ethereum) и крипто-история FTX, показывающие взаимосвязь мира криптовалют и развития искусственного интеллекта.

#дайджест
@ai_newz

​Suno v3 – Лучшая text2musiс модель + Туториал
Недавно вышла Suno v3, беспрецедентно лучшая txt2music и txt2audio.

Suno v3 способна за раз генерить реально интересные 2-х минутные песни (а то и неограниченно долгие с функцией continue). И да, именно песни! Потому что она также генерит и вокал, который в последней версии мощно апгрейднулся. Скажем так, Suno v3 сейчас на уровне Midjorney v3. Красиво, но с особенностями.

********

Выход Suno v3 похож на появление первой txt2img модели. Сначала все вбивали рандомные идеи в случайной форме в окошко промпта и удивлялись тому, как красиво получается. Потом мы захотели понять, как сделать не просто красиво, а красиво, да чтоб, так как надо. Появились wiki, всякие пдфки, гитхабы со сравнением промптов. Вот и с Cуно так же.

🎸Вот вам prompt engineering гайд по Suno v3:

Заходим на главную, вкладка create. Здесь режим Simple (сгенерит вам песню и текст, но без фишек ниже), а можем выбрать custom mode. Берем, конечно же, второе. Там видим окошко промпта и текста.

Вот что нужно знать:

1. Воркфлоу
Первая генерация max 2 минуты. Обычно это может быть интро, куплет и припев (может больше, если у вас high tempo). Далее тыкаем continue, это + примерно 1 минута — еще куплет и/или припев.

Можно по-разному генерить. Но мне больше всего понравилось так:
1. Вставляем промпт и весь текст.
2. Continue from this track. Вырезаем весь текст, который уже спели и снова генерим. Опционально можно переместить склейку с помощью continue from на конец предыдущего куплета/припева и/или изменить промпт для новой части.
3. Повторяем пункт 2 пока не закончится текст.
4. Get Whole Song - *тык*
5. Регистрируемся на onerpm, генерим обложку, вставляем текст и через две недели ваш трек на всех стримингах 🤭

2. Prompt шаблон.
Лучше всего работает связка:

(Жанр/ы), (описание настроения/темпа/идеи), (какие-то конкретные инструменты, детали).

3. Метатэги наше все!
Метатеги это инструкции внутри [ ] в окне lyrics. Они подсказывают нейронке, что делать. Метатэги — пространство для экспериментов, они могут сработать, а могут и нет. Пишем туда все, что придёт в голову!

Вот пара идей.

Стандартная структура поп трека выглядит так:

Можно обойтись и без нее, но так кусок из куплета не заедет в припев.
[Intro]
[Verse 1]
[Pre\-chorus]
[Chorus]
[Bridge] \- можно вставить куда угодно, так же есть варианты [guitar solo] или [Percussion break]
[Verse 2]
[Pre\-chorus]
[Chorus]
[Outro]
[End] \- без него трек может и не закончиться

- стиль исполнения
[Soft female singing]
[Hyperaggressive lead guitar solo] - да да, инструменты тоже можно
[Epic chorus]
[Rap]

- [instrumental], чтобы суно не галлюцинировал текст сам.

- Можно попытаться прописать партию какого-то инструмента, лол
[Percussion Break]
\. \. \! \. \. \! \. \. \! \- узнали?

[sad trombone]
waah\-Waah\-WAaAaH

4. ( текст )
скобки для бэков, хорусов и прочих приколов.

5. Solo Vocals, [Lead Vocalist] и пр.
Suno любит даблы и хор, но качество и разборчивость слов от этого сильно страдает. Рекомендую к применению.

6. Ударения.
Время вспомнить второй класс 😄 Все ради контроля произношения, интонации и ритмических акцентов, особенно на русском языке.
Русский:

А́ Е́ И́ О́ У́ Ы́ Э́ Ю́ Я́
а́ е́ и́ о́ у́ ы́ э́ ю́ я́

И английский алфавит:

Á É Í Ó Ú Ý
á é í ó ú ý

7. Вдохновляемся.
Если понравилась какая-то песня из топа, можно продолжить ее с любого момента и поставить свой текст.

8. Suno 3 умнее чем кажется.
Иногда стоит дать ему больше свободы. А иногда(часто) он будет игнорировать ваши тупые не удачные творческие идеи.

Вот так вот. Помните метод тыка привел человека к господству. Он же лежит в идеи обучение нейросетей. А значит и вы научитесь генерить треки!

Аппка суно: https://app.suno.ai/
Вот еще ссылочка на плейлист с черри-пиками.

#туториал
@ai_newz

📚Tutorial on Diffusion Models for Imaging and Vision

В копилку к посту с туториалами и блогпостами по Диффузионным Моделям, принес вам еще свежий туториал на 50 стр из Purdue University.

Полезная штука для всех начинающих с диффузией. Туториал включает базу по VAE, DDPM, Score-Matching Langevin Dynamics и стохастическим диффурам.

📖 Pdf

#ликбез

@ai_newz

Gaussian Head Avatar:
Ultra High-fidelity Head Avatar via Dynamic Gaussians

Зацените, на что сейчас творят на Гауссовских Сплатах и нейронном рендеринге. Гипер-реалистичные контролируемые 3д аватары в 2k разрешении!

Интуитивное объяснение "Что Такое Гауссовские сплаты" я делал в этом посте.

Чтобы создать такой аватар нужно от 8 до 16 камер в 2к, одновременно снимающих лицо спереди, равномерно расположенных в секторе размером 120 градусов.

По поводу latency и скорости во время инференса в статье нет никих упоминаний. Подозреваю, что работает далеко не real-time, иначе бы об этом заявили еще в заголовке статьи.

Но результаты все равно качественные!

Сайт проекта
Код

@ai_newz

Интро в Трансформеры для чайников

3Blue1Brown, популярный математический ютубер, начал выпускать серию видео о том, как работает трансформер. Первое видео посвящено эмбеддингам и тому, как моделька определяет, какой токен ей выдать. Вышло лучшее объяснение темы "для чайников", с анимациями и довольно простым языком. Обещает ещё две части: одну посвящённую Attention, другую MLP.

Если после просмотра возникнет желание погрузиться в детали:
- У Андрея Карпатого есть видео где он имплементирует и объясняет как саму GPT, так и её токенизатор.
- Лекция Интро в большие языковые модели (LLM), тоже от Карпатого.

#ликбез
@ai_newz

Stable Audio 2 - генерация коммерческой музыки по промпту

В отличие от suno  модель не умеет в голос, но в инструментах вроде артефачит поменьше. Но самое интересное в Stable Audio 2 - это то что её тренировали только на лицензированных данных, так что новому CEO Stability AI будет поспокойнее.

Архитектурно это, как и Sora с SD3, Diffusion Transformer, похоже U-Net всё же отправляется на покой.

Моделька доступна на сайте, API, как и пейпер обещают позже. Весов пока что тоже нет, но есть код.

А ещё они запустили стрим с непрерывной генерацией музыки, lofi girl напряглась.

Сайт (бесплатно дают 10 генераций с новой моделькой в месяц)
Блогпост
Код
Стрим с вечной музыкой

@ai_newz

​Что такое Mixture of Experts (MoE)?

МоЕ — это вид моделей, который используется в куче современных LLM. Далеко ходить не надо — пять из шести моделей, о которых я рассказывал в дайджесте на прошлой неделе, были MoE. GPT-4, судя по слухам, подтверждённым Хуангом – тоже MoE.

Чем MoE отличаются от обычных (dense) моделей?

В MoE часть слоев заменяется на sparse (разреженные) MoE-слои. Они состоят из нескольких "экспертов" — по сути, отдельных небольших слоёв. Для каждого токена используется только небольшая часть экспертов. Решает, какие токены обрабатываются каким экспертами, специальная "сеть-маршрутизатор".  Это позволяет MoE быть быстрее чем dense модели, как в тренировке так и в инференсе.

Почему MoE используют?

Модели с MoE учатся в разы быстрее обычных с таким же количеством компьюта. Авторы DBRX хвастались что их конфиг MoE учится в 2 раза быстрее их же dense модели, а у авторов Qwen-MoE прирост скорости был вообще 4x.

Откуда такая разница между разными MoE в приросте эффективности тренировки?

Когда учится MoE, нужно балансировать потребление памяти, эффективность тренировки и скорость выполнения, что достигается уменьшением или увеличением общего числа экспертов, числа активных экспертов и размера экспертов. Разные команды используют разные конфигурации, отсюда и разница.

Почему MoE не используют везде?

MoE потребляет в разы больше памяти чем обычные модели, что касается и обучения и инференса. На практике большее количество памяти означает большее количество видеокарт. Для запуска Grok, например, нужно 8 видеокарт. Для GPT-4, по слухам, нужно вообще 64 видеокарты. Чтобы это имело финансовый смысл, нужен определенный уровень нагрузки, который есть не у всех. Плюс тот факт, что модель - MoE, часто ставит крест на возможности запуска на потребительских видеокартах.

Как их запускают?

Модель разбивают на несколько видеокарт (например, с помощью tensor parallelism). На каждую видеокарту кидается одинаковое количество экспертов и используют трюки чтобы убедиться что на каждого приходится одинаковая нагрузка.

Как это выглядит применимо к трансформерам?

Обычно эксперты в MoE делаются на основе слоёв MLP внутри трансформера. То есть вместо одного MLP делают несколько параллельных, но одновременно используется только часть из них. Остальные части модели (attention, эмбеддинги) — общие для всех экспертов.

>> Блогпост про MoE с большим числом деталей

#ликбез
@ai_newz

Какой может быть новая Siri?

Вышел пейпер от Apple про их новую модель ReALM. Я недавно писал про то, как Bloomberg пытались тренировать свою модель, и то, как у них это не получилось. Но Apple доказали, что при грамотном тюнинге даже ну ооочень маленькой моделью в 80М можно догнать или даже обогнать флагманские LLM а определенных задачах.

Так вот, новая Siri обещает очень ловко справляться с UI. А учитывая тот факт, что Apple – это крупнейшая экосистема, то у Siri будет доступ ко всему, что вам может понадобиться. От голосового управления календарём до составления плейлистов в iTunes (но пока это все фантазии).

Вообще, в статье описывается интересный метод для взаимодействия LLM с UI. На вход принимаются скриншоты, и с них в тупую собирается весь текст. Далее текст идет на анализ в LLM, и та, основываясь на инпуте юзера и тексте с экрана, решает, что делать и как отвечать.

Пока нет прямого управления UI, чтобы агент прям сам запускал какую-то работу в приложении. В статье пока только примеры того, как модель собирает информацию с экрана и выводит релевантный ответ. Например, собирает адреса с сайта, который сейчас на экране. Суть в том, что потом это можно будет использовать для таких запросов, типа: "Напиши второму в этом списке контактов, что созвон в 14:00". Пока они учат понимать, что происходит на экране.

Очень жду крутые анонсы WWDC в июне!

Пейпер

@ai_newz

Нейродайджест за неделю (#12)

1. Туториалы
  - Mixture of Experts - введение в технологию MoE, маст хэв в топовых LLM.
  - Туториал по свежей text2music модели Suno v3 - о том как выжать из суно максимум, а еще запилить клип.
  - Интро в Трансформеры для чайников - серия видео от 3Blue1Brown, доступно (ну прям совсем) объясняющая принцип работы трансформеров.
   - Tutorial on Diffusion Models for Imaging and Vision - VAE, DDPM, Score-Matching Langevin Dynamics и стохастическим диффурам. База по диффузии для среднячков.

2. Релизы
- Gaussian Head Avatar - гипер-реалистичные 3D аватары на основе Гауссовских сплатов и нейронного рендеринга.
   - Higgsfield AI - новый игрок на поле генерации видео. Где-то между Runway Gen-2 и Sora.
  - Stable Audio 2 - text2music, но без пиратского контента в датасетах, если не хочешь рисковать
  - Command R+ – прекрасная open sourse LLM для которой не нужен супер компьютер (но 2x3090)

3. Новости
- Землетрясение в Тайване и его влияние на производство чипов. Как природные катаклизмы влияют на индустрию AI.
- Выбесить LLM или новый метод "many-shot jailbreaking" для обхода фильтров безопасности моделей с длинным контекстом.
- Siri учится видеть - Apple о модели ReALM для чтения экрана.

4. Личное
- Собеседования в Meta: Про то, какие собеседования я провожу, и про то, как я записался на обучение вести новые типы интервью.


#дайджест
@ai_newz

Наверное кое-кто из вас уже слышал про ШАД (Школа Анализа Данных от Яндекса). Это одна из немногих программ на русском языке, которая дает очень серьезную базу по ML.

Я сам закончил ШАД в 2014 в Беларуси (там тоже есть филиал), когда про нейронные сети ещё мало кто слышал. И это дало мне начальный импульс строить свою карьеру в ML. Короче, советую.

Обучение в ШАДе бесплатное, однако конкурс высокий — в прошлом году он был 17 человек на место. Но ради карьерного буста можно и постараться: по опросу, 8 из 10 выпускников работают в топовых технологических компаниях, а каждый четвёртый идёт в науку (типа меня).

Учиться в ШАДе можно как очно, так и удаленно.

Кстати, сейчас там преподает Елена Войта, которая работает ресерчером в Meta AI и ведет курс по NLP.

Подать заявку можно до 12 мая. Сайт ШАДа.

@ai_newz