🎄 UPD; Скорее всего речь идет про файнтюн и дистил

Все что далее — не более чем догадки комьюнити, но прошло уже несколько дней и можно сделать выводы на основании сообщений Эмада и комментариев под его постом:

> https://fortune.com/2022/12/07/a-i-luminaries-expressed-awe-and-caution-at-the-technologys-breakthrough-moment/ <

— Обещает 30x по-скорости в сравнение с SD 1,2

— Скорее всего IF это дистил — Implicit Fine-tune (a.k.a denoising diffusion implicit models (DDIM) distillation)

— Руки тоже могли быть улучшены на этапе файнтюна модели учителя.

tl;dr DDIM distillation, идея берущая начало в ddim и Progressive Distillation for Fast Sampling of Diffusion Models, позволяет сократить кол-во шагов с 50-250 до 8-16 с сохранение с качества.

Подход предполагает дистил семплинга ddim из учителя в 512-шагового студента, затем студент становится учителем и учит следующего студента в 256 шагов и т.д.

😈 Тут Мэттью Беллами отложил гитару и выпустил Pereto SOTA Text-to-Image — MUSE

Все знают, что Мэттью Беллами не любил авторегрессировать и его мутило от диффуза:

Отойдя от мейнстримной диффузии, пропустив скучную Parti, и оставив DALL-E в дали, Метью Беллами выбрал BERT 3B Muse: Text-To-Image Generation via Masked Generative Transformers.

И что, подход оказался Сотой? Да. Вот уж действительно — suck & see.

Рецепт композиции прост:

— Замораживаем T5, как известно энкодер в text2image, чаще всего, это блюдо, которое подают холодным.

— VQ-GAN двух размеров: 256 для главного блюда, и 512 для супер-реза

— Подаем картинку в VQ-vae-GAN, аккуратно и с Вниманием «нарезаем» на токены

— Все это дело вместе с кросс-аттеншен прокручиваем через Vaswani et al., 2017

— Обучаем по Cosine scheduling через зашумление — маскировку токенов.

— Инферить, постепенно предсказывая замаскированные токены от 100% до 0.

— При удачной генерации в 256, подать на супер-рез

— Такой подход можно из коробки использовать для разных форм инпеинтинга и аутпентинга.

Интересно то, что получается очень эффективная сеть по Pereto: COCO FID@30K 7.88 при CLIP score = 0.32
А это, прям очень очень сильно!

Вместо вывода: Трансформеры наносят ответный удар, или не диффузом единым

p.s.: Другими словами это Paella здорового человека: «Маскировочный» Muse гомологичен диффузионному Imagen (с блекджеком, кросс аттеншн и t5 xxl), тогда как «маскировочный» «мама, я ПАЕЛЛА» гомологична диффузионному DALL-E 2.

И быстрая вещь, как Paella. Скорость 0.5 sec на 256 и еще 1.3 sec на 512!

💻 Проект MUSE от GOOGLE
📄 paper MUSE

Microsoft готовятся к интеграции поисковика Bing с ChatGPT

💻 bloomberg

Это самая важная новость за сегодня?

Причина всего в сексуальном желании.

Это лучшее описание нашей модели!
А я, блядь, думал — в чем же причина?
А тут все так просто человек объяснил..

https://twitter.com/raptor_notice/status/1611366315549425664

Похоже IF в скором времени покажет генерацию текста и лучше понимание текста для генерации

Емад(основатель StabilityAI) делится небольшими анонсами сразу после МишинЛернинг

IF

A photo of a plush Tiger with t-shirt with text "I ♥️ Robin Rombach"

tweet

У админа кризис... но вы можете дать мне понять, что я не один в этом мире. и это достаточно просто сделать.

👉 https://u24.gov.ua/
👉 https://savelife.in.ua/

Даже скрин с 1$ даст мне понять, что день прожит не зря. И что я проснулся не в аду

Я тут писал про оптимальное нахождение коротких и хороших хэш функций. В общем, после моих страданий мы нашли хэш функцию (коммит в abseil), которая

* Быстрее процентов на 20, чем мы имели в absl::Hash
* Работает на входных данных от 9 до 16 байт
* Проходит так же SMHasher, что и предыдущая с исключением очень sparse inputs

Мы побенчмаркали на больших бинарях и не увидели никаких проблем в проде. Так вот, одно дело поменять хеш функцию, другое дело найти её.

Чтобы её найти, мы с Deepmind очень много поработали. Идея была такая: загрузить много входных данных с SMHasher, микробенчмарков. Загрузить очень похожие на входные -- буквально поменять 1-2 битика. Дальше взять эти входные данные, загрузить в AlphaZero инструкции x86, описать правила игры в ассемблер, дать оптимизировать количество коллизий и latency.

В итоге сработало и не очень следующее:

1. Считать количество коллизий на обычные 64 бита дало плохие результаты. Плохие в том плане, что AlphaZero любило находить хэш функции, которая не меняет нижние биты или верхние 32. В итоге стоило считать коллизии верхних/нижних 32 бит, нижних 16 и 8. После этого стало получше.
2. Запретить агенту играть с инструкциями по типу crc32, потому что из них получаются хорошие 32 битные хеши, но не 64.

В целом всё, дальше агент нашёл несколько вариантов. Мы посмотрели, побенчмаркали. Очень много времени убили, чтобы просто запустить эту махину, потому что по памяти промахиваться нельзя, странные load операции нельзя и тд. AlphaZero реально полюбила трюк с умножением и xor двух частей умножения 64x64->128 бит.

Не думаю, что такой подход (ML-based assembly generation) полюбится комьюнити, да и результат объяснить сложно. Плюс ещё тут функция оптимизации полегче. В целом так как нашим business needs удовлетворяет, мы себе и оставим пока не увидим проблем.

Философский вывод для меня был в том, что AlphaZero легче научить играть в шахматы, чем писать ассемблер.

В целом, с людьми так же.


Для 9-16 байт была имплементация, которая умножала два раза. Новая имплементация от AlphaZero получилась только с одним:

uint64_t lo = UnalignedLoad64(p);
uint64_t hi = UnalignedLoad64(p + len - 8);
lo = rotr(lo, 53); // right rotate by 53
state += kConstantPrime;
lo += state;
state ^= hi;
uint128 mul = static_cast<uint128>(state) * lo;
return static_cast<uint64_t>(mul) ^ (mul >> 64);

https://github.com/abseil/abseil-cpp/commit/74eee2aff683cc7dcd2dbaa69b2c654596d8024e

Две композиции, которые я записал 12го и 13го апреля 2021 года, в память о моем друге.

Только гитара и мой педалборд. Никаких других инструментов, дорожек или loop'ов. Как сыграл, так и сохранил. С ошибками и болью.