"Stable Diffusion" from NLP world

CarperAI - лаба внутри EleutherAI; проект, связанный с чуваками, которые релизили Stable Diffusion.

Так вот, эти CarperAI анонсировали, что в скором времени выложат в открытый доступ обученную ими Instruct-GPT. В статье от OpenAI генерации из 1.3B Instruct-GPT нравятся людям больше, чем из 175B GPT-3. Поэтому CarperAI выбрали этот метод дообучения (RL на фидбек людей).

К тому же они хотят её сделать "chinchilla-optimal": в DeepMind заметили, что модели часто обучаются на недостаточном количестве примеров относительно их огромного размера. И увеличение обучающего датасета помогло их 70B модели выиграть на разных бенчмарках у моделей в 175B, 280B и 530B параметров. Короче, обучать надо дольше)

В анонсе они сравнивают свой будущий релиз с релизом Stable Diffusion, и тоже надеются на вклад сообщества. Говорят, что нехорошо такие классные модели прятать за API, надо давать их людям. Доступная модель (это будет ещё и от её размера зависеть, кстати) + креативность большого количества людей = Net Positive

Интересно посмотреть, что из этого получится)

Анонс в твиттере

Как работает In-Context Learning (ICL)?

Интересный пост от Stanford AI Lab: https://ai.stanford.edu/blog/understanding-incontext. Они наводят теории для понимания ICL, показывают её состоятельность на синтетическом и реальных датасетах.

ICL это когда модель выполняет поставленную задачу (классификация, суммаризация, ...) без дополнительного обучения, то есть без обновления параметров. Это эмерджентное свойство обычно наблюдается у гигантских моделей после большого претрейна.

Авторы предлагают рассмотреть ICL как байсовский вывод латентной переменной (концепта), обуславливаясь на промпт, который делает возможным решение поставленной задачи. Этот нывык модель приобретает за счет того, что тексты в обущающем датасете связные и "держать у себя в голове" некий порождающий концепт оказывается полезным.

Они составили небольшой синтетический датасет, в котором их предположение верно (тексты определяются концептами, как на рисунке 1), обучили на нем трансформер и lstm, ICL возник в обоих случаях.

Далее, анализируя качество ICL классификации на реальных датасетах, они выделяют 4 аспекта:
- распределение x-ов
- распределение y-ов
- связь между x и y (является ли этот ответ y верным для данного x)
- формат

Из неожиданных выводов: оказалось, что связь между x и y не критична. То есть в промпте можно для x выбирать случайный y и от этого просадка в качестве будет небольшой (рисунок 2). Но важно показать модели то, как выглядят входы и какие существуют метки ответов. На языке их теории: модель робастна к шуму и может выводить нужный концепт из достаточно сильного сигнала из распределений отдельно x, отдельно y, и формата; все 4 аспекта излишни.

Интересно, если обучить относительно небольшую модель на синтетическом датасете, который способствует возникновению ICL, а потом дообучить на реальных данных, можно ли добиться того, что и в небольших моделях ICL будет хорошо работать?

Тяжелое будущее промпт инженеров

Несколько раз слышал мнение, что в будущем промпт инженеры будут очень важны и нужны. Объясняю, почему мне так не кажется

Для понимания контекста: промпт - текст, который подается на вход в модель и сообщает ей, какую картинку или текст хочется получить на выходе. От него может сильно зависеть качество и типичная ситуация, когда добавление десятка слов типа trending on artstation, 4k, sharp focus и тд сильно улучшают привлекательность картинки. И это очень тупо, в иделе так быть не должно

Сейчас существуют сервисы, чтобы промпт инженеры могли зарабатывать. Вот, например, маркетплейс для промптов: https://promptbase.com/

Но ещё года полтора назад промпты для текстовых моделей выглядели так: надо было придумать несколько примеров, да ещё и
- либо очень хорошо понимать распределение, на котором нейросеть обучалась, и формулировать примеры в таком же стиле
- либо использовать язык шаблонов (как в этой статье про zero-shot трансфер стиля)

А сейчас научили текстовые модели следовать инструкциям и добиться желаемого ответа от них стало заметно проще. Что-нибудь анлогичное произойдет и с text-to-image моделями. И в принципе, работа по облегчению использования любых моделей (будущих text-to-video, например) вряд ли остановится. Такие вот дела :)

Эффективный формат чисел для нейросетей

Недавно узнал про существование Block Floating Point формата чисел. Его прикол в том, что он хорошо подходит для перемножения матриц. Значит, и для применения нейросетей. Реализация BlockFP на уровне железа должна ускорить инференс на порядки (и разработка такого железа сейчас уже ведется).

Напоминание про обычный Floating Point формат. Каждый элемент представлен
- экспонентой (range): насколько большие числа могут быть представлены (~ длина линейки)
- мантиссой (precision): точность (~ плотность и количество засечек на линейке)

Существует ещё Fixed Point формат, в котором только мантисса, а коэффициент масштабирования фиксирован для всех элементов.

Грубо говоря, Floating Point формат это гибко, точно, медленно, а Fixed Point - не гибко, но очень эффективно. Так вот BlockFP это нечто среднее: одна экспонента используется для блока элементов (последняя строчка на картинке). Получается и динамический range, и эффективное умножение на fixed point процессорах.

Для матричного перемножения двух блоков нужно только
- вычислить новую экспоненту за одну операцию перемножения
- матрично умножить fixed-point числа

А ещё у нейросетей внутри линейных слоев числа чаще всего как раз одного порядка, что делает этот формат ещё более подходящим 👍

Статья от Microsoft про аналогичный формат данных