🔥InstructGPT: новое поколение GPT от OpenAI

Архитектурно это всё та же GPT-3, вся фишка в дообучении:
1. Сначала, они её немного зафайнтюнили на чистых данных.
2. Потом вручную разметили качество получающихся аутпутов и обучили reward модель его предсказывать.
3. Далее в ход пошёл Reinforcement Learning алгоритм (PPO), который по этой reward модели ещё чуть-чуть затюнил GPT.

В итоге InstructGPT стала менее токсичной, реже путается в фактах и в целом лучше справляется со всеми задачами. Говорят, что даже 1.3B новая модель лучше, чем 175B старая.

P.S. Похоже, что RL теперь снова в моде благодаря языковым моделям.

Статья, блог, GitHub

DeepMind выпустил AlphaCode, который прогает лучше половины твоих знакомых.

Во многом похож на Codex, но есть отличия.

Основной подход:
1. Encoder-decoder, 41B параметров
1. Декодер обучается предсказывать следующее слово, а энкодер делает MLM. Всё end2end.
1. Заскрапили датасет задачек с Codeforces и зафайнтюнили на нём модель
1. Во время тестирования семплили очень большое количество решения (до миллиона) и потом выбирали из них с помощью кластеризации, эвристик и, самое главное, проходят ли они открытые тесты которые приложены к задачке. Сабмитили на финальную проверку только топ-10.

По результатам: AlphaCode решает задачки лучше, чем 54% пользовалетей Codeforces (не очень альфа пока что, но стремится туда).

Небольшие технические отличия от Codex:
1. Максимальная длина для энкодера 1536, для декодера 768
1. Использовали Multi-query attention, модификацию attention, которая использует одни и те же K и V для разныех голов – позволило улучшить потребление памяти и скорость декодирования
1. Очень маленький словарь токенизатора, 8К.
1. Во время файтнюнинга использовали температуру 0.2, которая делает распределение более острым. При тесте температура не использовалась, назвали это tempering.
1. Файнтюнились и на правильных и на неправильных решениях, при этом моделе заранее сообщается сигнал корректное ли это решения.
1. Для файнтюнинга использовали лосс, который называется GOLD. По сути это взвешенная кросс-энтропия, несмотря на то, что выглядит как RL.

Вот тут можно посмотреть на визуализацию attention, а ещё есть популярно написанный блогпост

🤯 GPT-3 c 20,000,000,000 параметров в Open-Source хотите?

TL;DR 9го февраля 2022 выложат в открытый доступ GPT-3 с 20B параметров! Ждём GPT-NeoX-20B

Да это не 175B трансформер от OpenAI. Но с другой стороны, на чем Вы его будете поднимать? GPT-NeoX-20B скорее всего влезет в A100 для инференса (без оптимизатора и без градиентов). И это будет первая публичная модель такого масштаба и такого уровня!

GPT-NeoX-20B показывает отличный уровень «интеллекта» 71.98% на LAMBADA, уступая 3.18% крупнейшей GPT-3 DaVinci 75.16%. При этом у 13B GPT-3 Curie этот показатель был 69.51%.
То есть GPT-NeoX-20B по своим интеллектуальным способностям находится между двумя самыми топовыми решениями от OpenAI.

Что это значит? Скорее всего за разумные деньги можно будет решать огромное кол-во задач на весьма приемлемом уровне и без API от OpenAI.
Кроме стартапов, это открывает большие возможности для ресерча. Так как модель и все ее внутренности будут доступны ««локально»».

📑 blog.eleuther.ai

🎓🔥 OpenAI обучили нейросеть для решения задач олимпиадой математики, способную доказывать теоремы

OpenAI создали нейронный прувер теорем, который научился решать множество сложных задач олимпиадой математики.

Это языковая модель для построения формальных доказательств и утверждений. Формально — GPT-3 с 774M обучаемыми параметрами (36тислойный трансформер).

Обучение происходит по методологии expert iteration: каждый раз, когда находится новое доказательство, оно поступает в датесет новых данных для обучения, что улучшает нейронную сеть и позволяет ей итеративно находить решения для все более и более сложных задач.

📑 paper 📝 blog post

Встроенный механизм самооценки результатов генерации, очень легкая нейронная сеть 🦌 ruDOLPH 350m 🦌 доступна в открытом доступе, только что обновил версию!

пример генерации: "старинный будильник многоугольной формы"
256 попыток, нейронная сеть сама выбрала 36 лучших генераций, и все за 38 сек! 😳 посмотрите какие получились интересные генерации!

ресурсы: [github] [huggingface] [colab]
авторы: [AI AbuZZer] & [Mishin Learning]

GPT-NeoX-20B - Open-Source huge language model by EleutherAI (Interview w/ co-founder Connor Leahy)

🎥 youtube интервью

Помните, я писал, что 9го февраля 2022 выложат в открытый доступ GPT-3 с 20B параметров! Ждём GPT-NeoX-20B

Это будет первая публичная GPT-3 такого масштаба: GPT-NeoX-20B по своим интеллектуальным способностям находится между двумя самыми топовыми решениями от OpenAI.

Янык взял интервью у кофаундера EleutherAI. Какие темы поднимаются в видео:

▪️ Как достать такой компьют?
▪️ Эксперименты и масштаб моделей
▪️ GPT-Neo, GPT-J, GPT-NeoX
▪️ Насколько сложно обучать большие модели?

🚀 OpenAI выкатил в открытый доступ веса самого топового CLIP

Прошло и года (13 месяцев) и OpenAI выложил веса RN50x64 и ViT-L/14

Загрузить самый топовый ViT-L14 можно, заменив ваш ViT-B/16 в одной строке:

model, preprocess = clip.load('ViT-L/14', device)

p.s.: Наткнулся случайно, когда ставил очередной эксперимент выходного дня, и после того как написал clip.load('RN-50', device) вместо 'RN50' в ошибке увидел в списке доступных моделей 'ViT-L/14'. Полезная ошибка вышла.

Всем хороших выходных, и да здравствует Zero-Shot!

👉 https://github.com/openai/CLIP

Помните, что DeepMind выпустили AlphaCode, который прогает лучше половины твоих знакомых?

Я бы сказал, что AlphaCode от DeepMind можно рассматривать Энкодер-Декодер-гомолог GPT-декодера Codex от OpenAI.

То что AI будет отличным спутником программиста никто не сомневается. Ну а появление вакансий как: Zero-Shot Software Engineer (CODEX, AlphaCode) и Zero-Shot Designer (DALL-E, Diffusion) — лишь вопрос времени. И да, в каждой шутке есть доля шутки.

Предлагаю посмотреть неплохой YouTube разбор AlphaCode от DeepMind.

🌉 WoW, Block-NeRF - нейронка для создания… Матрицы?

tl;dr Благодаря новой NeRF нейронке целый район Сан-Франциско перенесли в матрицу! Смотри видео!

Block-NeRF — это масштабирование Neural Radiance Fields, которое позволяет рендерить сцены в масштабе целого города, охватывающих несколько кварталов!

Как показали, ребята, в этом подходе жизненно важно разложить сцену на индивидуально обученные NeRF. Эта декомпозиция рендеринга позволяет масштабировать NeRF для произвольно больших сред. И даже позволяет обновлять среду для каждого блока: если например в реальности, например, главный квартал украсили к новому году, то его можно перерендерить в ваш метаверс уже с елочкой.

Ресерчеры внесли несколько архитектурных изменений, чтобы сделать NeRF устойчивым к данным, собранным в течение нескольких месяцев в различных погодных условиях.

Демонстрируя способности Block-NeRF, ребята подвергли нейронному рендерингу крупнейшую на сегодняшний день сцену, воссоздав целый район Сан-Франциско из 2,8 миллионов изображений, собранных из 13 часов записи!

🌉 Подробнее в видео Нейро-Франциско на ютубе
🎓Или на сайте проекта (+ там можно скачать видео, которое не испортил ютуб)
📑 paper

Ускорение диффузионных моделей 🔥

Еее! Вышла статья, которая ускоряет генерацию картинок с помощью диффузионных моделей моделей в 20 раз!

Ускорение достигается за счёт нового взгляда на диффузионные модели – предлагается смотреть на них как на дифференциальные уравнения, а диффуры мы умеем довольно быстро решать численными методами!

Дисклеймер: в статья красивая, но сложная математика!

Уже есть колаб с ускоренной диффузией. 16 примеров выше я сгенерил на Nvidia T4 за 5 минут (100 итерации). Запрос "Doggy, oil on canvas".

Наверное уже все слышали про срач беседу в твиттере по поводу зачатков сознания у больших моделей, которая началась между тем самым Ильей из OpenAI, что соавтор первой популярной сверточной сети AlexNet (он говорит, что «уже таки да»), и Яном из Meta, ну тем самым Лекуном, который сверточные сети вообще придумал (он говорит: «не дождётесь»). А вот и мем подоспел..

Вспоминается афоризм Дейкстры, который помогает уйти от таких вопросов весьма изящным ответом: «Вопрос о том — может ли компьютер думать, не более интересен, чем вопрос о том — может ли субмарина плавать».

срач уже не остановить
придётся наслаждаться

⚛️🎓 Магнитный Контроль Плазмы Токамака Через Глубокое Обучение с Подкреплением

Сегодня в Nature вышла статья, которая приближает эпоху термоядерного синтеза.

Использование магнитного удержания, в частности, в конфигурации токамака, является многообещающим путем к устойчивому термоядерному синтезу.

Основной задачей является формирование и поддержание высокотемпературной плазмы внутри токамака. Это требует высокочастотного управления с обратной связью. В работе представлена ранее неописанная архитектура конструкции магнитного RL контроллера токамака, который обучается оперировать набором управляющих катушек.

Возможно, что именно такой подход позволит удерживать столь сложную систему, и реагировать на ее изменения.

Действительно: WoW!

P.S.: Без термояда космос не освоить.. Скорее всего, это единственный вариант получать энергию в полете, без того, чтобы облучаться все дорогу.

Глубокому обучению — да, глубокому облучению — нет!

Продолжая тему сетей, отличающихся slightly умом и slightly сообразительностью

Разница между L1 и L2 или как проходят лекции по мл 🙃