🎓🔥 OpenAI обучили нейросеть для решения задач олимпиадой математики, способную доказывать теоремы

OpenAI создали нейронный прувер теорем, который научился решать множество сложных задач олимпиадой математики.

Это языковая модель для построения формальных доказательств и утверждений. Формально — GPT-3 с 774M обучаемыми параметрами (36тислойный трансформер).

Обучение происходит по методологии expert iteration: каждый раз, когда находится новое доказательство, оно поступает в датесет новых данных для обучения, что улучшает нейронную сеть и позволяет ей итеративно находить решения для все более и более сложных задач.

📑 paper 📝 blog post

Встроенный механизм самооценки результатов генерации, очень легкая нейронная сеть 🦌 ruDOLPH 350m 🦌 доступна в открытом доступе, только что обновил версию!

пример генерации: "старинный будильник многоугольной формы"
256 попыток, нейронная сеть сама выбрала 36 лучших генераций, и все за 38 сек! 😳 посмотрите какие получились интересные генерации!

ресурсы: [github] [huggingface] [colab]
авторы: [AI AbuZZer] & [Mishin Learning]

GPT-NeoX-20B - Open-Source huge language model by EleutherAI (Interview w/ co-founder Connor Leahy)

🎥 youtube интервью

Помните, я писал, что 9го февраля 2022 выложат в открытый доступ GPT-3 с 20B параметров! Ждём GPT-NeoX-20B

Это будет первая публичная GPT-3 такого масштаба: GPT-NeoX-20B по своим интеллектуальным способностям находится между двумя самыми топовыми решениями от OpenAI.

Янык взял интервью у кофаундера EleutherAI. Какие темы поднимаются в видео:

▪️ Как достать такой компьют?
▪️ Эксперименты и масштаб моделей
▪️ GPT-Neo, GPT-J, GPT-NeoX
▪️ Насколько сложно обучать большие модели?

🚀 OpenAI выкатил в открытый доступ веса самого топового CLIP

Прошло и года (13 месяцев) и OpenAI выложил веса RN50x64 и ViT-L/14

Загрузить самый топовый ViT-L14 можно, заменив ваш ViT-B/16 в одной строке:

model, preprocess = clip.load('ViT-L/14', device)

p.s.: Наткнулся случайно, когда ставил очередной эксперимент выходного дня, и после того как написал clip.load('RN-50', device) вместо 'RN50' в ошибке увидел в списке доступных моделей 'ViT-L/14'. Полезная ошибка вышла.

Всем хороших выходных, и да здравствует Zero-Shot!

👉 https://github.com/openai/CLIP

Помните, что DeepMind выпустили AlphaCode, который прогает лучше половины твоих знакомых?

Я бы сказал, что AlphaCode от DeepMind можно рассматривать Энкодер-Декодер-гомолог GPT-декодера Codex от OpenAI.

То что AI будет отличным спутником программиста никто не сомневается. Ну а появление вакансий как: Zero-Shot Software Engineer (CODEX, AlphaCode) и Zero-Shot Designer (DALL-E, Diffusion) — лишь вопрос времени. И да, в каждой шутке есть доля шутки.

Предлагаю посмотреть неплохой YouTube разбор AlphaCode от DeepMind.

🌉 WoW, Block-NeRF - нейронка для создания… Матрицы?

tl;dr Благодаря новой NeRF нейронке целый район Сан-Франциско перенесли в матрицу! Смотри видео!

Block-NeRF — это масштабирование Neural Radiance Fields, которое позволяет рендерить сцены в масштабе целого города, охватывающих несколько кварталов!

Как показали, ребята, в этом подходе жизненно важно разложить сцену на индивидуально обученные NeRF. Эта декомпозиция рендеринга позволяет масштабировать NeRF для произвольно больших сред. И даже позволяет обновлять среду для каждого блока: если например в реальности, например, главный квартал украсили к новому году, то его можно перерендерить в ваш метаверс уже с елочкой.

Ресерчеры внесли несколько архитектурных изменений, чтобы сделать NeRF устойчивым к данным, собранным в течение нескольких месяцев в различных погодных условиях.

Демонстрируя способности Block-NeRF, ребята подвергли нейронному рендерингу крупнейшую на сегодняшний день сцену, воссоздав целый район Сан-Франциско из 2,8 миллионов изображений, собранных из 13 часов записи!

🌉 Подробнее в видео Нейро-Франциско на ютубе
🎓Или на сайте проекта (+ там можно скачать видео, которое не испортил ютуб)
📑 paper

Ускорение диффузионных моделей 🔥

Еее! Вышла статья, которая ускоряет генерацию картинок с помощью диффузионных моделей моделей в 20 раз!

Ускорение достигается за счёт нового взгляда на диффузионные модели – предлагается смотреть на них как на дифференциальные уравнения, а диффуры мы умеем довольно быстро решать численными методами!

Дисклеймер: в статья красивая, но сложная математика!

Уже есть колаб с ускоренной диффузией. 16 примеров выше я сгенерил на Nvidia T4 за 5 минут (100 итерации). Запрос "Doggy, oil on canvas".

Наверное уже все слышали про срач беседу в твиттере по поводу зачатков сознания у больших моделей, которая началась между тем самым Ильей из OpenAI, что соавтор первой популярной сверточной сети AlexNet (он говорит, что «уже таки да»), и Яном из Meta, ну тем самым Лекуном, который сверточные сети вообще придумал (он говорит: «не дождётесь»). А вот и мем подоспел..

Вспоминается афоризм Дейкстры, который помогает уйти от таких вопросов весьма изящным ответом: «Вопрос о том — может ли компьютер думать, не более интересен, чем вопрос о том — может ли субмарина плавать».

срач уже не остановить
придётся наслаждаться

⚛️🎓 Магнитный Контроль Плазмы Токамака Через Глубокое Обучение с Подкреплением

Сегодня в Nature вышла статья, которая приближает эпоху термоядерного синтеза.

Использование магнитного удержания, в частности, в конфигурации токамака, является многообещающим путем к устойчивому термоядерному синтезу.

Основной задачей является формирование и поддержание высокотемпературной плазмы внутри токамака. Это требует высокочастотного управления с обратной связью. В работе представлена ранее неописанная архитектура конструкции магнитного RL контроллера токамака, который обучается оперировать набором управляющих катушек.

Возможно, что именно такой подход позволит удерживать столь сложную систему, и реагировать на ее изменения.

Действительно: WoW!

P.S.: Без термояда космос не освоить.. Скорее всего, это единственный вариант получать энергию в полете, без того, чтобы облучаться все дорогу.

Глубокому обучению — да, глубокому облучению — нет!

Продолжая тему сетей, отличающихся slightly умом и slightly сообразительностью

Разница между L1 и L2 или как проходят лекции по мл 🙃

⚛️ Accelerating fusion science through learned plasma control

Тут появился крутой блогпост от DeepMind про успешное управление плазмой ядерного синтеза в токамаке с помощью глубокого обучения с подкреплением, о чем писал чуть ранее.

В блог-посте очень доступные объяснения и крутые визуализации.
🎓 Читать в deepmind blog

Meta AI о нашем SOTA подходе для видео-сегментации человека на мобильных устройствах

В посте описана архитектура и всяческие трюки, которые помогают достичь SOTA результатов, при том, что модель бегает real-time на телефоне (либо, на другом мобильном устройстве).

Некоторые из фишек:
- FBNet - based архитектура, заточенная под сегментацию на мобилках с помощью Neural Architecture Seach. Выглядит как асиметричный U-Net с тяжелым энкодером и легковесным декодером.
- BoundaryIOU loss для смещения фокуса именно на точность сегментации на границе объекта
- Для увеличения консистентности предсказания во времени на вход берется маска, предсказанная на предыдущем фрейме
- Semi-supervised learning: В качестве учителя берется жирная сеть PointRend, а в качетсве студента легкая сеть, описанная выше.

К этому проекту приложил руку и ваш покорный слуга 🤓.

> Ссылка на статью

Машинное обучение становится математическим коллегой
Краткий пересказ эссе на QuantaMagazine

Математики часто работают вместе, когда пытаются разобраться в сложной проблеме. Но в двух новых статьях (1 и 2) роль коллеги-человека была частично заменена машиной.

Андраш Юхаш и Марк Лакенби из Оксфордского университета научили модели машинного обучения DeepMind искать закономерности в геометрических объектах, называемых узлами (knots). Два математика научили компьютер выводить важный алгебраический инвариант, называемый "сигнатурой" узла, основываясь только на информации о геометрических инвариантах узла. Объединив интуицию математиков с тремя геометрическими инвариантами, выделенными DeepMind, Юхаш и Лакенби создали безотказную формулу для вычисления подписи узла.

Эта работа представляет собой новую форму сотрудничества между человеком и машиной. Получается, что, включив машинное обучение в генеративную фазу исследования, математики могут обнаружить зацепки, которые было бы трудно найти без помощи машины.

Кучка полезных ссылочек

За последнюю неделю у меня накопились несколько классных ссылок — решила собрать их в один пост и поделиться с вами)

✔️ Советы от исследователя из Snap о том, как попасть на research стажировки в индустрии и что для этого нужно делать. За ссылку спасибо каналу эйай ньюз

✔️ Статья с размышлениями о том, зачем вообще получать PhD в сфере Computer science. Эта статья давно висит у меня в reading list, но в свете ссылки выше, думаю, полезно включить ее в этот список)

✔️ Вебинар "Soft Skills QA" Анны Киреевой — автора курса "Развитие Soft Skills" на Coursera. В вебинаре разбирают:
- что вообще такое soft skills;
- чем они отличаются от hard skills;
- почему (и где) soft skills важны в работе;
- какие soft skills развивать в первую очередь и как их эффективнее прокачивать.

✔️ Табличка со ссылками на все доступные курсы Стенфорда по AI/ML/Optimization/STATs/Control/Vision/NLP. Для каждого курса указан формат (видео/слайды) и ссылки. Ссылку нашла в канале Small Data Science for Russian Adventurers

✔️ OpenAI выкатил веса моделей RN50x64 и ViT-L/14 (т.е. веса самых больших и классных CLIP-моделей). Можно загружать и играться: например, взять стандартный колаб-ноутбук по CLIP и заменить там модель клипа на ViT-L/14. За ссылку спасибо каналу Мишин Лернинг

✔️ Прикольный сайтик, который по двум заданным темам (например, "торт" и "зомби") с помощью GPT-3 генерирует коротенькую историю. Сторьки получаются качественные и реально основанные на темах)

Если у вас тоже есть классные ссылки и вы хотите ими поделиться — кидайте в комментарии 🙂