🌉 WoW, Block-NeRF - нейронка для создания… Матрицы?

tl;dr Благодаря новой NeRF нейронке целый район Сан-Франциско перенесли в матрицу! Смотри видео!

Block-NeRF — это масштабирование Neural Radiance Fields, которое позволяет рендерить сцены в масштабе целого города, охватывающих несколько кварталов!

Как показали, ребята, в этом подходе жизненно важно разложить сцену на индивидуально обученные NeRF. Эта декомпозиция рендеринга позволяет масштабировать NeRF для произвольно больших сред. И даже позволяет обновлять среду для каждого блока: если например в реальности, например, главный квартал украсили к новому году, то его можно перерендерить в ваш метаверс уже с елочкой.

Ресерчеры внесли несколько архитектурных изменений, чтобы сделать NeRF устойчивым к данным, собранным в течение нескольких месяцев в различных погодных условиях.

Демонстрируя способности Block-NeRF, ребята подвергли нейронному рендерингу крупнейшую на сегодняшний день сцену, воссоздав целый район Сан-Франциско из 2,8 миллионов изображений, собранных из 13 часов записи!

🌉 Подробнее в видео Нейро-Франциско на ютубе
🎓Или на сайте проекта (+ там можно скачать видео, которое не испортил ютуб)
📑 paper

Ускорение диффузионных моделей 🔥

Еее! Вышла статья, которая ускоряет генерацию картинок с помощью диффузионных моделей моделей в 20 раз!

Ускорение достигается за счёт нового взгляда на диффузионные модели – предлагается смотреть на них как на дифференциальные уравнения, а диффуры мы умеем довольно быстро решать численными методами!

Дисклеймер: в статья красивая, но сложная математика!

Уже есть колаб с ускоренной диффузией. 16 примеров выше я сгенерил на Nvidia T4 за 5 минут (100 итерации). Запрос "Doggy, oil on canvas".

Наверное уже все слышали про срач беседу в твиттере по поводу зачатков сознания у больших моделей, которая началась между тем самым Ильей из OpenAI, что соавтор первой популярной сверточной сети AlexNet (он говорит, что «уже таки да»), и Яном из Meta, ну тем самым Лекуном, который сверточные сети вообще придумал (он говорит: «не дождётесь»). А вот и мем подоспел..

Вспоминается афоризм Дейкстры, который помогает уйти от таких вопросов весьма изящным ответом: «Вопрос о том — может ли компьютер думать, не более интересен, чем вопрос о том — может ли субмарина плавать».

срач уже не остановить
придётся наслаждаться

⚛️🎓 Магнитный Контроль Плазмы Токамака Через Глубокое Обучение с Подкреплением

Сегодня в Nature вышла статья, которая приближает эпоху термоядерного синтеза.

Использование магнитного удержания, в частности, в конфигурации токамака, является многообещающим путем к устойчивому термоядерному синтезу.

Основной задачей является формирование и поддержание высокотемпературной плазмы внутри токамака. Это требует высокочастотного управления с обратной связью. В работе представлена ранее неописанная архитектура конструкции магнитного RL контроллера токамака, который обучается оперировать набором управляющих катушек.

Возможно, что именно такой подход позволит удерживать столь сложную систему, и реагировать на ее изменения.

Действительно: WoW!

P.S.: Без термояда космос не освоить.. Скорее всего, это единственный вариант получать энергию в полете, без того, чтобы облучаться все дорогу.

Глубокому обучению — да, глубокому облучению — нет!

Продолжая тему сетей, отличающихся slightly умом и slightly сообразительностью

Разница между L1 и L2 или как проходят лекции по мл 🙃

⚛️ Accelerating fusion science through learned plasma control

Тут появился крутой блогпост от DeepMind про успешное управление плазмой ядерного синтеза в токамаке с помощью глубокого обучения с подкреплением, о чем писал чуть ранее.

В блог-посте очень доступные объяснения и крутые визуализации.
🎓 Читать в deepmind blog

Meta AI о нашем SOTA подходе для видео-сегментации человека на мобильных устройствах

В посте описана архитектура и всяческие трюки, которые помогают достичь SOTA результатов, при том, что модель бегает real-time на телефоне (либо, на другом мобильном устройстве).

Некоторые из фишек:
- FBNet - based архитектура, заточенная под сегментацию на мобилках с помощью Neural Architecture Seach. Выглядит как асиметричный U-Net с тяжелым энкодером и легковесным декодером.
- BoundaryIOU loss для смещения фокуса именно на точность сегментации на границе объекта
- Для увеличения консистентности предсказания во времени на вход берется маска, предсказанная на предыдущем фрейме
- Semi-supervised learning: В качестве учителя берется жирная сеть PointRend, а в качетсве студента легкая сеть, описанная выше.

К этому проекту приложил руку и ваш покорный слуга 🤓.

> Ссылка на статью

Машинное обучение становится математическим коллегой
Краткий пересказ эссе на QuantaMagazine

Математики часто работают вместе, когда пытаются разобраться в сложной проблеме. Но в двух новых статьях (1 и 2) роль коллеги-человека была частично заменена машиной.

Андраш Юхаш и Марк Лакенби из Оксфордского университета научили модели машинного обучения DeepMind искать закономерности в геометрических объектах, называемых узлами (knots). Два математика научили компьютер выводить важный алгебраический инвариант, называемый "сигнатурой" узла, основываясь только на информации о геометрических инвариантах узла. Объединив интуицию математиков с тремя геометрическими инвариантами, выделенными DeepMind, Юхаш и Лакенби создали безотказную формулу для вычисления подписи узла.

Эта работа представляет собой новую форму сотрудничества между человеком и машиной. Получается, что, включив машинное обучение в генеративную фазу исследования, математики могут обнаружить зацепки, которые было бы трудно найти без помощи машины.

Кучка полезных ссылочек

За последнюю неделю у меня накопились несколько классных ссылок — решила собрать их в один пост и поделиться с вами)

✔️ Советы от исследователя из Snap о том, как попасть на research стажировки в индустрии и что для этого нужно делать. За ссылку спасибо каналу эйай ньюз

✔️ Статья с размышлениями о том, зачем вообще получать PhD в сфере Computer science. Эта статья давно висит у меня в reading list, но в свете ссылки выше, думаю, полезно включить ее в этот список)

✔️ Вебинар "Soft Skills QA" Анны Киреевой — автора курса "Развитие Soft Skills" на Coursera. В вебинаре разбирают:
- что вообще такое soft skills;
- чем они отличаются от hard skills;
- почему (и где) soft skills важны в работе;
- какие soft skills развивать в первую очередь и как их эффективнее прокачивать.

✔️ Табличка со ссылками на все доступные курсы Стенфорда по AI/ML/Optimization/STATs/Control/Vision/NLP. Для каждого курса указан формат (видео/слайды) и ссылки. Ссылку нашла в канале Small Data Science for Russian Adventurers

✔️ OpenAI выкатил веса моделей RN50x64 и ViT-L/14 (т.е. веса самых больших и классных CLIP-моделей). Можно загружать и играться: например, взять стандартный колаб-ноутбук по CLIP и заменить там модель клипа на ViT-L/14. За ссылку спасибо каналу Мишин Лернинг

✔️ Прикольный сайтик, который по двум заданным темам (например, "торт" и "зомби") с помощью GPT-3 генерирует коротенькую историю. Сторьки получаются качественные и реально основанные на темах)

Если у вас тоже есть классные ссылки и вы хотите ими поделиться — кидайте в комментарии 🙂

Изучаем графовые нейросети

Ох, как бы я хотел что бы этот ресурс появился неделю назад. Но лучше поздно, чем никогда. Отличное занятие на этот томный воскресный день.

Учимся

#gnn #graphs

Привет, это Миша. Автор блога Мишин Лернинг.

Обращаюсь ко всем подписчикам из России.

С 24 февраля мы все живем в другом мире. И мы, и вы, и весь свет.
Моя бабушка в 1941 девочкой была в Киеве под бомбами. Я оказался под бомбежкой в Киеве в 2022. Вы верите, что это точечная спецоперация? Вы не знаете, что люди сутками прячутся в метро, города по всей Украине обстреливают и бомбят?

Вы верите, что кого-то здесь спасаете от «бендеровцев» и наркоманов? Я — еврей, я свободно себя чувствую в Украине, как и люди всех национальностей.

«Бойтесь людей равнодушных — именно с их молчаливого согласия происходят все самые ужасные преступления на свете», — сказал Юлиус Фучик. Не надо говорить, что от вас ничего не зависит. Сказать «нет войне» может каждый вменяемый человек.

И пусть сейчас малыши рождаются в убежищах, они будут жить в свободной стране, и в мире со всем миром, наслаждаясь научными достижениями и культурой. А вы?

Мы не можем остановить войну, мы можем ее только выиграть. А вы можете войну остановить.