✨ Нейросеть MineDojo от NVIDIA посмотрела туториалов на 33 года (!) хронометража, прочитала 7 тысяч страниц вики и 340 тысяч сообщений на Reddit, чтобы научиться играть в Minecraft.

В результате нейронка стала профессиональным игроком — она охотится на животных, добывает материалы, изготавливает предметы и многое другое. На моей памяти это уже третий алгоритм, который живет в виртуальном мире Minecraft, но этот оказался самым мощным. Можно посмотреть видео с подробностями, а также запустить исходный код.

#Neural_network | Not Boring Tech

🌸 Если кто-то пропустил, группа из тысячи исследователей выпустила новую языковую модель — BLOOM. Она содержит 176 миллиардов параметров (на миллиард больше, чем GPT-3), а также поддерживает 46 естественных языков и 13 языков программирования.

Генерирует любой текст по одной подсказке, от рецептов до структурированных рассказов. Самое главное — нейросеть полностью бесплатна и общедоступна. Её можно скачать и протестировать здесь. Го тестить!

#Neural_network | Not Boring Tech

​🤩 Ещё пять лет назад нейросетями пользовались только гики, а теперь TikTok добавляет в своё приложение нейросеть и выкатывает её на миллиард пользователей. Во время записи ролика нужно ввести текстовое описание, а ИИ сгенерирует задний фон для видео по промпту за пару секунд — довольно релевантное решение для TikTok.

Правда, результаты не сравнятся с DALL-E 2 — изображения получаются абстрактными намеренно, чтобы нейросеть не смогла реалистично изобразить обнажёнку или сцены насилия. Безмерно воодушевляет, что сегодня прикоснуться к искусственному интеллекту может каждый.

#Neural_network | Not Boring Tech

🥳 Дипфейки выходят на новый уровень — можно заменить не только лицо, но и всё тело. Нейросети NeuMan от Apple хватит небольшого видео с вами, чтобы сгенерировать вашу полноценную 3D-модель и перенести её в любую сцену.

Нейронка распознаёт фон, человека на видео с разных ракурсов, добавляет новый фон и «заставляет» синтезированную модель человека выполнять разные действия на видео — танцевать, прыгать и так далее. Результаты получаются очень реалистичными, скоро можно будет заменить настоящих каскадёров на опасных трюках. Если вы вдруг хотите и себя научить паркурить — код лежит на GitHub.

#Neural_network | Not Boring Tech

💯 Кстати, Stable Diffusion умеет ещё генерировать анимации на основе видео и текста — вот ремейк сцены из фильма Ла-Ла Ленд в стиле аниме с частотой 8 кадров в секунду. Только всмотритесь в детали! Такие видео можно самому сгенерировать в Google Colab за полчаса.

#Neural_network | Not Boring Tech

🪁 NVIDIA научила нейросеть GET3D генерировать реалистичные 3D-модели персонажей, зданий, транспорта, животных, да и чего угодно — лишь бы был датасет фото нужных объектов, снятых под разными углами.

Сгенерированные фигуры имеют высококачественные структуры и сложные геометрические детали, а нейросеть впечатляет своей производительностью — она создает около 20 объектов в секунду с использованием одного графического процессора. Можно быстро импортировать полученные трехмерные модели в игровые движки и средства визуализации для редактирования. В перспективе это может упростить разработчикам создание 3D-моделей для игр и фильмов!

#Neural_network | Not Boring Tech

✨ Всё-таки интересные прецеденты мы наблюдаем после развития генеративных нейросетей. Как известно, для обучения нейронок используются общедоступные данные — теперь многие художники и разработчики в ярости, что на их работах обучили алгоритмы. В одном из случаев, Эрин Хэнсон потратила годы на создание собственного стиля, используя яркую цветовую палитру и массивные мазки кистью.

Теперь Stable Diffusion может воссоздать ее стиль в несколько кликов, потому что он был обучен на её произведениях. Хотя разработчики тех самых нейронок утверждают, что искусство — это менее 0,1% набора данных для Stable Diffusion, авторов это не успокаивает. Причем это далеко не единственный случай — например, независимые разработчики планируют подать коллективный иск против Microsoft из-за использования их кода для обучения ИИ Copilot.

🍇 Инициаторы заявляют, что компания хочет превратить программистов в источник ресурсов для обучения, и ничего не давать взамен. Авторы работ хотят сделать обучение моделей более контролируемым и поэтому собирают списки тех, кто не хочет, чтобы его картинками кормили ИИ. Боюсь, что они могут не успеть — пока люди будут разбираться, нейросети заменят ещё больше профессий. Поэтому я вижу единственный выход — интегрировать ИИ в свою работу.

#Neural_network | Not Boring Tech

😻 Нейросеть превращает любое изображение в музыку — она невероятно точно понимает настроение фото и генерирует подходящий по смыслу трек. Изображение отправляется в CLIP Interrogator для создания текстовой подсказки, а затем её скармливают нейронке Mubert text-to-music, чтобы создать музыку из входного изображения.

Таким образом можно «оживить» шедевры искусства и восстановить звуки происходящего события на картине. Попробовать можно тут.

#Neural_network | Not Boring Tech

🚁 Такие реалистичные видео, снятые как будто с дрона, можно сделать за несколько минут, а понадобится только один смартфон и ноутбук. Всё просто — делаем несколько снимков места и соединяем их в трехмерную сцену с помощью ИИ-модели Nerfstudio. Выбрать траекторию движения камеры можно в программе.

Если вы, например, снимаете низкобюджетное кино, так можно сэкономить на дорогостоящих дронах. Все исходники и инструкции на сайте.

#Neural_network | Not Boring Tech

✨ Если вы хоть раз читали научные статьи, то знаете, что понять их неподготовленному человеку очень сложно. Тут придумали ещё одно полезное применение GPT-3 — объяснять простым языком научную литературу.

На сайте нажимаем на «Upload your own paper», загружаем любой документ и мгновенно получаем главную суть исследования кратко и понятно. Можно сразу задать дополнительные вопросы, если что-то не поняли в объяснении или нужен более подробный ответ.

#Neural_network | Not Boring Tech

💝 Тут показали прорыв в генерации видео — теперь можно генерировать видео гораздо дольше, чем пять секунд, как это было раньше. Нейросеть Phenaki от Google умеет создавать видео высокого качества длительностью в несколько минут (!) по текстовым запросам. Связь между кадрами не теряется и картинка выглядит довольно стабильной. Думаю, что ещё два-три года и видео от нейронок будет не узнать.

#Neural_network | Not Boring Tech

👒 Вышла короткометражка, созданная с помощью Stable Diffusion — очень круто, что аниматоры начали использовать ИИ-инструменты в своей работе. Автор использовал Unreal Engine, Photoshop и After Effects, а также преобразовал каждый кадр по отдельности благодаря нейронке SD и приложению Prisma. Если мы уже сегодня видим такое, представьте, какая будет генеративная анимация через 15-20 лет.

#Neural_network | Not Boring Tech

🐞 Нейронки делают уже довольно реалистичные изображения, но появляется другая проблема — нужно изощряться, чтобы через текстовые промпты добиться желаемого изображения. Поэтому Nvidia показала новую нейросеть — eDiff-I. Выглядит как GauGAN, но имеет существенные различия.

Пишем, какую картинку хотим синтезировать, сопоставляем цвета с словами из промпта и рисуем набросок результата, который хотим получить. Через несколько секунд вы увидите изображение по рисунку и уточняющему текстовому запросу. Когда выйдет в открытый доступ — неизвестно.

#Neural_network | Not Boring Tech

💥 Что там со следующим поколением GPT? Новая языковая модель GPT-4 может выйти уже с декабря по февраль, пишет Analytics Magazine. Начали её обучать ещё в сентябре, а работать она будет только с текстами. И нет, в ней не будет 100 триллионов параметров — больше ≠ лучше.

В будущей модели планируется не сильно больше параметров, а около 175-280 миллиардов, но с большим упором на оптимизацию. Из нового и интересного — предполагается, что модель может обучаться на основе обратной связи от человека и лучше понимать пользователя. Разработчики, которые работают над GPT-4, называет это впечатляющим и удивительным опытом, поэтому ждём релиза!

#Neural_network | Not Boring Tech

🌻 Делать презентации для бизнеса, проектов и учебы станет ещё проще с помощью ИИ — в сервис Tome добавили интеграцию DALLE-2. Теперь сгенерировать картинку для слайда можно за считанные секунды. Хватит написать название слайда и получить сразу несколько вариантов.

Разработчики также собираются добавить GPT-3 в ближайшие недели — можно будет продолжать текст на заданную тему, делать выжимки и перефразировать написанное. Например, если вы что-то пишите на слайде и хотите делегировать эту работу нейронке — остаётся нажать на кнопку и отредактировать полученный результат. «Новый PowerPoint» уже получил 38 миллионов долларов инвестиций.

#Neural_network | Not Boring Tech

⚒️ Нейросеть от OpenAI посмотрела 70 тысяч часов (!) летсплеев по Minecraft и стала профессиональным игроком — говорят, справляется не хуже, чем предшественник MineDojo из этого поста. Например, бот может скрафтить алмазные инструменты с нуля, что требует 24 тысяч действий (добыть дерево, создать деревянную кирку, дойти до пещеры, рыть землю, добраться до алмазов и тд).

Но самое интересное, что такой метод обучения можно использовать где угодно — кормить нейронку тысячами туториалов и получать «сверхразума» для выполнения аналогичных задач. Представляю, какого умного бота можно создать, если показать ему тысячи видео с лайфхами в Excel. Но я всё ещё жду алгоритм, который будет строить красивые архитектурные постройки в Minecraft по текстовым запросам — кто возьмётся за идею?

#Neural_network | Not Boring Tech

🍉 Нейросети не щадят и 3D-аниматоров — появился новый алгоритм, который по одной текстовой задаче генерирует любые движения 3D-модели человека. Работает фантастически — пишите, какое движение хотите видеть, а модель воссоздает его на экране. Например, вы можете анимировать, как персонаж ловит баскетбольный мяч и бросает его в корзину в один клик (!) без долгой анимации.

Ещё можно попросить 3D-модель танцевать под выбранную песню в такт, двигаться в каком-то конкретном стиле (например, «ходить как зомби»), или анимировать движения части тела («играть на гитаре одной рукой»). Похоже, компьютерная анимация в играх и кино больше не будет прежней, раз анимировать любые движения героев можно по описанию задачи — это быстрее, дешевле и проще.

#Neural_network | Not Boring Tech

🌚 Запреты ChatGPT в образовательных учреждениях продолжаются: нейронку уже забанили в нескольких учреждениях Нью-Йорка, а теперь её запретили в школах Квинсленда и Нового Южного Уэльса (Австралия). Ученикам заблокируют доступ к ИИ на компьютерах школ и через внутренний Wi-Fi, но преподаватели по-прежнему смогут использовать технологию ¯\_(ツ)_/¯

Самое интересное, что не все учреждения стремятся отключать ChatGPT: школы в штате Виктория и три основных университета в Южной Австрали отказались вводить запрет. Между прочим, демократы Конгресса США намерены создать федеральное агентство, регулирующее искусственный интеллект. Противостояние нейронок и тех, кто хочет их контролировать, становится всё интереснее: запасайтесь попкорном.

#Neural_network | Not Boring Tech

♟️ Против ChatGPT можно даже играть в шахматы, но стоит учитывать, что модель знает только теорию и не натренирована на игру, как AlphaZero. Просто вводите свои ходы текстом и получаете ходы от ИИ, которые переводите на шахматную доску.

Гриша Мастридер сыграл партию с нейросетью и применил Королевский гамбит — ChatGPT даже пару раз удивила и не обошлась без странных ошибок. Ролик можно смотреть даже если вы не шахматист — Гриша объясняет каждый шаг подробно и понятно для любого уровня.

Смотреть — тут.

#Neural_network | Not Boring Tech

🎁 Реальный пример, как нейронка GEN-1 от Runway переворачивает мир анимации. С помощью изменения стиля на плавную и красивую картинку сняли целую короткометражку — вышло очень даже неплохо.

Конечно, большое значение имеет нарратив, сценарий и исходное видео, но результат всё равно впечатляет. Вероятно, часть была отрисована вручную, а часть окрасили через ИИ. Ждём, когда в каком-нибудь «Love, Death & Robots» попробуют генеративный стиль анимации.

Полный ролик выложили здесь.

#Neural_network | Not Boring Tech