Только что на ПМЭФ-24 мы подписали меморандум о сотрудничестве с ГИАП. Делюсь видео с места событий.

людишки еще не поняли, к чему все идет

утащил у Дмитрия Колодезева

📚Мой хороший друг Сергей Марков @oulenspiegel написал отличный двухтомник про AI «Охота на электроовец: большая книга искусственного интеллекта». Там и про проблемы и вызовы современных моделей, и про страхи, бытующие в обществе, и про многое другое!

Советую всем к прочтению, ибо там собрана квинтэссенция результатов, которые в сложном RnD процессе можно получить только за годы опыта.

Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: https://markoff.science#book

Буквально пару дней назад команда Яндекса выпустила в опенсорс новый инструмент — библиотеку YaFSDP (FSDP — один из широко используемых алгоритмов обучения с параллелизмом по данным и "нарезкой" параметров модели по отдельным GPU).

Доработка FSDP позволяет, судя по замерам, ускорить обучение различных LLM до 25% (при небольшом батче) в зависимости от архитектурных особенностей.

С точки зрения выч. ресурсов на самую затратную часть исследовательского процесса — обучение моделей — можно сократить использование GPU мощностей на 20%.

🧠В технические детали можно погрузиться на Хабре (там еще довольно хорошо описали проблемы известных механизмов обучения и историю их развития в контексте распределённого обучения) и в канале Душный NLP

✅ 37

В языковых моделях есть различные типы нейронов, например, нейроны знаний. Такого рода исследования позволяют двигаться в сторону интерпретируемости LLM, что на мой взгляд является одним из интереснейших направлений в исследованиях в настоящее время.

Помимо нейронов знаний, ещё например, существуют нейроны «уверенности», которые не влияют на предсказание следующего токена, но отвечают исключительно за степень уверенности модели в своих ответах☝️

В посте Антона есть подробности

One Day Offer для Центра робототехники 🤖

13 июля мои хорошие друзья и коллеги из Sber Robotics проводят мероприятие по поиску крутых спецов на вакансии Middle/Senior Robotics Software Engineer и Backend Developer.

Что круто, там можно и поработать руками над созданием самих роботов, и разрабатывать алгоритмы для управления роботами на базе ИИ в таких направлениях как:
📍 манипуляция
📍 роботизация логистики
📍 мобильные роботы

Несколько команд в AIRI тесно работают вместе с ребятами над созданием алгоритмов сильного искусственного интеллекта, способного наилучшим образом понимать происходящее вокруг робота, используя все доступные сенсоры и стримы визуальных данных

Вот еще ряд задач, которые решаются в Центре 👇

▪️ разработка алгоритмов и систем управления роботами (core, body, brain) и драйверов для различных устройств в виде ROS2 узлов
▪️ создание алгоритмов внутренней и внешней калибровки сенсоров (лидары, камеры, IMU), робототехнических сервисов на Behavior Trees / State Machines
▪️ работа с симуляторами на базе Isaac Sim / MuJoCo / PyBullet
▪️ проектирование архитектуры системы

Обязательно приходите, чтобы проверить свои силы!

Регистрируйтесь на One Day Offer 13 июля 😉

Увидел тут в одном интересном канале пост про ИИ в фэшн индустрии. Возникли некоторые мысли, которыми захотелось поделиться.

Не секрет, что один из моих основных фокусов в исследованиях — генеративные модели, поэтому так или иначе про прикладные применения технологии читать всегда интересно. Персонализация в фэшн индустрии, на мой взгляд, ключ к сердцу покупателя. Море опросов можно найти, где респонденты уверено подчеркивают пользу влияния ИИ в части рекомендаций товаров, в части предложения новых услуг. На днях, например, один из пионеров индустрии моды в Европе объявил о старте AI-based рекламной кампании линейки молодёжной одежды. При этом они не просто сгенерировали картинки одежды, а прошли полный цикл: сначала была изготовлена коллекция одежды, потом все элементы коллекции были сфотографированы, а далее обучалась модель, которая далее правильно «одевала» в эту одежду моделей на сгенерированных картинках (пример из кампании как раз в закрепе) .

О чём это всё говорит: индустрия под влиянием ИИ меняется, даже такие чувствительные направления как мода не остаются в стороне. В недалеком будущем предполагаю, что будут и персональные коллекции одежды, сам стиль будет подбираться индивидуально под физиологию человека, а перенося это всё в «видео» модальность мы сможем «покрутить» себя и посмотреть со стороны как будем выглядеть в той или иной одежде и в разных окружениях. И одежда — это всего лишь одна из повседневных потребностей человека, но в формате персонализации такие «AI-стилисты» должны учитывать и твоё настроение (ммм, ИИ-эмпатия), и геолокацию, и погоду, и календарь встреч, и многие другие факторы, влияющие на выбор. Мода и одежда становится компонентом, как сейчас принято называть, модели мира, где каждый сможет «оцифровать» себя, сгенерировать любое окружение и смоделировать различные сценарии. Вот так от темы генерации и примерки одежды мы быстро приходим к AGI😉

А хочется ли этого вам? Надо ли такое или это уже перебор?

Всем привет 🖐

Задумался на днях про маркировку ИИ-контента, ибо много обсуждений ведётся, а мнение публичное я не встретил, а очень хочется узнать разные позиции.

Моя личная позиция в том, что маркировка мультимедиа - важная задача, потому что позволяет понимать как распространяются генерации, как влияют на инфополе. Одна случайная картинка может стоить владельцу модели, бигтеху или стартапу репутации. Такие картинки можно успеть задетектить или доказать, что они сделаны не вашим ИИ при наличии встроенного механизма защиты.

Также маркировка поспособствует развитию генеративного искусства и защите авторского права. Хотя тема авторства ИИ-контента сложная, но почему не думать об этом на будущее?

Ну и, конечно, помимо маркировки нужно развивать инструменты для её анализа. Вот, например, кто-то взял картинку котика и дорисовал ему не совсем то, что надо; и вроде и контент промаркирован, а вроде уже не исходное изображение. Значит надо еще и за устойчивостью решений следить к разным локальным правкам контента.

А ещё: как именно маркировать контент? Предлагаю всем подумать в комментариях под этим постом 🔍

А ниже два коротких вопроса, буду признателен за участие 🙏