This media is not supported in your browser
VIEW IN TELEGRAM
Я снял видео во время парада в честь Дня Независимости США, где ученики показывают своих роботов, которых они разработали для школьного чемпионата. Цель чемпионата - на скорость собрать и принести на базу как можно больше предметов. Круто, когда еще в школе дети погружаются в науку и инжиниринг. Забавно вспоминать, что класса до пятого у нас в школе из доступного оборудования были только старые Корветы 😅.
В последние несколько дней в канале было меньше постов, потому что после CVPR я полетел в Кремниевую Долину, чтобы поработать из нашего головного офиса. А это видео я снял во время праздничного парада в небольшой деревне к югу от Сан-Франциско.
@ai_newz
В последние несколько дней в канале было меньше постов, потому что после CVPR я полетел в Кремниевую Долину, чтобы поработать из нашего головного офиса. А это видео я снял во время праздничного парада в небольшой деревне к югу от Сан-Франциско.
@ai_newz
July 7, 2023
This media is not supported in your browser
VIEW IN TELEGRAM
В Калифорнии растет недовольство беспилотниками, которые бывает блокируют улицы и перекрестки, паркуются на пожарных шлангах и не могут адекватно действовать в некоторых ситуациях, понятных человеку.
Активисты же предлагают протест - ставить дорожные конусы 💩 беспилотникам на капот, что по сути обездвиживает машину. Пока инженеры еще не добавили такой кейс в тренировочную выборку, а в любой непонятной ситуации беспилотник как правило включает аварийку и просто замирает.
Машинам без наездника, конечно, еще есть куда развиваться, и у них есть много нерешенных проблем. Но я считаю, что это движение - легкий луддизм, ведь без теста на дорогах в реальных условиях, они никогда не станут водить лучше чем человек.
В следующем посте дам немного статистики, почему в Калифорнии так много недовольных.
@ai_newz
Активисты же предлагают протест - ставить дорожные конусы 💩 беспилотникам на капот, что по сути обездвиживает машину. Пока инженеры еще не добавили такой кейс в тренировочную выборку, а в любой непонятной ситуации беспилотник как правило включает аварийку и просто замирает.
Машинам без наездника, конечно, еще есть куда развиваться, и у них есть много нерешенных проблем. Но я считаю, что это движение - легкий луддизм, ведь без теста на дорогах в реальных условиях, они никогда не станут водить лучше чем человек.
В следующем посте дам немного статистики, почему в Калифорнии так много недовольных.
@ai_newz
July 8, 2023
Я не инсайдер из индустрии self-driving (меня только на днях пригласили на собеседование в Tesla AI). Но вот, чуть-чуть статистики о беспилотниках в Калифорнии:
🔻 Штат выдал лицензии на поздки без водителя 7-ми компаниям: Apollo, Autox, Cruise, Nuro, Waymo, Werideи Zoox. Количество беспилотников на дорогах Калифорнии значительно возросло в посленднее время, и за 2022 год они проехали в 25 раз больше км чем за 2021.
🔻Теперь посмотрим на аварии - все данные в открытом доступе!
— За 2023 год Cruise зарепортила 28 аварий с участием их беспилотников, Waymo — 25, Zoox — 12.
— Кол-во машин без водителей на дорогах Калифорнии на конец 2022 можно оптимистично оценить так:
Cruise — 388 машин, Waymo — 688, Zoox — 142.
— То есть за 2023 год у Cruise аж целых 7% машин попали в аварию! У Waymo - 4%, у Zoox - 8%. Это очень много, и тут еще не учтены случаи блокировки дорог, которые компании не обязаны репортить! Для сравнения вероятность аварии для машин с водителем < 2%.
@ai_newz
🔻 Штат выдал лицензии на поздки без водителя 7-ми компаниям: Apollo, Autox, Cruise, Nuro, Waymo, Werideи Zoox. Количество беспилотников на дорогах Калифорнии значительно возросло в посленднее время, и за 2022 год они проехали в 25 раз больше км чем за 2021.
🔻Теперь посмотрим на аварии - все данные в открытом доступе!
— За 2023 год Cruise зарепортила 28 аварий с участием их беспилотников, Waymo — 25, Zoox — 12.
— Кол-во машин без водителей на дорогах Калифорнии на конец 2022 можно оптимистично оценить так:
Cruise — 388 машин, Waymo — 688, Zoox — 142.
— То есть за 2023 год у Cruise аж целых 7% машин попали в аварию! У Waymo - 4%, у Zoox - 8%. Это очень много, и тут еще не учтены случаи блокировки дорог, которые компании не обязаны репортить! Для сравнения вероятность аварии для машин с водителем < 2%.
@ai_newz
July 8, 2023
This media is not supported in your browser
VIEW IN TELEGRAM
Только я написал пост про self-driving в Калифорнии, как тут такое приключилось.
Едем мы с коллегами с ужина в Сан-Франциско. Я остановился на перекресте, чтобы пропустить другие машины. Справа я заметил два беспилотных Cruise без водителя за рулем.
Один беспилотник быстро проскочил перекресток по прямой, а второму нужно было повернуть налево. Малютка выбрала какую-то очень странную траекторию поворота, которая проходила почти вплотную к нашей машине. Когда Cruise понял, что проходит всего в нескольких сантиметрах от нас, он затормозил и замер в нерешительности. Видимо, сработал протокол "в любой непонятной ситуации тормози и не двигайся". Водители со всех сторон начали сигналить, ведь они не знали что за рулем никого нет.
Я откатился назад и смог объехать застывший Cruise справа, а тот все ещё стоял посередине перекрестка.
Кажется, инженерам Cruise стоит добавить реакуию на сигналы гудка: Услышав гудение, беспилотник должен понять, что все ждут от него немедленных действий, и зашевелиться 😁
@ai_newz
Едем мы с коллегами с ужина в Сан-Франциско. Я остановился на перекресте, чтобы пропустить другие машины. Справа я заметил два беспилотных Cruise без водителя за рулем.
Один беспилотник быстро проскочил перекресток по прямой, а второму нужно было повернуть налево. Малютка выбрала какую-то очень странную траекторию поворота, которая проходила почти вплотную к нашей машине. Когда Cruise понял, что проходит всего в нескольких сантиметрах от нас, он затормозил и замер в нерешительности. Видимо, сработал протокол "в любой непонятной ситуации тормози и не двигайся". Водители со всех сторон начали сигналить, ведь они не знали что за рулем никого нет.
Я откатился назад и смог объехать застывший Cruise справа, а тот все ещё стоял посередине перекрестка.
Кажется, инженерам Cruise стоит добавить реакуию на сигналы гудка: Услышав гудение, беспилотник должен понять, что все ждут от него немедленных действий, и зашевелиться 😁
@ai_newz
July 10, 2023
После CVPR и командировки в Menlo Park я наконец возвращаюсь домой в Цюрих.
Удалась довольно продуктивная поездка: Неделя нетворкинга и научных обсуждений на CVPR в Ванкувере, а затем 2 недели бизнес встреч, новых знакомств и планирования проектов в главном офисе Меты в Менло Парк.
За это время я успел встретиться и пообщаться с руководством (нет, не с Марком, к сожалению). Встретился с менеджером менеджера и с нашим директором. Я был поражен насколько открыто и дружелюбно они со мной общались. Наверное, Мета все ещё остаётся одной из самых открытых компаний из Big Tech.
Ещё раз убедился во мнении, что в Силиконовой Долине находится своего рода IT метрополия — почти все самые важные решения в компании делают именно тут, а уж затем доносятся до Европы.
Ну, а теперь, как я вернусь домой, ждите больше сочного мясного контента про генеративный AI.
@ai_newz
Удалась довольно продуктивная поездка: Неделя нетворкинга и научных обсуждений на CVPR в Ванкувере, а затем 2 недели бизнес встреч, новых знакомств и планирования проектов в главном офисе Меты в Менло Парк.
За это время я успел встретиться и пообщаться с руководством (нет, не с Марком, к сожалению). Встретился с менеджером менеджера и с нашим директором. Я был поражен насколько открыто и дружелюбно они со мной общались. Наверное, Мета все ещё остаётся одной из самых открытых компаний из Big Tech.
Ещё раз убедился во мнении, что в Силиконовой Долине находится своего рода IT метрополия — почти все самые важные решения в компании делают именно тут, а уж затем доносятся до Европы.
Ну, а теперь, как я вернусь домой, ждите больше сочного мясного контента про генеративный AI.
@ai_newz
July 11, 2023
Forwarded from Yandex for Developers
Пока вы наслаждаетесь тёплым летом, мы готовим для вас большую конференцию по прикладному Machine Learning — чтобы обсудить все изменения, которые постоянно происходят в ML-отрасли, и то, как их можно внедрить в свои проекты.
7 сентября вас ждут 500 экспертов, 8 профильных направлений и опытные ML-инженеры, которые меняют сферу уже сейчас. Поговорим о ключевых вопросах индустрии: генеративных моделях, Research, NLP, Hardware, CV, RecSys, MLOps и Ecomm.
Если вы хотите прочитать доклад о прикладном ML, то заполняйте форму до 17 июля. А если нет — save the date и ждите новые подробности: скоро мы начнём рассказывать о программе Practical ML Conf 2023.
До встречи 7 сентября на Practical ML Conf в Москве или онлайн!
Please open Telegram to view this post
VIEW IN TELEGRAM
July 12, 2023
Bitsandbytes: Быстрый инференс в точности 4-bit
Есть такая библиотечка bitsandbytes, в которой реализованы очень быстрые CUDA-кернелы для 8-битных операций в PyTorch. Выглядит либа как обертки над обычными объектами Pytorch, что огромный плюс, ведь не нужно возиться с C++ кодом как в случае llama.cpp.
В том числе в bitsandbytes есть и оптимизаторы для обучения на 8-битах.
Снижение разрядности операций с fp32 до, например, int8 позволяет в разы сократить время обучения и инференса сетей.
А вчера, автор выложил версию 0.40.0, в которой реализовал эффективный инференс в int4. И на современных GPU мы видим x4 ускорение для операций матричного перемножения и скалярного произведения векторов по сравнению с fp16! А современные трансформеры почти полностью состоят из этого типа операций. То есть при инференсе LLM, мы и экономим драгоценную память, и увеличиваем скорость инференса моделей типа LLaMa до x4.2 раза (см. картинку)!
@ai_newz
Есть такая библиотечка bitsandbytes, в которой реализованы очень быстрые CUDA-кернелы для 8-битных операций в PyTorch. Выглядит либа как обертки над обычными объектами Pytorch, что огромный плюс, ведь не нужно возиться с C++ кодом как в случае llama.cpp.
В том числе в bitsandbytes есть и оптимизаторы для обучения на 8-битах.
Снижение разрядности операций с fp32 до, например, int8 позволяет в разы сократить время обучения и инференса сетей.
А вчера, автор выложил версию 0.40.0, в которой реализовал эффективный инференс в int4. И на современных GPU мы видим x4 ускорение для операций матричного перемножения и скалярного произведения векторов по сравнению с fp16! А современные трансформеры почти полностью состоят из этого типа операций. То есть при инференсе LLM, мы и экономим драгоценную память, и увеличиваем скорость инференса моделей типа LLaMa до x4.2 раза (см. картинку)!
@ai_newz
July 12, 2023
50 минут назад Маск анонсировал свою новую компанию https://x.ai/ под бодрым лозунгом "Understand the Universe".
По сути это конкурент OpenAIс блекджеком и шлюхами, о котором Маск ранее упоминал.
В ядре команды инженеры и сайнтисты из DeepMind, OpenAI, Google Research, Microsoft Research и Tesla. Некоторые из них тренили GPT-4. Так что инсайдерской инфы у команды достаточно, чтобы воссоздать ChatGPT как минимум. Маск заранее закупился тысячами видеокарт под это дело.
Но, честно сказать, пока не понятно, чем именно эта новая компания будет заниматься. Наверное тоже будут строить AGI.
@ai_newz
По сути это конкурент OpenAI
В ядре команды инженеры и сайнтисты из DeepMind, OpenAI, Google Research, Microsoft Research и Tesla. Некоторые из них тренили GPT-4. Так что инсайдерской инфы у команды достаточно, чтобы воссоздать ChatGPT как минимум. Маск заранее закупился тысячами видеокарт под это дело.
Но, честно сказать, пока не понятно, чем именно эта новая компания будет заниматься. Наверное тоже будут строить AGI.
@ai_newz
x.ai
xAI
xAI is an AI company with the mission of advancing scientific discovery and gaining a deeper understanding of our universe.
July 12, 2023
Roblox Open Beta выходит на Meta Quest 2 & Pro
Roblox давно строит свою метавселенную. Но до этого в нее играли только на 2D девайсах (PC, консоли, мобильники). Сейчас же в партнёрстве с Meta, Roblox получит полноценное 3D воплощение в VR.
Многим читателям канала 20+ лет, и вам наверное не совсем понятен феномен Roblox. Поэтому стоит отметить, что эта платформа имеет 66 млн DAU (daily active users) и большая часть из них это дети и подростки до 17 лет.
Roblox — это своего рода конструктор игр, где любой желающий может создать свой собственный мир. Либо можно подключиться и поиграть со своими друзьями в существующую игру. При этом большой упор делается на кастомизацию внешности своего аватара (я писал про это раньше).
Во время пандемии произошел огромный рост пользователей Roblox. Три из четырех ребенка 9-12 лет из США играют в Roblox.
Ну вот, а теперь все это переносится и в VR, что будет очень круто как для развития экосистемы Quest так и для самого Roblox.
@ai_newz
Roblox давно строит свою метавселенную. Но до этого в нее играли только на 2D девайсах (PC, консоли, мобильники). Сейчас же в партнёрстве с Meta, Roblox получит полноценное 3D воплощение в VR.
Многим читателям канала 20+ лет, и вам наверное не совсем понятен феномен Roblox. Поэтому стоит отметить, что эта платформа имеет 66 млн DAU (daily active users) и большая часть из них это дети и подростки до 17 лет.
Roblox — это своего рода конструктор игр, где любой желающий может создать свой собственный мир. Либо можно подключиться и поиграть со своими друзьями в существующую игру. При этом большой упор делается на кастомизацию внешности своего аватара (я писал про это раньше).
Во время пандемии произошел огромный рост пользователей Roblox. Три из четырех ребенка 9-12 лет из США играют в Roblox.
Ну вот, а теперь все это переносится и в VR, что будет очень круто как для развития экосистемы Quest так и для самого Roblox.
@ai_newz
July 12, 2023
🎙Клонирование и синтез голоса
GenAI стартап-бум продолжается. Стартап из Торонто resemble.ai занимается клонированием и синтезом голоса и вчера поднял $8M в Series A.
Это точно не единственная компания, которая занимается синтезом голоса. Но вот что интересно - тут можно загрузить записи своего голоса (нужно 12 минут) и они создадут генератор под ваш голос. Пока процесс создания модели под вас в бесплатной версии занимает 2 дня, а синтез из нее стоит $0.006 за секунду.
Из крутых юзкейсов, которые я вижу у них на сайте:
- Редактирование аудиозаписи по тексту. Например, я записал часовой подкаст и хочу подкорректировать некоторые фразы или предложения. Вместо записи новых кусочков аудио, я могу использовать выход speech2text на моей длинной аудиозаписи и редактировать подкаст, редактирую текстовый транскрипт. А моделька, обученная на моем голосе, будет синтезировать отрезки аудио, которые соответствуют измененному куску текста.
- Speech-to-speech: Это перевод аудиозаписи на разные языки, сохраняя голос, и изменения стиля повествования, добавляя разные эмоции.
К сожалению на сайте проекта еще не все описанные возможности доступны, но клонировать свой голос уже можно.
Борьба с дипфейками и нелегальным клонированием:
Интересно, что для борьбы с дипфейками и клонированием голосов, которые вам не принадлежать, от юзера требуют загрузить видео, где "клонируемый" человек говорит текст вроде "Я разрешаю загрузку моих аудио данных в resemble и даю согласие на использование его для генерации контента для юзера [email address]". То есть украсть золотой голос Баскова без его согласия не выйдет(на самом деле выйдет, если вы сами сможете собрать похожий пайплайн из кода на гитхабе) .
@ai_newz
GenAI стартап-бум продолжается. Стартап из Торонто resemble.ai занимается клонированием и синтезом голоса и вчера поднял $8M в Series A.
Это точно не единственная компания, которая занимается синтезом голоса. Но вот что интересно - тут можно загрузить записи своего голоса (нужно 12 минут) и они создадут генератор под ваш голос. Пока процесс создания модели под вас в бесплатной версии занимает 2 дня, а синтез из нее стоит $0.006 за секунду.
Из крутых юзкейсов, которые я вижу у них на сайте:
- Редактирование аудиозаписи по тексту. Например, я записал часовой подкаст и хочу подкорректировать некоторые фразы или предложения. Вместо записи новых кусочков аудио, я могу использовать выход speech2text на моей длинной аудиозаписи и редактировать подкаст, редактирую текстовый транскрипт. А моделька, обученная на моем голосе, будет синтезировать отрезки аудио, которые соответствуют измененному куску текста.
- Speech-to-speech: Это перевод аудиозаписи на разные языки, сохраняя голос, и изменения стиля повествования, добавляя разные эмоции.
К сожалению на сайте проекта еще не все описанные возможности доступны, но клонировать свой голос уже можно.
Борьба с дипфейками и нелегальным клонированием:
Интересно, что для борьбы с дипфейками и клонированием голосов, которые вам не принадлежать, от юзера требуют загрузить видео, где "клонируемый" человек говорит текст вроде "Я разрешаю загрузку моих аудио данных в resemble и даю согласие на использование его для генерации контента для юзера [email address]". То есть украсть золотой голос Баскова без его согласия не выйдет
@ai_newz
July 13, 2023
🔥CM3leon - Новая универсальная генеративная модель для Картинок и текста
Ребята из Meta AI (FAIR) представили новую генеративную модель. Это по сути мультимодальная decoder-only LLM на базе архитектуры OPT, которая умеет работать как с изображениями, так и с текстом.
Для картинок используется предобученный токенизатор VQ-VAE, который разбивает 256x256 изображеие на 1024 токена из словаря размером в 8192.
Натренили модельку на 7 млрд параметров — CM3Leon-7B, которая хорошо генерит в 256x256 и выдает state-of-the-art FID = 4.8 на MS-COCO.
Модель умеет:
1. text-to-image
2. image-to-text, то есть можно спрашивать любые вопросы по картинке
3. image-to-image с текстовой инструкцией
Одна генерация 256x256 занимает 9 сек в int8 (для сравнения авторегрессионная модель Parti-3В требует 6.4 сек, но дает хуже результаты).
Блог
Статья
@ai_newz
Ребята из Meta AI (FAIR) представили новую генеративную модель. Это по сути мультимодальная decoder-only LLM на базе архитектуры OPT, которая умеет работать как с изображениями, так и с текстом.
Для картинок используется предобученный токенизатор VQ-VAE, который разбивает 256x256 изображеие на 1024 токена из словаря размером в 8192.
Натренили модельку на 7 млрд параметров — CM3Leon-7B, которая хорошо генерит в 256x256 и выдает state-of-the-art FID = 4.8 на MS-COCO.
Модель умеет:
1. text-to-image
2. image-to-text, то есть можно спрашивать любые вопросы по картинке
3. image-to-image с текстовой инструкцией
Одна генерация 256x256 занимает 9 сек в int8 (для сравнения авторегрессионная модель Parti-3В требует 6.4 сек, но дает хуже результаты).
Блог
Статья
@ai_newz
July 15, 2023
This media is not supported in your browser
VIEW IN TELEGRAM
Именно. PhD - это просто подтверждение того, что ты можешь долго и упорно бить в одну точку и, несмотря на неопределенность и долгие неудачи, идти к решению роблемы, создавать новое.
Это одна из причин почему в ресерч-команды в большинстве случаев нанимают именно людей с PhD (у нас в команде тоже так).
И на самом деле не очень важно иметь 100% совпадение темы PhD и того, над чем команда работает. Если видно, что человек способный и затащил PhD с сильными публикациями, то он разберется в любой новой теме.
@ai_newz
Это одна из причин почему в ресерч-команды в большинстве случаев нанимают именно людей с PhD (у нас в команде тоже так).
И на самом деле не очень важно иметь 100% совпадение темы PhD и того, над чем команда работает. Если видно, что человек способный и затащил PhD с сильными публикациями, то он разберется в любой новой теме.
@ai_newz
July 16, 2023
🔥Meta зарелизила набор моделей LLaMa-2-Chat разного размера!
Это огромное событие в мире опенсоурса и науки. Коллеги из LLM отдела GenAI выпустили бомбу! LLaMa-2 на 70B параметров сравнима по качетству с GPT-3.5 и даже лучше ее на некоторых бенчмарках.
Это, кстати, первая модель такого размера, затюненая c помощью RLHF, и которую выложили для коммерческого использования БЕСПЛАТНО. Запросить ссылку на скачивание можно тут.
Наконец-то, на базе LLaMa-2-Chat можно строить свои локальные аналоги ChatGPT и не отсылать никаких данных в OpenAI.
LLaMa 2-Chat сравнима по качеству с ChatGPT-3.5 по метрикам human eval, а, например, на математических задачах - даже лучше.
Размер контекста: 4к.
Тренировались модели на 2 триллионах токенов, что в два раза больше чем LLaMa 1.
Больше подробностей в статье
@ai_newz
Это огромное событие в мире опенсоурса и науки. Коллеги из LLM отдела GenAI выпустили бомбу! LLaMa-2 на 70B параметров сравнима по качетству с GPT-3.5 и даже лучше ее на некоторых бенчмарках.
Это, кстати, первая модель такого размера, затюненая c помощью RLHF, и которую выложили для коммерческого использования БЕСПЛАТНО. Запросить ссылку на скачивание можно тут.
Наконец-то, на базе LLaMa-2-Chat можно строить свои локальные аналоги ChatGPT и не отсылать никаких данных в OpenAI.
LLaMa 2-Chat сравнима по качеству с ChatGPT-3.5 по метрикам human eval, а, например, на математических задачах - даже лучше.
Размер контекста: 4к.
Тренировались модели на 2 триллионах токенов, что в два раза больше чем LLaMa 1.
Больше подробностей в статье
@ai_newz
July 18, 2023
Закрыл корпоративный гештальт. Пообщался 1 на 1 со всей цепочкой начальства, начиная с моего менеджера (с ним я и так каждый день вижусь), и до VP. В пятницу было последнее звено – наш Senior Director в GenAI. Осталось только выбить 1:1 слот с Марком 😅
В карьеризме важно, чтобы боссы знали тебя лично и были в курсе того, какие крутые штуки ты делаешь. Иначе можно делать много всякого, но если никто из лидеров об этом не знает, то признания за импакт ты не получишь.
У нашей команды довольно видное место в организации и в разговоре легко показать, что мы делаем для Generative AI. Конкретики пока не могу дать, так как еще не было релиза (мы работаем не только над ресерчем, но и делаем модели для продуктов).
@ai_newz
В карьеризме важно, чтобы боссы знали тебя лично и были в курсе того, какие крутые штуки ты делаешь. Иначе можно делать много всякого, но если никто из лидеров об этом не знает, то признания за импакт ты не получишь.
У нашей команды довольно видное место в организации и в разговоре легко показать, что мы делаем для Generative AI. Конкретики пока не могу дать, так как еще не было релиза (мы работаем не только над ресерчем, но и делаем модели для продуктов).
@ai_newz
Telegram
эйай ньюз
После CVPR и командировки в Menlo Park я наконец возвращаюсь домой в Цюрих.
Удалась довольно продуктивная поездка: Неделя нетворкинга и научных обсуждений на CVPR в Ванкувере, а затем 2 недели бизнес встреч, новых знакомств и планирования проектов в главном…
Удалась довольно продуктивная поездка: Неделя нетворкинга и научных обсуждений на CVPR в Ванкувере, а затем 2 недели бизнес встреч, новых знакомств и планирования проектов в главном…
July 22, 2023