И ещё генераций от Imagen.
Жаль, пока нет ни кода, ни публичного API. Но я верю в открытость гугла больше чем OpenAI.
@Artem Gradient
Жаль, пока нет ни кода, ни публичного API. Но я верю в открытость гугла больше чем OpenAI.
@Artem Gradient
Буоно серата, мужички и дамы,
Каждое второе сообщение в моей личке выглядит примерно так: "как вкатиться в AI, брат?".
Для начала расскажу вам коротко свой путь самурая. Впервые я потыкал ML и обучил SVM в махровом 2013 в Школе Анализа Данных Яндекса. Мне эта возня с данными понравилась, и на последнем курсе шараги я стал подыскивать себе программу PhD за бугром. Долго не думая, перед новым годом, я разослал примерно дохульён емейлов со своим резюме и получил около 10 ответов и впоследствии два с половиной офера. Затем пришлось изрядно попотеть, доказывая, что я не верблюд с беларуским дипломом. Не знаю, как мне удалось убедить Бундестаг, чтобы они отсыпали денег на аспирантуру именно мне, а не другим немецким студентам.
Я был счастлив. Но длилось это недолго. Минул примерно год, и я начинал ощущать какую-то тяжесть, как будто на запястьях что-то защелкивалось, слегка прибивая меня к земле. Это были небольшие, но увесистые кандалы, по гирьке на каждую ногу и руку, которые мне мило навесил профессор. Требовались исключительные достижения (3-5 статей на топовых конференциях) и удачное стечение обстоятельств, чтобы крепостной получил вольную. Не смотря на это, я почти в самоволку дважды убежал на стажировку в индустрию (в одну из ныне запрещенных в РФ организаций). Итого, 5-лет веселого рабства в старинном немецком вузе завершилось получением мной вольной грамоты по случаю защиты докторской диссертации в Компукторном Зрении.
Продолжение следует.
#мойпуть
@Artem
Каждое второе сообщение в моей личке выглядит примерно так: "как вкатиться в AI, брат?".
Для начала расскажу вам коротко свой путь самурая. Впервые я потыкал ML и обучил SVM в махровом 2013 в Школе Анализа Данных Яндекса. Мне эта возня с данными понравилась, и на последнем курсе шараги я стал подыскивать себе программу PhD за бугром. Долго не думая, перед новым годом, я разослал примерно дохульён емейлов со своим резюме и получил около 10 ответов и впоследствии два с половиной офера. Затем пришлось изрядно попотеть, доказывая, что я не верблюд с беларуским дипломом. Не знаю, как мне удалось убедить Бундестаг, чтобы они отсыпали денег на аспирантуру именно мне, а не другим немецким студентам.
Я был счастлив. Но длилось это недолго. Минул примерно год, и я начинал ощущать какую-то тяжесть, как будто на запястьях что-то защелкивалось, слегка прибивая меня к земле. Это были небольшие, но увесистые кандалы, по гирьке на каждую ногу и руку, которые мне мило навесил профессор. Требовались исключительные достижения (3-5 статей на топовых конференциях) и удачное стечение обстоятельств, чтобы крепостной получил вольную. Не смотря на это, я почти в самоволку дважды убежал на стажировку в индустрию (в одну из ныне запрещенных в РФ организаций). Итого, 5-лет веселого рабства в старинном немецком вузе завершилось получением мной вольной грамоты по случаю защиты докторской диссертации в Компукторном Зрении.
Продолжение следует.
#мойпуть
@Artem
Уже появился код для Imagen от энтузиаста
Кстати, оригинальная модель ничего так генерит по запросу "корова на пляже".
UPD: Жаль, что код на гитхабе пока не дотягивает до оригинала.
UPD2: это была первоапрельская шутка от Сени. Кода Imagen пока нет. Иногда стоит изредка читать историю коммитов 😅.
https://github.com/cene555/Imagen-pytorch
Кстати, оригинальная модель ничего так генерит по запросу "корова на пляже".
UPD: Жаль, что код на гитхабе пока не дотягивает до оригинала.
UPD2: это была первоапрельская шутка от Сени. Кода Imagen пока нет. Иногда стоит изредка читать историю коммитов 😅.
https://github.com/cene555/Imagen-pytorch
"Сири, я хочу быть как толстый Iron Man, но чтобы без шлема и с татухой на лице как у Тайсона"
Амэйзинг! Чудо инженерии! Этот метод позволяет сгенерить 3D модель аватара и анимировать его, используя только текстовый запрос. Вот так легко в будущем будут создаваться аватары для кожаных мешков в метаверсе.
Под капотом адская комбинация нескольких нейронок. Самое основное это CLIP, который направляет генерацию 3Д модели с помощью нейронного рендеринга. Можно потыкать в колабе.
- AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars -
❱❱ Сайт ❱❱ Код ❱❱ Колаб
@Artem Gradient
Амэйзинг! Чудо инженерии! Этот метод позволяет сгенерить 3D модель аватара и анимировать его, используя только текстовый запрос. Вот так легко в будущем будут создаваться аватары для кожаных мешков в метаверсе.
Под капотом адская комбинация нескольких нейронок. Самое основное это CLIP, который направляет генерацию 3Д модели с помощью нейронного рендеринга. Можно потыкать в колабе.
- AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars -
❱❱ Сайт ❱❱ Код ❱❱ Колаб
@Artem Gradient
This media is not supported in your browser
VIEW IN TELEGRAM
Вот несколько примеров генерации AvatarClip.
Media is too big
VIEW IN TELEGRAM
Neural 3D Reconstruction in the Wild
Нейронные рендеры уверенно шагает вперед. NVIDIA недавно показала, на что они способны в плане реалистичного рендеринга. Теперь другие учёные уже даже замахиваются на COLMAP в борьбе за качество реконструкции формы.
Вот недавняя статья с SIGGRAPH 2022, где ребятки получают довольно хорошую реконструкцию поверхности больших сцен in-the-wild из набора интернет фотографий.
Например, на видео - 3D реконструкция Браденбургских ворот в Берлине.
@Artem Gradient
Нейронные рендеры уверенно шагает вперед. NVIDIA недавно показала, на что они способны в плане реалистичного рендеринга. Теперь другие учёные уже даже замахиваются на COLMAP в борьбе за качество реконструкции формы.
Вот недавняя статья с SIGGRAPH 2022, где ребятки получают довольно хорошую реконструкцию поверхности больших сцен in-the-wild из набора интернет фотографий.
Например, на видео - 3D реконструкция Браденбургских ворот в Берлине.
@Artem Gradient
Вы, возможно, заметили, что у меня есть ещё один канал @gradientdude. Там я пишу о статьях на английском, и обычно с более подробными техническими деталями. Вот, например, более подробно про Neural 3D reconstruction in the wild из предыдущего поста.
Если вам такая бодяга нравится, то подписывайтесь туда тоже.
Если вам такая бодяга нравится, то подписывайтесь туда тоже.
Telegram
Gradient Dude
Neural 3D Reconstruction in the Wild”
[SIGGRAPH 2022]
When will neural-based approaches beat COLMAP in terms of both speed and quality of the surface reconstruction? Here is the Neural Rendering method tackling the quality part.
Authors show that with a…
[SIGGRAPH 2022]
When will neural-based approaches beat COLMAP in terms of both speed and quality of the surface reconstruction? Here is the Neural Rendering method tackling the quality part.
Authors show that with a…
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn)
HairCLIP
Ну, за грумеров, не чокаясь.
Грумеры для бумеров - это те, кто стрижет кошек и собак.
Грумеры для зумеров - это странные люди, которые делают цифровые прически 3Д-моделям и аватарам.
Мое знакомство с Maya Fur и Maya Hair приводило меня в ужас, это был неуправляемый хаос из которого надо было слепить что-то хотя бы приблизительно похожее на референс. Я даже мастеркласс с испугу прочитал на Сигграфе по этому поводу.
Время шло, груминг стал обычной [под]профессией и частью пайплайна.
И тут подкрались нейросетки.
В общем вот вам еще одна работа в духе "This Hair does not exist".
Более того, там можно самому попробовать пририсовать усы, пардон, волосы, на голову любимой учительницы.
Ну и если метаверсить на будущее, то рынок цифровых причесок, похоже будет вторым после рынка цифровых шмоток. Ибо аватар не будет ходить в одном и том же два дня подряд.
https://huggingface.co/spaces/Gradio-Blocks/HairCLIP
Ну, за грумеров, не чокаясь.
Грумеры для бумеров - это те, кто стрижет кошек и собак.
Грумеры для зумеров - это странные люди, которые делают цифровые прически 3Д-моделям и аватарам.
Мое знакомство с Maya Fur и Maya Hair приводило меня в ужас, это был неуправляемый хаос из которого надо было слепить что-то хотя бы приблизительно похожее на референс. Я даже мастеркласс с испугу прочитал на Сигграфе по этому поводу.
Время шло, груминг стал обычной [под]профессией и частью пайплайна.
И тут подкрались нейросетки.
В общем вот вам еще одна работа в духе "This Hair does not exist".
Более того, там можно самому попробовать пририсовать усы, пардон, волосы, на голову любимой учительницы.
Ну и если метаверсить на будущее, то рынок цифровых причесок, похоже будет вторым после рынка цифровых шмоток. Ибо аватар не будет ходить в одном и том же два дня подряд.
https://huggingface.co/spaces/Gradio-Blocks/HairCLIP
Стать художником никогда не было так легко, как сейчас, с момента изобретения цифровой камеры
DALL-E 2, как и предыдущие системы преобразования текста в изображение, генерирует картинку из фрагмента текста. Aaron Hertzman написал на днях занятный пост, где он размышляет о text2image генерации, и о DALLE-2 в частности. Что модель может генерировать, что не может,
как устроен креативный процесс... В общем интересное чтиво, учитывая что Аарон имеет бекграунд как в CS, так и в искусстве.
Прикрепляю несколько интересных DALLE-2 картин от Аарона:
1. “Hip Indian computer scientist who enjoys art and calisthenics, in the style of Kehinde Wiley"
2. “Kehinde wiley artwork of a female asian scientist doing construction labor”
3. "Stanford bunny, 3d model"
4. "Homer Simpson in 3d on a grid surrounded by geometry"
5. “An IT-guy trying to fix hardware of a PC tower is being tangled by the PC cables like Laokoon. Marble, copy after Hellenistic original from ca. 200 BC. Found in the Baths of Trajan 1506”
@Artem Gradient
DALL-E 2, как и предыдущие системы преобразования текста в изображение, генерирует картинку из фрагмента текста. Aaron Hertzman написал на днях занятный пост, где он размышляет о text2image генерации, и о DALLE-2 в частности. Что модель может генерировать, что не может,
как устроен креативный процесс... В общем интересное чтиво, учитывая что Аарон имеет бекграунд как в CS, так и в искусстве.
Прикрепляю несколько интересных DALLE-2 картин от Аарона:
1. “Hip Indian computer scientist who enjoys art and calisthenics, in the style of Kehinde Wiley"
2. “Kehinde wiley artwork of a female asian scientist doing construction labor”
3. "Stanford bunny, 3d model"
4. "Homer Simpson in 3d on a grid surrounded by geometry"
5. “An IT-guy trying to fix hardware of a PC tower is being tangled by the PC cables like Laokoon. Marble, copy after Hellenistic original from ca. 200 BC. Found in the Baths of Trajan 1506”
@Artem Gradient
This media is not supported in your browser
VIEW IN TELEGRAM
А это молодой Ян ЛеКун, друзья. Он тут понтуется своей CNN, которая распознает цифры. Это была первая в мире нейронная сеть с такими возможностями (1993 год).
Тогда ЛеКуну было 32 года. То есть не то, чтобы он был очень молодым, когда создал прорыв всей своей жизни. И после этого ещё минимум 15 лет он и его парни считались сумасшедшими аутсайдерами со своими ебучими нейронками, в которые никто не верил. Ну и где теперь те, кто смеялся над ним тогда?
В общем, работаем, мужики и мужичессы.
#мотивация
@Artem Gradient
Тогда ЛеКуну было 32 года. То есть не то, чтобы он был очень молодым, когда создал прорыв всей своей жизни. И после этого ещё минимум 15 лет он и его парни считались сумасшедшими аутсайдерами со своими ебучими нейронками, в которые никто не верил. Ну и где теперь те, кто смеялся над ним тогда?
В общем, работаем, мужики и мужичессы.
#мотивация
@Artem Gradient
Запрет на дипфейки в Google Colab
Появление Google Colab привело к популяризации и демократизации (модное словечко) глубокого обучения. В колабе любой желающий может получить бесплатный доступ к неплохой видеокарте и попробовать руками этот самый эйай.
Однако, сейчас наметился тренд на цензуру и контроль в сфере AI. Например, теперь в ноутбуках на Google Colab нельзя обучать и запускать модели, которые создают дипфейки - об этом написано в faq. Понятно, что коммерческая компания сама решает как будут использоваться ее ресурсы, но я противник цензуры, особенно если это касается научной сферы или технологий.
Не ясно только, как Гугл будет контролировать, что запускают в колабе. Придётся обучать какую-то языковую моделью чтобы она говорила «дипфейк или нет»? Проблема в том, что определение дипфейка можно трактовать довольно вольно.
В общем, ждём выстрела из пушки по воробьям и запрета любых нейронок, которые работают с лицами людей в каком-либо виде😤.
За новость спасибо @vlad_pedro
@Artem Gradient
Появление Google Colab привело к популяризации и демократизации (модное словечко) глубокого обучения. В колабе любой желающий может получить бесплатный доступ к неплохой видеокарте и попробовать руками этот самый эйай.
Однако, сейчас наметился тренд на цензуру и контроль в сфере AI. Например, теперь в ноутбуках на Google Colab нельзя обучать и запускать модели, которые создают дипфейки - об этом написано в faq. Понятно, что коммерческая компания сама решает как будут использоваться ее ресурсы, но я противник цензуры, особенно если это касается научной сферы или технологий.
Не ясно только, как Гугл будет контролировать, что запускают в колабе. Придётся обучать какую-то языковую моделью чтобы она говорила «дипфейк или нет»? Проблема в том, что определение дипфейка можно трактовать довольно вольно.
В общем, ждём выстрела из пушки по воробьям и запрета любых нейронок, которые работают с лицами людей в каком-либо виде😤.
За новость спасибо @vlad_pedro
@Artem Gradient
Привет, друзья! Пробую новый формат.
Подборка новостей из мира технологий (не только AI) за последнюю неделю:
- Amazon планирует избавиться от части складских помещений в США из-за снижения спроса в сфере электронной коммерции. bloomberg.com
- А также Amazon отменяет планы по строительству новых складских площадей и распределительных центров, чтобы сократить издержки. theinformation.com
- Spotify приступил к тестированию NFT. thefly.com
- У Spotify не работали подкасты в течение более 8 часов. Все из-за того, что кто-то забыл вовремя обновить SSL-сертификат в сервисе. theverge.com
- PayPal планирует интегрировать в систему все виды криптовалют и блокчейн. cointelegraph.com
- PayPal начинает сокращать персонал в целях сокращения расходов. thefly.com
- Акции Snap потеряли 43%, что является самым большим процентным снижением за всю историю (85% с максимума сентября 2021 г). wsj.com
- Nvidia говорит, что рынок игр замедляется. Компания фокусируется на сокращении расходов. reuters.com
- Apple повышает заработные платы из-за роста инфляции и конкуренции за рабочую силу. ft.com
- Alibaba, Tencent и JD com сообщили о самом медленном росте выручки за всю историю. cnbc.com
- У Baidu вышел удивительно сильный квартальный отчет. CEO Baidu: Наш облачный и интеллектуальный бизнес показал значительные результаты. Baidu AI Cloud сообщила об очередном квартале роста выручки: +45% YoY. baidu.com
- Краудсорсинговый трекер увольнений технологических стартапов Layoffs.fyi зафиксировал увольнения в 60 тех. компаниях за последний месяц, в которых было уволено более 16 000 сотрудников. protocol.com
- Илон Маск заставляет всех работников Tesla выйти в офис на работу либо увольняться. В публичном письме к работникам, он говорит, что каждый должен проводить в офисе минимум 40 часов, а все что свыше можно и из дома 😅.
@Artem Gradient
Подборка новостей из мира технологий (не только AI) за последнюю неделю:
- Amazon планирует избавиться от части складских помещений в США из-за снижения спроса в сфере электронной коммерции. bloomberg.com
- А также Amazon отменяет планы по строительству новых складских площадей и распределительных центров, чтобы сократить издержки. theinformation.com
- Spotify приступил к тестированию NFT. thefly.com
- У Spotify не работали подкасты в течение более 8 часов. Все из-за того, что кто-то забыл вовремя обновить SSL-сертификат в сервисе. theverge.com
- PayPal планирует интегрировать в систему все виды криптовалют и блокчейн. cointelegraph.com
- PayPal начинает сокращать персонал в целях сокращения расходов. thefly.com
- Акции Snap потеряли 43%, что является самым большим процентным снижением за всю историю (85% с максимума сентября 2021 г). wsj.com
- Nvidia говорит, что рынок игр замедляется. Компания фокусируется на сокращении расходов. reuters.com
- Apple повышает заработные платы из-за роста инфляции и конкуренции за рабочую силу. ft.com
- Alibaba, Tencent и JD com сообщили о самом медленном росте выручки за всю историю. cnbc.com
- У Baidu вышел удивительно сильный квартальный отчет. CEO Baidu: Наш облачный и интеллектуальный бизнес показал значительные результаты. Baidu AI Cloud сообщила об очередном квартале роста выручки: +45% YoY. baidu.com
- Краудсорсинговый трекер увольнений технологических стартапов Layoffs.fyi зафиксировал увольнения в 60 тех. компаниях за последний месяц, в которых было уволено более 16 000 сотрудников. protocol.com
- Илон Маск заставляет всех работников Tesla выйти в офис на работу либо увольняться. В публичном письме к работникам, он говорит, что каждый должен проводить в офисе минимум 40 часов, а все что свыше можно и из дома 😅.
@Artem Gradient
Forwarded from Denis Sexy IT 🤖
Media is too big
VIEW IN TELEGRAM
Одна из причин, почему я считаю что Dalle 2 / Imagen сетки всё изменят когда попадут в массы, это то, что с ними можно очень быстро создать любой «ситуативный» арт, для любой коммерческой индустрии – от Power Point презентации, до геймдева.
Представим, что я сотрудник какой-то небольшой геймдев студии который выпускает три-в-ряд для телефонов – я теперь могу наклепать за минуту кучу персонажей, посредственно их анимировать, и вот, у меня теперь есть уникальный ролик, где хомяки-киборги готовятся сразится за будущее нашей вселенной. Серьезно, Dalle 2 генерирует по 8 уникальных картинок разрешением 1024 х 1024 в минуту.
Я попросил нагенерировать мне хомяков-киборгов автора канала «Нейросети и Блендер», которому уже дали доступ к Dalle 2, так что доступы постепенно дают всем кто в списке ожидания – скоро все будем генерировать 🔥
Представим, что я сотрудник какой-то небольшой геймдев студии который выпускает три-в-ряд для телефонов – я теперь могу наклепать за минуту кучу персонажей, посредственно их анимировать, и вот, у меня теперь есть уникальный ролик, где хомяки-киборги готовятся сразится за будущее нашей вселенной. Серьезно, Dalle 2 генерирует по 8 уникальных картинок разрешением 1024 х 1024 в минуту.
Я попросил нагенерировать мне хомяков-киборгов автора канала «Нейросети и Блендер», которому уже дали доступ к Dalle 2, так что доступы постепенно дают всем кто в списке ожидания – скоро все будем генерировать 🔥
This media is not supported in your browser
VIEW IN TELEGRAM
Zoox* представила свой новый прототип автономного роботакси: вышло интересно
- Прямоугольная форма машины без водительского места и руля. В США как раз недавно разрешили делать беспилотные машины без возможности ручного управления.
- Датчики на каждом углу роботакси, что позволяет аппарату видеть практически все, включая слепые зоны.
- Каждый из этих датчиков имеет поле зрения 270 градусов. Поскольку они стоят на каждом углу и имеют пересекающиеся углы обзора, то мы можем не только видеть все на 360 градусов, но и как бы заглянуть за объекты.
- Салон нафарширован дисплеями, внутри можно даже заряжать свой лэптоп.
- По словам тестировщика, ехать в этой бричке скучно. Что есть хорошо, ведь мы хотим заняться своими делами (чтение, работа, общение) во время комьюта.
*Дочка Амазона.
@Artem
- Прямоугольная форма машины без водительского места и руля. В США как раз недавно разрешили делать беспилотные машины без возможности ручного управления.
- Датчики на каждом углу роботакси, что позволяет аппарату видеть практически все, включая слепые зоны.
- Каждый из этих датчиков имеет поле зрения 270 градусов. Поскольку они стоят на каждом углу и имеют пересекающиеся углы обзора, то мы можем не только видеть все на 360 градусов, но и как бы заглянуть за объекты.
- Салон нафарширован дисплеями, внутри можно даже заряжать свой лэптоп.
- По словам тестировщика, ехать в этой бричке скучно. Что есть хорошо, ведь мы хотим заняться своими делами (чтение, работа, общение) во время комьюта.
*Дочка Амазона.
@Artem