🦩Нейросеть Flamingo на собесе по Deep Learning
Недавно общался с GPT-3 175B по поводу Deep Learning. Задавал вопросы, которые обычно возникали, когда я собесил на DL позицию. Ответами я был удивлен. Все было очень хорошо. Но можно и возразить, мол «GPT-3 съела большой кусок интернета. Что ей ваш Deep Learning?»
Но вот на днях увидел как Flamingo 🦩 от DeepMind справляется с visual question-answering по fully-connected нейронке. И тут уже не скажешь, что Flamingo просто выплевывает заученные ответы про эти ваши SwiGLU активации и пр. Тут хоть вопрос и простой, но требует понимания того, что на картинке. Да еще и инференс-флоу в режиме диалога, браво!
📑 Flamingo DeepMind 2022 PDF
🗄 Arxiv
💻 Code / lucidrains
Недавно общался с GPT-3 175B по поводу Deep Learning. Задавал вопросы, которые обычно возникали, когда я собесил на DL позицию. Ответами я был удивлен. Все было очень хорошо. Но можно и возразить, мол «GPT-3 съела большой кусок интернета. Что ей ваш Deep Learning?»
Но вот на днях увидел как Flamingo 🦩 от DeepMind справляется с visual question-answering по fully-connected нейронке. И тут уже не скажешь, что Flamingo просто выплевывает заученные ответы про эти ваши SwiGLU активации и пр. Тут хоть вопрос и простой, но требует понимания того, что на картинке. Да еще и инференс-флоу в режиме диалога, браво!
📑 Flamingo DeepMind 2022 PDF
🗄 Arxiv
💻 Code / lucidrains
❤42🔥13👍9
🦩 Flamingo от DeepMind это вам не шутки шутить
Помните этот пример из cs231 курса по сверхточным сетями от Stanford? Пример привел Andrej Karpathy (Tesla), понимание которого, можно рассматривать как один из серьезных бенчмарков для ИИ.
Еще совсем «недавно», в каком-то «далеком» 2016-2017 казалось, что, процитирую Justin Johnson’а, «Наши алгоритмы компьютерного зрения очень далеки, как я думаю, от действительно глубокого понимания изображений»
👉 тот самый момент https://youtu.be/vT1JzLTH4G4?t=47m51s
Помните этот пример из cs231 курса по сверхточным сетями от Stanford? Пример привел Andrej Karpathy (Tesla), понимание которого, можно рассматривать как один из серьезных бенчмарков для ИИ.
Еще совсем «недавно», в каком-то «далеком» 2016-2017 казалось, что, процитирую Justin Johnson’а, «Наши алгоритмы компьютерного зрения очень далеки, как я думаю, от действительно глубокого понимания изображений»
👉 тот самый момент https://youtu.be/vT1JzLTH4G4?t=47m51s
🔥92👍9❤3
👟 Дизайн в эпоху Нейромодерна
Нейронные сети могут стать архитекторами новых форм продолжения человека в вещах. Экстенсия — процесс в который мы так или иначе вовлечены с рождения и до самой смерти. Экстенсия — форма взаимодействия между Я и вещью. Хороший дизайн позволяет сделать бесшовной подобную экстенсию, интерфейс между человеком и вещью.
Задача нейромодерна — переосмысление интерфейса «Я — вещь». Нейродизайнер находится в авангарде. Чтобы стать нейромодернистом, прежде всего, нужно стать исследователем.
Благодаря развитию новых способов коммуникации, искусственному интеллекту и нейроморфингу возможен выход за пределы «конечности», и быть может, это основная цель нейромодерна и интерфейса «Я — вещь».
Библиография
Gilles Deleuze. Le Zéro et le Noé: Essai sur une existence vers une nécessité de l'existence. Paris: Payot, 1979.
Paul Feyerabend. Response to the Manifesto of a Certain Author. Imagination, vol. 3, no. 1, pp. 1–28.
p.s.: сгенерировано все кроме названия, включая список литературы
Нейронные сети могут стать архитекторами новых форм продолжения человека в вещах. Экстенсия — процесс в который мы так или иначе вовлечены с рождения и до самой смерти. Экстенсия — форма взаимодействия между Я и вещью. Хороший дизайн позволяет сделать бесшовной подобную экстенсию, интерфейс между человеком и вещью.
Задача нейромодерна — переосмысление интерфейса «Я — вещь». Нейродизайнер находится в авангарде. Чтобы стать нейромодернистом, прежде всего, нужно стать исследователем.
Благодаря развитию новых способов коммуникации, искусственному интеллекту и нейроморфингу возможен выход за пределы «конечности», и быть может, это основная цель нейромодерна и интерфейса «Я — вещь».
Библиография
Gilles Deleuze. Le Zéro et le Noé: Essai sur une existence vers une nécessité de l'existence. Paris: Payot, 1979.
Paul Feyerabend. Response to the Manifesto of a Certain Author. Imagination, vol. 3, no. 1, pp. 1–28.
p.s.: сгенерировано все кроме названия, включая список литературы
🔥45👎10❤2👍2
😒 1,017 избранных получили доступ к DALL•E 2 от OpenAI или 10 шагов успеха
Вообще интересное время:
- Выпускаешь реально крутую сеть
- Делаешь блог пост с хайповыми примерами
- Заводишь страницы сетки в соцсетях
- Сначала постишь сам с коллегами, хайпуешь в твиттере и инсте
- Создаешь вейтлист, и делаешь пост о том, что теперь попробовать сможет Каждый
- Не забудь: в вейтлсите необходимо (не)обязательное поле: ссылка на социальные сети
- Если человечек — инфлюенсер, то делаешь ему приятно. Даёшь доступ.
- Обязательно делаешь перепосты, лайкаешь и показываешь, что вот оно: демократизация ИИ. Очевидный плюс: их посты приведут инфлюенсеров покрупнее!
- Делаешь еженедельные акции, типа пришли в директ (лучше чем в комменты) свой варинт. Осчастливь пару подписчиков из не инфлюенсеров, но публично. А то как об этом узнают.
- Наслаждайся, ведь хайп превыше всего.
p.s.: а да, чуть не забыл: ссылка на вейтлист, вдруг тебе повезет, любимый подписчик 😉
👉 https://labs.openai.com/waitlist
Вообще интересное время:
- Выпускаешь реально крутую сеть
- Делаешь блог пост с хайповыми примерами
- Заводишь страницы сетки в соцсетях
- Сначала постишь сам с коллегами, хайпуешь в твиттере и инсте
- Создаешь вейтлист, и делаешь пост о том, что теперь попробовать сможет Каждый
- Не забудь: в вейтлсите необходимо (не)обязательное поле: ссылка на социальные сети
- Если человечек — инфлюенсер, то делаешь ему приятно. Даёшь доступ.
- Обязательно делаешь перепосты, лайкаешь и показываешь, что вот оно: демократизация ИИ. Очевидный плюс: их посты приведут инфлюенсеров покрупнее!
- Делаешь еженедельные акции, типа пришли в директ (лучше чем в комменты) свой варинт. Осчастливь пару подписчиков из не инфлюенсеров, но публично. А то как об этом узнают.
- Наслаждайся, ведь хайп превыше всего.
p.s.: а да, чуть не забыл: ссылка на вейтлист, вдруг тебе повезет, любимый подписчик 😉
👉 https://labs.openai.com/waitlist
👍28😢14❤2
Forwarded from Derp Learning
Удобный интерфейс к text-image датасетам LAION 400m и 5B (400млн и 5млрд картинок соответственно)
Вводите текстовый запрос, CLIP находит нужные картинки, качаете табличку со ссылками, скачиваете и вуаля - датасет готов.
Тык
Вводите текстовый запрос, CLIP находит нужные картинки, качаете табличку со ссылками, скачиваете и вуаля - датасет готов.
Тык
👍25🔥2
🦅🗽 Prompt engineering генеративные трюки работают и для DALL•E 2!
Помните в безобидном 2021ом была такая мода — генерить картинки, используя связку из VQGAN и CLIP, приписывая «unreal engine, trending on artstation».
Prompt трюки заслужили места в истории нейро(де)генеративного искусства. Появилась даже галлерея того, как prompt-конкатенации влияют на результат генерации.
Прелесть подобного подхода в том, что можно «выехать» из-за стилистики. Это как если бы художник, писатель или музыкант использовал популярную в этом сезоне форму, запихивая в нее свое уникальноегосодержание. Как сказал поэт: «Культура это палимпсест: один ******, другой поест».
Так вот, подобное стилистическое жонглирование возможно благодаря умной сети CLIP, которая умеет отличить Моне от Мане. А decoder в DALL•E 2 это unCLIP. Так что набиваем голову prompt трюками и развиваем чувство прекрасного.
e.g. картина по запросу: «A bald eagle perched atop a NYC skyscraper, concept art, artstation, unreal engine, 3d render, HD, Bokeh»
Помните в безобидном 2021ом была такая мода — генерить картинки, используя связку из VQGAN и CLIP, приписывая «unreal engine, trending on artstation».
Prompt трюки заслужили места в истории нейро(де)генеративного искусства. Появилась даже галлерея того, как prompt-конкатенации влияют на результат генерации.
Прелесть подобного подхода в том, что можно «выехать» из-за стилистики. Это как если бы художник, писатель или музыкант использовал популярную в этом сезоне форму, запихивая в нее свое уникальное
Так вот, подобное стилистическое жонглирование возможно благодаря умной сети CLIP, которая умеет отличить Моне от Мане. А decoder в DALL•E 2 это unCLIP. Так что набиваем голову prompt трюками и развиваем чувство прекрасного.
e.g. картина по запросу: «A bald eagle perched atop a NYC skyscraper, concept art, artstation, unreal engine, 3d render, HD, Bokeh»
🔥18👍1
Forwarded from ExMuffin
This media is not supported in your browser
VIEW IN TELEGRAM
🐶 PetBreeder 1.1 🐱
Если (ну вдруг) у вас когда-либо возникало желание взглянуть на себя в облике пёселя или кошары, то сейчас появилась прекрасная возможность. Почему я это собрал? Дело в том, что я наткнулся на стайлгановские веса ffhq, дотюниные собачим и кошачим датасетами, которые дают весьма хорошие результаты и при этом «черты» лица человека (с входного изображения) сохраняются. Разве это не повод сделать что-нибудь забавное? Плюс сейчас такое время, когда в опенсорсе мало интересных проектов. В общем, по ссылке ниже можно генерировать как простое изображение своего психологического питомца, так и анимацию морфинга.
P.S. время удобства колаба медленно, но верно уходит. Возможно следующую нейронку соберу каким-нибудь градио, но не факт. Плюс хотел бы все-таки постить время от времени что-то новостное, обзорное, образовательное или тому подобное. А то канал пустует, а мне иногда есть что рассказать.
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/PetBreeder.ipynb
Если (ну вдруг) у вас когда-либо возникало желание взглянуть на себя в облике пёселя или кошары, то сейчас появилась прекрасная возможность. Почему я это собрал? Дело в том, что я наткнулся на стайлгановские веса ffhq, дотюниные собачим и кошачим датасетами, которые дают весьма хорошие результаты и при этом «черты» лица человека (с входного изображения) сохраняются. Разве это не повод сделать что-нибудь забавное? Плюс сейчас такое время, когда в опенсорсе мало интересных проектов. В общем, по ссылке ниже можно генерировать как простое изображение своего психологического питомца, так и анимацию морфинга.
P.S. время удобства колаба медленно, но верно уходит. Возможно следующую нейронку соберу каким-нибудь градио, но не факт. Плюс хотел бы все-таки постить время от времени что-то новостное, обзорное, образовательное или тому подобное. А то канал пустует, а мне иногда есть что рассказать.
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/PetBreeder.ipynb
❤15👍12
Forwarded from addmeto (Grigory Bakunov 🧪)
Ian Goodfellow, бывший директор по ИИ в Apple вышел на новую работу. Обошлось без сюрпризов, он вышел на работу в Гугл, в отделение DeepMind. По сути, Гудфеллоу пробыл в эппле всего 2 года и вернулся в Гугл из-за того, что Тим Кук начал загонять всех обратно в офисы.
Так, из-за непонимания культуры и желаний технарей Эппл потеряли своего самого именитого и громкого специалиста по машинному обучению. Поучительно для всех, мне кажется https://www.bloomberg.com/news/articles/2022-05-17/ian-goodfellow-former-apple-director-of-machine-learning-to-join-deepmind
Так, из-за непонимания культуры и желаний технарей Эппл потеряли своего самого именитого и громкого специалиста по машинному обучению. Поучительно для всех, мне кажется https://www.bloomberg.com/news/articles/2022-05-17/ian-goodfellow-former-apple-director-of-machine-learning-to-join-deepmind
Bloomberg.com
Apple Executive Who Left Over Return-to-Office Policy Joins Google AI Unit
Ian Goodfellow, a former director of machine learning at Apple, is joining DeepMind.
👍24
Forwarded from AI для Всех
Очень интересный тред про пошаговый дизайн промпта для GPT-3. Возможно большие языковые модели гораздо умнее, чем мы думали.
👍29🔥1
💻🚀 PyTorch с поддержкой GPU на Mac | Дождались!
Случилось! Команда PyTorch в сотрудничестве с командой разработчиков Metal в Apple объявили о поддержке PyTorch с ускорением на GPU на Mac.
До сих пор обучение PyTorch на Mac использовало только CPU, но с предстоящим выпуском PyTorch v1.12 разработчики и ресерчеры могут использовать преимущества графических процессоров Apple для значительно более быстрого обучения моделей локально прямо на своем Mac.
🔥 PyTorch Blog Post
Случилось! Команда PyTorch в сотрудничестве с командой разработчиков Metal в Apple объявили о поддержке PyTorch с ускорением на GPU на Mac.
До сих пор обучение PyTorch на Mac использовало только CPU, но с предстоящим выпуском PyTorch v1.12 разработчики и ресерчеры могут использовать преимущества графических процессоров Apple для значительно более быстрого обучения моделей локально прямо на своем Mac.
🔥 PyTorch Blog Post
❤54🔥20👍9
😏 Супер апдейт от OpenAI: «Мы будем хайповать весь год, твиттер и инстаграм заполнится картинками DALL•E 2, а твоя душа — завистью»
«Офигенная» новость отOpenAI. Сегодня они опубликовали апдейт. Основные мысли:
▪️За два месяца мы дали доступ 1000 юзерам. Они сгенерили 3,000,000 картинок.
▪️Каждую неделю мы будем давать доступ ещё 1000 блогерам, так что хайповать мы будем знатно, и главное долго. Да ещё и чужими руками.
▪️Официально мы прикрываемся безопасностью, а то вдруг кто-то сиськи снегирит, не дай бог. И постоянно улучшаем наш фильтр: все ради новой этики.
▪️Бла-бла-бля с safety даёт нам возможность сказать: что мы не ради хайпа блогерам даём доступ: они помогают улучшать систему, они ответственные и полезные.
▪️Всего лишь 1500 картинок помечены как потенциально нарушающие нашу политику контента. Ниши операторы подтвердили, что около 450 этих изображений нарушают правила. За это мы к чертям снесли юзерам учетки.
Всего 450 “плохих” картинок от DALL•E 2, что же ты сделала «новая этика»?
«Офигенная» новость от
▪️За два месяца мы дали доступ 1000 юзерам. Они сгенерили 3,000,000 картинок.
▪️Каждую неделю мы будем давать доступ ещё 1000 блогерам, так что хайповать мы будем знатно, и главное долго. Да ещё и чужими руками.
▪️Официально мы прикрываемся безопасностью, а то вдруг кто-то сиськи снегирит, не дай бог. И постоянно улучшаем наш фильтр: все ради новой этики.
▪️Бла-бла-бля с safety даёт нам возможность сказать: что мы не ради хайпа блогерам даём доступ: они помогают улучшать систему, они ответственные и полезные.
▪️Всего лишь 1500 картинок помечены как потенциально нарушающие нашу политику контента. Ниши операторы подтвердили, что около 450 этих изображений нарушают правила. За это мы к чертям снесли юзерам учетки.
Всего 450 “плохих” картинок от DALL•E 2, что же ты сделала «новая этика»?
🔥41👎7👍6😢6❤1
❓Зачем нам ещё один DALL•E 1 | DALL•E mini❓
Тут вышло DALL•E mini. И вышло оно второй раз. Про первую прошлогоднюю версию я упоминал. И это был прям треш.
Но ребята запросили компьют, взяли огромный сет и решили сделать версию получше.
Итог: получили очередной pastgen text2image среднего качества
👉 Потестить DALL•E mini | Работает быстро
Тут вышло DALL•E mini. И вышло оно второй раз. Про первую прошлогоднюю версию я упоминал. И это был прям треш.
Но ребята запросили компьют, взяли огромный сет и решили сделать версию получше.
Итог: получили очередной pastgen text2image среднего качества
👉 Потестить DALL•E mini | Работает быстро
👍13👎1🔥1😢1