Google Research, 2022 & beyond: Language, vision and generative models

Джефф Дин — это как раз тот чел из Гугла, который компилирует и запускает свой код перед коммитом, но только чтобы проверить на баги компилятор и CPU.

Так вот Джеф написал классный блогпост, подытоживающий, что же они там наделали за 2022 год в сфере языковых моделей, CV, мультимодальный моделей и генеративок. Хорошо для чтения на досуге.

@ai_newz

Гугл пытается выкатить на публику свою диалоговую систему LaMDA, очень уж ChatGPT хайпует. Можно записаться в вейтлист на получение доступа. Я уже жду.

Тем временем сегодня Сергей Брин в первые за годы закомитил код в прод. Совпадение?

@ai_newz

🥂🍾 Нас теперь 26.000!

Очень рад видеть, как нас становится все больше и больше – энтузиастов и экспертов в эйай. Значит я пишу не зря и вы находите мой контент полезным/интересным. А это очень мотивирует.

Для новеньких: Добро пожаловать в наше уютненькое сообщество! А вот в этом посте я рассказывал про себя, и чем я занимаюсь.

Кстати, я не забыл про обещанный стрим по разбору статьи. Давайте остановимся на папирах по зрению, т.к. в этой области у меня наиболее глубокая экспертиза.

Накидайте статей в комментариях, которые бы вы хотели, чтоб я разобрал. Я сделаю шорт-лист и проведем голосование.

@ai_newz

Stanford Webinar - GPT-3 & Beyond

Вчера посмотрел эту прелестную лекцию из Стенфорда о новейших Языковых моделях. Проф С. Potts очень классно дал общий обзор языковых моделей и быстренько рассказал, как мы докатились до таких чудес как, например, GPT-3 и ChatGPT. Затем он порассуждал о том, в каких подтемах NLP можно еще что-то привнести обычному смертному, если у вас нет миллионов долларов на обучение SOTA моделей.

И вот какие актуальные темы для рисерча:
🔵 Retrival augmented in-context learning (условно, как поженить поиск и LLM)
🔵 Создание лучших бенчмарков, датасетов
🔵 "Last mile" for productive apps: Адаптация огромных моделей для конечных приложений, упрощающих жизнь
🔵 Исследования в сторону объяснения и верификации результатов, выданных LLM (огромными языковыми моделями).

Сами они в научной группе этого профа, с его слов, почти перестали тренировать модели и, кажется, занимаются промт-инженирингом и докручиванием уже натренированных LLM по вышеуказанным направлениям.

Получилась не очень тяжелая, но очень вдохновляющая лекция! Может после этого вы захотите написать диссер в области NLP. Ну, либо создать стартап.

@ai_newz

Навеяло.

@ai_newz

Стартапчик Hex Magic запилил что-то типа помощника внутри Jupyter Notebook на базе языковой модели GPT-3 либо Codex.

У парней своя платформа, которая может чуть больше чем ноутбук — там можно и питон запускать и писать скрипты на SQL, и еще что-то, и во всем этом вам будет помогать LLM.

Забавная фича у них есть — если у вас скрэшилась ячейка в ноутбуке, то можно натравить языковыю модель найти ошибку и предложить автоматический фикс. Должно быть удобно для простых ошибок типа "забыл преременную инициализировать."

Идет закрытая бета, можно стать в очередь.

Почитать их блогпост

@ai_newz

Инфоцыгане и всевозможные Гуру "зарабатывай $10000/мес, тратя час в день" добрались до AI и активно мусолят эту тему на ютубе. До этого были легкие бабки на крипте и Dogecoin, а теперь вот ChatGPT. Ведь когда есть хайп, всегда можно заработать на развесивших уши простачках.

Если бы все действительно было так просто, то они бы свои секретики заработка легких денег так не выдавали. ChatGPT — это не панацея, а инструмент.

Новые инструменты и технологии нужно изучать, чтобы идти в ногу с прогрессом и оставаться актуальным (или даже лидером) на рынке труда, но но нужно фильтровать информационный мусор.

@ai_newz

​Нейродайджест за неделю (#6)

🤓 Математические способности ChatGPT
Исследователи сравнили способности ChatGPT решать математические задачи уровня выпускника ВУЗа. Задачи формулировались на естественном языке с использованием Latex для формул, например
Suppose X is a vector space. Prove that $0x = 0 = a0$ if $x in X$ and $a$ is a scalar.
Пока что модель значительно проигрывает среднему выпускнику. Авторы так же планируют выложить датасет, так что можно будет сравнить свои скиллы против AI.

🔎 OpenAI представил тулзу для детекции сгенерированного текста
Однако в пояснении к модели явно указано, что авторы еще не оценили качество классификации досконально. Кажется, пока не очень хорошо работает.

🌟 BuzzFeed планирует использовать AI для помощи в генерации персонализированного контента
На фоне этого сообщения акции компании взлетези на 150%.

📈 Гугл планирует показать демо поискового движка с чатботом
А так же множество новых продуктов, основанных на AI. После выхода ChatGPT и объявления "code red" в Гугле, к вопросу подключились даже основатели - Сергей Брин и Ларри Пейдж, которые в последнее время отошли от дел. Сергей даже закоммитил код в прод.

📖 Семинар от Стенфорда про GPT [прыгнуть на пост]

🖌️ Появился бесплатный опенсоурсный плагин для Photoshop со Stable Diffusion
[прыгнуть на пост]


❱❱ Читать предыдущий нейродайджест

@ai_newz

Gen-1: The Next Step Forward for Generative AI

Полундра! Более качественные диффузионны модели по генерации и редактированию видео уже на подходе!

Мой одногруппник Патрик Эссер, один из авторов SD, который сейчас работает в RunwayML, выкатил новую диффузионку для видео. В основном она про стилизацию контента и изменению текстур.

♥️Модель умеет:
- Стилизовать видео по референсным картинкам стиля или тексту
- Сегментировать и изменять объект на видео по заданному промпту
- Рендерить синтетические данные в определенном стиле

💔Результаты лучше, чем то, что я видел до этого. Однако, видны и ограничения:
- В основном меняются только текстуры (а не геометрия)
- Довольно слабая консистентность текстур между соседними кадрами, если есть движение камеры (это болезнь многих Style Tranfer подходов)
- Разрешение и Детализированность сгенерированных видео все еще оставляет желать лучшего.

Конечно, это только начальные шаги развития в сфере генераци видео, и нас ждут более мощные модели!

❱❱ Сайт проекта

@ai_newz

Интересненько. У Майкрософта сегодня внезапный ивент в офисе в Редмонде. Рассказывают, про то, какие крутые ИИ продукты они строят. Только что анонсировали поиск Bing и браузер Edge с ChatGPT и шлюхами. Ещё и Copilot в Edge будет! 🤯

Вот тут прямо сейчас идёт текстовая трансляция, если интересно.

П.с., не зря я сегодня немного акций Майкрософта прикупил.

@ai_newz

Мда, рыночек ошибок не прощает. Демка Bard обошлась Гуглу в 120 млрд долларов. И это не считая расходов на разработку 🥸. OpenAI, как закрытая компания (простите за каламбур), может себе позволить бóльшие риски с экспериментами.

Кстати, Андрей Карпатый возвращается в OpenAI. Напомню, что до этого он был один из AI директоров в Tesla, а в последнее время просто делал видосы на ютубе.

@ai_newz

Кстати, в комментах спрашивали, нахрена Microsoft интегрирует ChatGPT в свой браузер. Так вот вам ответ.

Модель прямо в браузере может суммаризировать 15-страничные PDF-ки и отвечать на вопросы по тексту документа. Довольно удобно, если работаешь с огромной свалкой статей или документов статей.

@ai_newz

Нейродайджест за неделю (#7)

Неделя получилась горячая, наверно никого не обошли новости противостояния титана поиска Гугла и цунами ChatGPT и ее внедрение в Bing.

Если вдруг вы что то пропустили:

📈 Майкрософт внезапно организовал закрытый ивент, на котором представили обновленный поисковик Bing и бразуер Edge, которые теперь обладают силой ChatGPT. Сейчас чтобы попробовать новый Bing нужно записаться в лист ожидания.

📉 Следом и Гугл организовал свой ивент, на котором рассказал про свою подобную модель Bard. Однако мероприятие обратилось провалом: из за фактологической ошибки в сгенерированном ответе, акции компании обрушились, а сотрудники стали клепать мемы про CEO.

Очень интересно попробовать новый Bing в деле. Пока, кажется, что обычный ChatGPT отвечает получше поисковиков, основынных на LLM (хоть и врёт иногда).

❱❱ Читать предыдущий нейродайджест

#дайджест
@ai_newz

Мне уже набили оскомину все эти генерации картинок и текста. Давайте поговорим о спорте.

Там нет такого хайпа, но в профессиональном спорте уже приличное время применяются нейронки для анализа, подведения статистики и выявления нарушений. Где-то в канале был пост про применение сетей на олимпийских играх, но лень искать.

А стартапчик jabbr.ai фокусируется на анализе бокса.

Для каждого боксера ведётся 50 различных метрик: удары, работа ногами, баланс, и т.д. Удивительно, как много всякой статистики можно вытащить нейронками. Хотя нет, это уже не удивительно 😄.

@ai_newz

🔥 Один челик в инсте уже протестировал сетку Gen-1 для стилизации видео. О Gen-1 я недавно рассказывал тут.

Выглядит прям огонь! Для криэйтеров и артистов самое то.

На вход видео и стилевая картинка (она снизу). Кстати, стилевые картинки чел сгенерил в Midjorney.

@ai_newz

И вот ещё одна стилизация с помощью Gen-1 от donalleniii.

Довольно стабильная картинка, хотя и камера почти не движется, а это самый лёгкий кейс (говорю как эксперт по стилизации с помощью нейронок).

@ai_newz

Красиво сказал.

Ещё Лекун верит, что появятся новые более умные системы, и они не будут основаны на авторегрессионных LLM, как сейчас. Очень жду!

@ai_newz

Истерия с чат-ботами?

Micorosoft: Вкидывает $1 млрд в OpenAI, и инвестирует ещё $10 млрд сверху и пытается интегрировать ChatGPT и прочие языковые системы OpenAI в свои продукты. Надеются отожрать пару процентов рынка поиска у Гугла. Сейчас Bing-у принадлежит всего 3% поисковых запросов, но они оценивают эффект от получения каждого дополнительного процента на рынке поиска в +$2 млрд долларов годового оборота для компании. Ставки высоки. Недавно вышел казус с их ботом в Bing – его подвергли промпт-инъекции и выудили его внутренний свод правил.

Google: Видя успех ChatGPT и то, как в него запускают свои пальцы мелкомягкие, в Google начинают колотиться и пытаются выкатить в поиск своего чат-бота Bard, основанного на скандальной модели LaMDA (та от которой один из гугловкий инженеров поехал кукушкой в прошлом году). Но PR-компания Bard-a зашкваривается из-за глупости маркетологов, которые не проверили результаты генерации перед тем, как постить их в твиттер.

Baidu: В Китае тоже могут, поэтому они анонсировали своего чат-бота Ernie 3.0 Titan с 260 миллиардами параметров на базе их линейки моделей Ernie (об ERNIE-ViLG 2.0 для генерации изображений я писал тут). В итоге акции компании взлетают на 13% за день.

Идет какая-то нездоровая лихорадка с чат-ботами. Учитывая, что даже гиганты индустрии еще не готовы к финансовым тратам, которые потребуются для поддержания модели уровня ChatGPT в проде на всех пользователей. К примеру, гуглу инференс такой модели в проде обошёлся бы в $35 миллиардов в год, что примерно 65% текущего годового профита всего Гула. В этом блоге приведен интересный анализ этих расходов. Более того, пока не очень понятно как эффективно пропихивать рекламу в чат-боте.

@ai_newz

Buzz words уходят и приходят. А AI, стоящий за ними, остаётся все тем же.

Справедливость ради, поделом энэфтишкам — я считаю, что это был полный мрак.

@ai_newz

Откуда AI хайп и почему именно сейчас?
И немного баек от меня.

Я начал заниматься Deep Learning в 2015 году, когда переехал в Германию. Даже тогда, когда уже прошло 3 года после появления культовой архитектуры AlexNet, еще не все из научного мира купили идею нейронных сетей. В нашей научной группе CompVis (где зародился Stable Diffusion) проф был из тех, кто еще не полностью поверил в силу Deep Learning, и и поэтому первые 3-4 месяца я большую часть своего времени провел за работой с SVM (Support Vector Machine)

Но, с первых дней я понемногу начал поглядывать и на нейросети вместе со своими постдоком. TensorFlow тогда еще не было, а правил бал Caffe из Berkeley AI Research – ужасно неудобный фреймворк, где сеть нужно было определять в protobuf файле из набора заготовленных слоев. Ни о каком autograd и речи не шло. В 2016 на NeurIPS вышла моя статья CliqueCNN про self-supervised learning, и она была первой статьей по нейросетям из нашей научной группы.

В общем, я к тому, что Deep Learning с нами уже довольно давно (ну, или не так давно, смотря как посмотреть), и трансформеры, то на чем строятся все современные языковые модели, изобрели в далеком 2017 году, но дикий хайп пошел только в 2023. Я за хайпом никогда не шел, и когда начинал PhD, о нейросетях не кричала каждая собака в твиттере. В 2019 году мне показалось: “Ну, вот сейчас пик популярности AI и Deep Learning, смотри как StyleGAN завирусился”. Но это был мой пузырь, и высокая популярность нейросеток тогда была только внутри научного мира. Появилась куча AI программ и толпы студентов пошли изучать такие sexу предметы, как Machine Learning и Data Science. Это было только начало.

Ну а теперь, в 2023, я вообще в шоке от того, что происходит. Все как будто с цепи сорвались с этим ChatGPT и китайскими клонами. Мне за последние две недели 4 раза предлагали дать интервью в разные онлайн издания по поводу AI. Забавно наблюдать FOMO не только у людей, но и у крупных технологических компаний, которые готовы рисковать репутацией, лишь бы запрыгнуть в хайп-трейн. Самое смешное, так это то из-за чего этот хайп формируется. По сути технология за ChatGPT не является прорывной, никакой AGI изобретен не был. Все что произошло — так это, OpenAI смогли красиво обернуть свою модель (за это им стоит отдать должное) и дать потрогать ее массе обывателей, далеким от технологий. Вот тут люди, которые не понимают как это все работает, очнулись и иcпытали катарсис. Про AI стали говорить из каждого утюга, гуру учат зарабатывать с помощью ChatGPT, а VC закричали “возьмите наши бабки”. Ведь, то что ты не понимаешь тебе кажется магией, и для многих ChatGPT действительно выглядит как что-то из будущего. Да, инструмент оказался полезный, и уже может автоматизировать некоторую рутинную работу с текстом и кодом. Но магического там мало – линейная алгебра, бро. И до того как чат-боты перестанут нести пургу с уверенным лицом и действительно поймут, как устроен наш мир, пройдет еще несколько лет (предсказание сугубо оптимистическое и неконкретное).

Так что, друзья, давайте лучше будем разбираться в технологиях, а не бежать за хайпом. Для этого мы тут и собрались.

#карьера #мойпуть

@ai_newz

Нейродайджест за неделю (#8): Немного нового хайпа о языковых моделях

⚖️ 7-я крупнейшая юридическая компания интегрирует чатбот на базе LLM для своих 3.5 тыс сотрудников
Harvey - чатбот стартап, получивший $5M от OpenAI, специализированный для помощи юристам. Похоже, что не только айтишников будут увольнять.

🌌 Языковая модель на базе State Space Models (SSM)
Челы из Стенфорда опубликовали статью, где показали что SSM модель способна выдавать качество, сравнимое с моделями на базе трансформеров (на общих задачах), однако, обладает большей длительностью памяти и работает x2 быстрее. Интересный поворот, SSM – это прямо новая кровь. Вот статья и видео-разбор с авторами.

🏆 У Google подгорает. Нужно срочно улучшить качество чатбота, а в публичный тест модель не выкатить. Придумали выдавать ачивки своим сотрудникам, которые помогают исправлять ответы Bard (для RLHF). Геймификация наше все!

😰 Bing бот оказался гопником.
Появились видео, на которых бот ведет себя весьма токсично, к тому же затирает сообщения (это фича такая). Похоже, модель еще уязвима к разного рода промпт-атакам, и, кажется, еще весьма сырая для прода.

🧐 Минута ясности в пучине новостей про языковые модели, обзор текущей ситуации: стратегии Google, Microsoft, Baidu, и цена инференста модели с миллиардами параметров для миллиардов запросов [прыгнуть на пост]

❱❱ Читать предыдущий нейродайджест

#дайджест
@ai_newz