Мда, рыночек ошибок не прощает. Демка Bard обошлась Гуглу в 120 млрд долларов. И это не считая расходов на разработку 🥸. OpenAI, как закрытая компания (простите за каламбур), может себе позволить бóльшие риски с экспериментами.

Кстати, Андрей Карпатый возвращается в OpenAI. Напомню, что до этого он был один из AI директоров в Tesla, а в последнее время просто делал видосы на ютубе.

@ai_newz

Кстати, в комментах спрашивали, нахрена Microsoft интегрирует ChatGPT в свой браузер. Так вот вам ответ.

Модель прямо в браузере может суммаризировать 15-страничные PDF-ки и отвечать на вопросы по тексту документа. Довольно удобно, если работаешь с огромной свалкой статей или документов статей.

@ai_newz

Нейродайджест за неделю (#7)

Неделя получилась горячая, наверно никого не обошли новости противостояния титана поиска Гугла и цунами ChatGPT и ее внедрение в Bing.

Если вдруг вы что то пропустили:

📈 Майкрософт внезапно организовал закрытый ивент, на котором представили обновленный поисковик Bing и бразуер Edge, которые теперь обладают силой ChatGPT. Сейчас чтобы попробовать новый Bing нужно записаться в лист ожидания.

📉 Следом и Гугл организовал свой ивент, на котором рассказал про свою подобную модель Bard. Однако мероприятие обратилось провалом: из за фактологической ошибки в сгенерированном ответе, акции компании обрушились, а сотрудники стали клепать мемы про CEO.

Очень интересно попробовать новый Bing в деле. Пока, кажется, что обычный ChatGPT отвечает получше поисковиков, основынных на LLM (хоть и врёт иногда).

❱❱ Читать предыдущий нейродайджест

#дайджест
@ai_newz

Мне уже набили оскомину все эти генерации картинок и текста. Давайте поговорим о спорте.

Там нет такого хайпа, но в профессиональном спорте уже приличное время применяются нейронки для анализа, подведения статистики и выявления нарушений. Где-то в канале был пост про применение сетей на олимпийских играх, но лень искать.

А стартапчик jabbr.ai фокусируется на анализе бокса.

Для каждого боксера ведётся 50 различных метрик: удары, работа ногами, баланс, и т.д. Удивительно, как много всякой статистики можно вытащить нейронками. Хотя нет, это уже не удивительно 😄.

@ai_newz

🔥 Один челик в инсте уже протестировал сетку Gen-1 для стилизации видео. О Gen-1 я недавно рассказывал тут.

Выглядит прям огонь! Для криэйтеров и артистов самое то.

На вход видео и стилевая картинка (она снизу). Кстати, стилевые картинки чел сгенерил в Midjorney.

@ai_newz

И вот ещё одна стилизация с помощью Gen-1 от donalleniii.

Довольно стабильная картинка, хотя и камера почти не движется, а это самый лёгкий кейс (говорю как эксперт по стилизации с помощью нейронок).

@ai_newz

Красиво сказал.

Ещё Лекун верит, что появятся новые более умные системы, и они не будут основаны на авторегрессионных LLM, как сейчас. Очень жду!

@ai_newz

Истерия с чат-ботами?

Micorosoft: Вкидывает $1 млрд в OpenAI, и инвестирует ещё $10 млрд сверху и пытается интегрировать ChatGPT и прочие языковые системы OpenAI в свои продукты. Надеются отожрать пару процентов рынка поиска у Гугла. Сейчас Bing-у принадлежит всего 3% поисковых запросов, но они оценивают эффект от получения каждого дополнительного процента на рынке поиска в +$2 млрд долларов годового оборота для компании. Ставки высоки. Недавно вышел казус с их ботом в Bing – его подвергли промпт-инъекции и выудили его внутренний свод правил.

Google: Видя успех ChatGPT и то, как в него запускают свои пальцы мелкомягкие, в Google начинают колотиться и пытаются выкатить в поиск своего чат-бота Bard, основанного на скандальной модели LaMDA (та от которой один из гугловкий инженеров поехал кукушкой в прошлом году). Но PR-компания Bard-a зашкваривается из-за глупости маркетологов, которые не проверили результаты генерации перед тем, как постить их в твиттер.

Baidu: В Китае тоже могут, поэтому они анонсировали своего чат-бота Ernie 3.0 Titan с 260 миллиардами параметров на базе их линейки моделей Ernie (об ERNIE-ViLG 2.0 для генерации изображений я писал тут). В итоге акции компании взлетают на 13% за день.

Идет какая-то нездоровая лихорадка с чат-ботами. Учитывая, что даже гиганты индустрии еще не готовы к финансовым тратам, которые потребуются для поддержания модели уровня ChatGPT в проде на всех пользователей. К примеру, гуглу инференс такой модели в проде обошёлся бы в $35 миллиардов в год, что примерно 65% текущего годового профита всего Гула. В этом блоге приведен интересный анализ этих расходов. Более того, пока не очень понятно как эффективно пропихивать рекламу в чат-боте.

@ai_newz

Buzz words уходят и приходят. А AI, стоящий за ними, остаётся все тем же.

Справедливость ради, поделом энэфтишкам — я считаю, что это был полный мрак.

@ai_newz

Откуда AI хайп и почему именно сейчас?
И немного баек от меня.

Я начал заниматься Deep Learning в 2015 году, когда переехал в Германию. Даже тогда, когда уже прошло 3 года после появления культовой архитектуры AlexNet, еще не все из научного мира купили идею нейронных сетей. В нашей научной группе CompVis (где зародился Stable Diffusion) проф был из тех, кто еще не полностью поверил в силу Deep Learning, и и поэтому первые 3-4 месяца я большую часть своего времени провел за работой с SVM (Support Vector Machine)

Но, с первых дней я понемногу начал поглядывать и на нейросети вместе со своими постдоком. TensorFlow тогда еще не было, а правил бал Caffe из Berkeley AI Research – ужасно неудобный фреймворк, где сеть нужно было определять в protobuf файле из набора заготовленных слоев. Ни о каком autograd и речи не шло. В 2016 на NeurIPS вышла моя статья CliqueCNN про self-supervised learning, и она была первой статьей по нейросетям из нашей научной группы.

В общем, я к тому, что Deep Learning с нами уже довольно давно (ну, или не так давно, смотря как посмотреть), и трансформеры, то на чем строятся все современные языковые модели, изобрели в далеком 2017 году, но дикий хайп пошел только в 2023. Я за хайпом никогда не шел, и когда начинал PhD, о нейросетях не кричала каждая собака в твиттере. В 2019 году мне показалось: “Ну, вот сейчас пик популярности AI и Deep Learning, смотри как StyleGAN завирусился”. Но это был мой пузырь, и высокая популярность нейросеток тогда была только внутри научного мира. Появилась куча AI программ и толпы студентов пошли изучать такие sexу предметы, как Machine Learning и Data Science. Это было только начало.

Ну а теперь, в 2023, я вообще в шоке от того, что происходит. Все как будто с цепи сорвались с этим ChatGPT и китайскими клонами. Мне за последние две недели 4 раза предлагали дать интервью в разные онлайн издания по поводу AI. Забавно наблюдать FOMO не только у людей, но и у крупных технологических компаний, которые готовы рисковать репутацией, лишь бы запрыгнуть в хайп-трейн. Самое смешное, так это то из-за чего этот хайп формируется. По сути технология за ChatGPT не является прорывной, никакой AGI изобретен не был. Все что произошло — так это, OpenAI смогли красиво обернуть свою модель (за это им стоит отдать должное) и дать потрогать ее массе обывателей, далеким от технологий. Вот тут люди, которые не понимают как это все работает, очнулись и иcпытали катарсис. Про AI стали говорить из каждого утюга, гуру учат зарабатывать с помощью ChatGPT, а VC закричали “возьмите наши бабки”. Ведь, то что ты не понимаешь тебе кажется магией, и для многих ChatGPT действительно выглядит как что-то из будущего. Да, инструмент оказался полезный, и уже может автоматизировать некоторую рутинную работу с текстом и кодом. Но магического там мало – линейная алгебра, бро. И до того как чат-боты перестанут нести пургу с уверенным лицом и действительно поймут, как устроен наш мир, пройдет еще несколько лет (предсказание сугубо оптимистическое и неконкретное).

Так что, друзья, давайте лучше будем разбираться в технологиях, а не бежать за хайпом. Для этого мы тут и собрались.

#карьера #мойпуть

@ai_newz

Нейродайджест за неделю (#8): Немного нового хайпа о языковых моделях

⚖️ 7-я крупнейшая юридическая компания интегрирует чатбот на базе LLM для своих 3.5 тыс сотрудников
Harvey - чатбот стартап, получивший $5M от OpenAI, специализированный для помощи юристам. Похоже, что не только айтишников будут увольнять.

🌌 Языковая модель на базе State Space Models (SSM)
Челы из Стенфорда опубликовали статью, где показали что SSM модель способна выдавать качество, сравнимое с моделями на базе трансформеров (на общих задачах), однако, обладает большей длительностью памяти и работает x2 быстрее. Интересный поворот, SSM – это прямо новая кровь. Вот статья и видео-разбор с авторами.

🏆 У Google подгорает. Нужно срочно улучшить качество чатбота, а в публичный тест модель не выкатить. Придумали выдавать ачивки своим сотрудникам, которые помогают исправлять ответы Bard (для RLHF). Геймификация наше все!

😰 Bing бот оказался гопником.
Появились видео, на которых бот ведет себя весьма токсично, к тому же затирает сообщения (это фича такая). Похоже, модель еще уязвима к разного рода промпт-атакам, и, кажется, еще весьма сырая для прода.

🧐 Минута ясности в пучине новостей про языковые модели, обзор текущей ситуации: стратегии Google, Microsoft, Baidu, и цена инференста модели с миллиардами параметров для миллиардов запросов [прыгнуть на пост]

❱❱ Читать предыдущий нейродайджест

#дайджест
@ai_newz

🔥 Lion: EvoLved Sign Momentum - новый оптимайзер от Гугла

Google нашел новый алгоритм оптимизации при помощи Symbolic Search (завтра объясню, что это такое). Новый оптимайзер тупо мониторит momentum, а размер финального апдейта весов считается как sign(grad (1-β1) + β1 momentum). То есть апдейт для каждого элемента весов равен либо -1 * LR либо +1 * LR!

train(weight, gradient, momentum, lr):
update = interp(gradient, momentum, β1)
update = sign(update)
momentum = interp(gradient, momentum, β2)
// Тут я пропустил weight decay для простоты
update = update * lr
return update, momentum

Просто волосы дыбом от тупости Lion, но он дает серьезные улучшения в скорости сходимости, да и в найденных локальных минимумах. Рвет и обычную классификацию и языковые модели и диффузионные.

Чем больше батч, тем лучше работает Lion. Еще он более устойчив к различным выборам гиперпараметров по сравнению с AdamW.

Уже попробовал на свои задачах, вроде работает!

❱❱ Код на PyTorch, JAX и TF

@ai_newz

Че за Symbolic Search и как он ищет новые оптимизаторы?

Условно, Symbolic Search — это Эволюционый Поиск для программ на стероидах. Параллельно запускается целая популяция программ. Из них выбираются те, что лучше всего перформят на целевой задаче (в нашем случае — это оптимизация нейронок). Далее к лучшим применяются мутации, то есть в них случайным образом менется часть кода. И цикл продолжается.

Через много-много сожженных МВатт⋅часов мы получаем финальную програму с наилучшим перформансом на целевой задаче.

Для любопытных — подробности в блогпосте AutoML-Zero от гугла (2020).

@ai_newz

😎Avaturn: полный 3D аватар по трем селфи лица.

Мои кенты из стартапа in3D запустили новый продукт https://avaturn.me. Я участвовал в стартапе на его ранних порах в 2019, поэтому плотно слежу за его успехами. Disclaimer: это не реклама, потому что у меня нет никаких акций.

По трем селфи фоткам строят реалистичный аватар головы, далее вы можете выбрать себе тело, одежду и стиль причёски. На выходе получаем fully-rigged 3D аватар, который можно анимировать и экспортировать хоть куда. Круто, что всё работает в вебе и не нужно ставить никакую аппку.

Я протестил на себе, результат вы можете видеть на видео 😁.

Анонс в Твиттере: ссылка.
Лайк/репост приветствуется!

@ai_newz

Нейродайджест за неделю (#9):

Я нечасто постил на прошлой неделе, однако произошло много интересного. Вот тут несколько хайлайтов.

🔥 LLaMA - новая языковая модель от Meta AI
LLaMA - семейство моделей (7, 13, 33 и 65 млрд параметров). При том, что количество параметров у LLaMA на порядок меньше, она может превосходить GPT-3 по качеству на бенчмарках. Что не менее важно, Meta релизит веса для исследователей.

🛞 Стартап Амазона Zoox, производящий автономные такси, получил разрешение на поездки
В машине полностью отсутствует руль и педали. Однако, пока что, тестирование на дорогах общего пользования сильно ограничено: ездить можно только по выходным, не более 65км/ч и только в отведенных районах.

🤗 Библиотека PEFT от Hugging Face для эффективного файн-тьюнинга
PEFT интегрирован с HF Accelerate и позволяет оптимизировать только часть параметров, что значительно экономит необходимые ресурсы. Как прмер, авторы приводят файнтьюнинг bigscience/T0_3B (3B params), для которой требования VRAM снизились с ~50Gb до 15Gb.

⚡Либа FlexGen позволяет запустить огромную языковую модель типа OPT-175B/GPT-3 на одной видеокарте 16 GB VRAM. Вот только нужно 200Gb оперативки.

📈 Трендовый гайд по промпт-инженерингу
Хочешь красивую генерацию – люби и промпты подбирать. В репе есть примеры инженеринга промтов для разных задач, а так же лекция и другие материалы на тему.

👀 Grid-search по лекарствам против рака с помощью Компьютерного зрения.
Ученые испытывали препараты не на раковом больном, а параллельно на десятках образцах его тканей. При этом, за изменениями в целевых клетках, наблюдала нейронка, которая позволяла отмечать даже малые изменения в клетках после терапии. В итоге смогли найти подходящее лекарство, про которое раньше даже и не думали, и у пациента началась ремиссия.

🔎 Google нашел новый эффективный оптимайзер – Lion. [Пост]

❱❱ Читать предыдущий нейродайджест

#дайджест
@ai_newz

RelightableHands: Efficient Neural Relighting of Articulated Hand Models

Reality Labs Research выпустила статью (принята на CVPR 2023) про нейронный рендеринг и релайтнинг рук. Знаю второго автора лично. Очень классные результаты.

Новая модель частично основана на технологии, которая используется в Codec Avatars.

Сайт проекта
Видео презентация

@ai_newz

А вот и демонстрация RelightableHands из поста выше.

@ai_newz

Как я уже упоминал, OpenAI пытается позиционировать себя как продавец API к своим жирным SOTA моделям, ведь продукта то у них никакого нет.

Так вот сегодня они наконец открыли публичный API к своим ChatGPT и Whisper (распознавалка речи). Конечно, это не бесплатно. Но теперь любой может встроить AI-бота в свое приложение без усилий.

Одним из первых подсуетился Snap и уже запилил AI-друга для всех скучающих в Снэпчате. С ним можно поболтать, когда чувствуешь себя одиноко. Видимо с живыми пользователями в Снэпчате не очень 🌚

В Ереване 6-7 марта пройдет 6-я конференция OpenTalks.AI по ML/DL. Для тех, кто раньше не слышал о ней, конфа независимая и организует ее известный в узких кругах и приятный человек Игорь Пивоваров.

Кроме традиционных блоков по CV, NLP и RL, в этом году еще новый блок по генеративным и диффузионным моделям. В каждом блоке большой обзор SOTA работ и секции по разработке и бизнесу.

Будет более 100 докладчиков, в том числе будут люди из Google, NVIDIA, Huawei, и др. Из Google Brain, например, будет Алексей Досовитский (топовый ресерчер с 45k+ цитирований). Спикеры будут в основном русскоязычные.

Жаль, сам я не смогу прилететь, потому что надо батрачить над статьями для ICCV. А так бы затусили в Ереване.

Вот тут вся программа.

@ai_newz

🎙Сегодня у меня был первый опыт записи подкаста! И мне очень зашло, может стоит делать это более часто.

Меня пригласили записать подкаст про нейронную музыку, ну и порассуждать про AI в общем смысле. К середине марта выпуск будет готов, тогда опубликую подробности и ссылки.

@ai_newz