GenAI: Персональный апдейт

Несколько недель назад Марк анонсировал, что будет создана новая организация внутри Meta – GenAI, которая будет заниматься сугубо Generative AI. Наша команда покинула Reality Labs и попала в новую организацию.

Я очень рад этому событию, ведь последний год я занимался диффузионными моделями, а теперь полный газ в пол! Но на диффузии мы, конечно, не ограничиваемся и будем искать новые эффективные модели.

Ещё бонусом теперь я смогу плотнее сотрудничать с командами из FAIR, которые создали make-a-scene и make-a-video, или ту же LLaMa, потому что мы теперь с ними в одной организации.

Exciting stuff!

#карьера #мойпуть

@ai_newz

Вчера остановилась работа у тысяч программистов и копирайтеров 😢. ChatGPT упал и лежал 4 часа. Кроме того из-за бага в вэб-приложении ChatGPT произошла небольшая утечка диалогов пользователей. Но, кажется, утекли только заголовки диалогов. А сейчас, когда сервис восстановили, пропала вся история диалогов.

Вот почему никогда не стоит строить свою жизнь и работу на основе внешнего ресурса, который ты не контролируешь или можешь потерять доступ к нему без возможности восстановления – это же как картошку сажать на чужом огороде!

@ai_newz

Подписчик принес полезную ссылку. Это список ресурсов для того, чтобы начать играться/поднимать свою опенсоурсную альтернативу чатботу ChatGPT только с блэкджеком и ... что там у вас на уме.

А вот тут ещё как запускать модель LLaMA у себя на машине (да, это возможно).

@ai_newz

Nvidia GTC: новая видеокарта H100 NVL на 192 GB VRAM и другое

Для тех кто, как и я, не смотрел онлайн. Вчера была ежегодная презентация Nvidia GTC. CEO и фаундер Nvidia, Дженсен Хуанг, дал очень интересный и вдохновляющий доклад. Очень рекомендую к просмотру!

Если коротко, то NVIDIA максимально топит за AI и Generative AI в частности.

Выпустили кучу новых железяк, которые ускоряют, все что ускорялось. В том числе спаренную видеокарту H100 NVL с 192GB памяти, куда влазит GPT-3 для инференса. То есть уже можно у себя под столом развернуть такое при большом желании 😅.

Еще показали как все хорошо пользуются их решениями для крупных дата-центров с тысячами серверов.

И на последок Хуанг показал, как можно круто генерировать синтетические данные в их софте для фотореалистичных симуляций Omniverse.

Вот ссылка на 29-минутный кат доклада, где есть все самое важное.

@ai_newz

​Сopilot X: программеры, держитесь!

Команда GitHub Next решила прокачать GitHub Copilot, чтобы уделать любого программиста, ой, простите, чтобы он стал AI-помощником на всех этапах разработки. Они не только использовали GPT-4 от OpenAI, но и добавили чат и голосовые функции для Copilot, интегрировали его с пул-реквестами, командной строкой и документацией. Короче, одним словом - киберпанк. Все это обозвали Copilot X.

Copilot Chat предоставляет разработчикам ChatGPT-подобный опыт прямо в редакторе, интегрированном с VS Code и Visual Studio. Copilot Chat не просто предлагает код - он анализирует написанный разработчиком код, ошибки и становится неразлучным компаньоном в среде разработки. Таким образом, разработчик получает подробный анализ и объяснения блоков кода, может генерировать юнит-тесты и даже исправлять ошибки (см видео).

Еще выкатили GitHub Copilot для Docs - экспериментальный инструмент с чат-интерфейсом, который предоставляет AI-генерированные ответы на вопросы о документации, включая языки, фреймворки и технологии.

Copilot для пулл-реквестов: этот маленький хитрец автоматически находит тех, кто забыл о тестировании пулл-реквеста. А после, словно волшебник, предложит потенциальные тесты на выбор, чтобы наши уважаемые кодеры могли поредактировать, принять или отвергнуть их в зависимости от капризов своего проекта. Ну разве не чудо?

Также стоит отметить GitHub Copilot CLI для командной строки. Разработчики проводят много времени в терминале, и даже опытным иногда приходится листать страницы мануалов, чтобы вспомнить точный синтаксис команд. Вот здесь на помощь приходит Copilot CLI, который компонует команды и циклы, манипулирует сложными флагами, чтобы облегчить страданья разработчика.

С Copilot X, разработчики смогут увольнять некоторых коллег, ведь AI-помощник возьмет на себя их рутинные задачи. Разработка станет не только продуктивнее, но и дешевле веселее!

@ai_newz

Друзья, без паники. Пост сверху – сугубо ироничный. Конечно, никто никого из-за драного Copilot-а увольнять не станет.

По крайней мере в текущем состоянии, и пока у компаний есть легальный риск отдавать ему на анализ свой проприетарный код.

В любом случае, Copilot, GPT, LLaMa и прочие языковые модели уже могут увеличить продуктивность кодинга, и это нужно эксплуатировать!

@ai_newz

💥 Cog: ML-модели с ходу в контейнер

Я редко пишу прл ML-ops, но вчера наткнулся на обалденную либу для pet проектов. Cog - это инструмент для упаковки ML-моделей в контейнеры и оборачивания в сервис, прям всё по феншую.

Нужно только обернуть модельку в класс предиктор.

Что либа умеет:
1 Docker-образы без мучений: ты делаешь простой конфиг, Cog делает все остальное.
2 Благодаря этому, нет ебатни с CUDA.
3 HTTP-сервер с предиктором из коробки.
4 Поддержка очереди из коробки
5 Работает S3 и Google Cloud Storage.
6 Изи развернуть модель где угодно, где есть Docker.

Cog, кажется, делает все то, что мне лень делать руками. Я ведь хочу просто обучить модель, оттрейсить ее в torchscript и закинуть на сервак, чтобы дергать ее по API.

🤙 https://github.com/replicate/cog

@ai_newz

Сейчас загружал статью на arXiv. Как же бомбит от ошибок компиляции Latex и нафталинового UI на сайте! Приходится по 10 раз исправлять что-то в файлах (которые локально компилируются без проблем), и перезагружать на arXiv, и запускать компиляцию заново.

Искренне надеюсь, кто-то прикрутит туда языковую модель, которая автоматизирует все это безумие.

С другой стороны, это бесплатный архив, созданный академиками для академиков, который очень сильно продвинул открытость в науке и за счёт этого ускорил цикл обмена новыми идеями. Чего я жалуюсь?

@ai_newz

Сейчас смотрю недавнее интервью с Ильёй Сатскевером, главным ресерчером в OpenAI и кофаундером компании. Топовый чувак, которого я безмерено уважаю за его вклад в развитие AI, начиная с архитектуры Alexnet и заканчивая GPT.

Кстати, Илья родился в России и вырос в Израиле. Но потом переехал в Канаду и в 17 лет уже начал работать с Хинтоном, что и определило его научную карьеру.

Илья утверждает, что обучение глубокой модели предсказывать следующее слово в пределе может привести к очень подробному понимаю мира. Нужно только чтобы модель была очень мощная и обучающая выборка всеобъемлющая. Его мысль в том, что если ты хорошо выучил распределение слов и фраз в языке, то ты натурально уже начал понимать как устроен мир, смотря на него через призму текста.

Я не совсем согласен, ведь тут все очень зависит от того, какие тексты вошли в трейн. Вымысел может путаться с реальностью. Тогда это не является действительным понимание мира.

Бороться с галлюцинациями моделей Илья предлагает с помощью дообучения их человеческим фидбеком (RLHF). Он надеется что так они смогут научить модели не галлюцинирвать. Но это ещё предстоит поисследовать и понять, так ли это.

Видео – обязательно к просмотру всем интересующимся AI и адептам скорого прихода AGI.

@ai_newz

В продолжение к посту про интервью с Ilya Sutskever (OpenAI)

Вот ещё интересно, Илья говорит, что он согласен с ЛеКуном в том, что обучаться понимать мир проще, если есть доступ к данным из нескольких модальностей. Например текст, аудио и картинки вместе. Но в то же время он верит, что всему можно научиться сугубо по тексту, однако это будет сложнее и дольше.

Дальше он приводит интересный эксперимент. После обучения LLM, они посмотрели на эмбединги, отвечающие за цвета. Оказалось что модель, которая в глаза никогда не не видела визуальную информация, выучила такие эмбединги, где фиолетовый ближе голубому чем красный, что красный ближе к оранжевому чем фиолетовый, и т.д. И все это модель выучила только на основе текста.

Ещё Илья признает, что файнтюнинг RLHF не добавляет в модель новых знаний о мире. Модель и так уже все выучила на основе статистических паттернов в тексте во время large-scale тренировки. RLHF файнтюнинг же всего лишь "делает ответы модели более надёжными", то есть во время файнтюна модель бьют по рукам если она что-то неугодное ляпает. От себя добавлю, что RLHF так же позволяет более эффективно взаимодействовать с моделью в режиме инструкций. То есть в режим вопрос-ответ или задача-решение. Но этого, вроде как, можно достичь и без RL, а с помощью обычного self-instruct fine-tuning.

@ai_newz

🦙 LLaMa не стоит на месте

Есть уже куча примеров какие чудеса кулибины вытворяют с моделькой LLaMa. А вчера чел соорудил подобие Джарвиса, или Алексы, если хотите, прямо у себя в терминале на MacBook M1 Pro.

Причем все работает реалиайм на связке Whisper + LLaMa.

Под капотом: ggml / whisper.cpp / llama.cpp / Core ML
STT: Whisper Small
LLM: 13B LLaMA

Другой Кулибин начал прикручивать плагины от ChatGPT к опенсоурсной LLaMa. Уже работает text-retrieval плагин, и есть код.

@ai_newz

Вот пример работы LLaMa с text-retrieval плагином. Ее спросили, какой заголовок статьи, в которой опубликовали ее саму. Тут можно видеть и контекст, который генерируется плагином и выход модели.

@ai_newz

Так как все хостится локально, то можно безопасно подсунуть в модель свои личные документы и файлы (а не отправлять их на сервера OpenAI через API) и гонять лламу по ним как своего личного ассистента.

Мне, например, было бы некомфортно засылать свои емейлы в чатгпт. А вот в локальную копию Лламы я бы их загрузил.

Ллама, конечно, ещё послабее чем GPT-4, но ещё не вечер. Думаю, в опен-соурсе в ближайшее время появится что-то сравнимое с ChatGPT, благо есть много открытых инициатив. Народ продолжает допиливать LLaMa-Alpaca, ведется сбор датасетов в рамках Open Assistant, и ещё парочка других инициатив.

Могли бы вы представить 3 месяца назад, что сможете запускать в реальном времени большую языковую модель у себя на макбуке да и ещё по сути зарепродюсить голосового помощника типа Алексы?

Скорость прогресса просто mind-blowing!

@ai_newz

Как же замечательно, что сейчас столько новых экспертов по эйай появилось!

@ai_newz

С опозданием на 4 месяца, но я таки залил нашу NeurIPS 2022 статью VisCo Grids про 3D реконструкцию поверхностей на arXiv.

https://arxiv.org/abs/2303.14569

@ai_newz

Я недавно писал, что ChatGPT не очень юзабельна для серьезных вещей из-за наплевательского отношения на приватность данных.

Вот итальянцы уже заблокировали ChatGPT у себя в стране из-за того, что бот не соответствует GDPR. Итальянский орган по защите данных дал OpenAI 20 дней на то, чтобы объяснить, как они собираются устранить их опасения. Если они не справятся, то им грозит штраф в 20 миллионов евро или даже до 4% от годового оборота. Не шутка!

Думаю, что скоро могут подтянуться и другие страны Евросоюза.

Говорю же, нужно поднимать свою реплику LLM дома, под столом.

@ai_newz

LLaMa 30B на 6GB RAM

Блин, как здорово, когда что-то в опен-соурсе допиливается коллективным разумом до невероятных результатов.

Чел отимизировал загрузку весов в LLaMa.cpp с помощью mmap, и теперь инференс 30B модели можно гонять на CPU на Линуксе, используя меньше 6 GB RAM 🤯. Скорость холодного запуска модели тоже серьезно возросла.

Сами веса 4-bit квантизованной LLaMa 30B занимают 20 GB на диске, но после оптимизации, со слов автора пул-реквеста,  при загрузке модель дает всего 4GB футпринт в RAM. Всё благодаря ленивому чтению с помощью mmap, который подгружает с диска в RAM только нужные в текущий момент страницы памяти.

Каждый день мы видим новые оптимизации и трюки. Модели становятся меньше, быстрее и мощнее, что расширяет их область применения и доступность. Это не может не радовать. Не все же закрытому AI OpenAI у себя в закромах держать.

@ai_newz

С прошедшим днём Смеха, и с ещё одним днём без AGI 😁.

Забыл только stackoverflow дать по щам.

@ai_newz