❤️‍🔥Вышел апдейт плагина Stable Diffusion V1.2.0 для Photoshop, включающий ControlNet

- Поддержка ControlNet (особенно круто генерит по скетчам в моде "canny")
- Устанавливаешь в один клик и наслаждаешься работой.
- Добавлен режим "Heal Brush", который позволяет легко удалять любые объекты или предметы из любого изображения.
- Live Preview результатов генерации
- Можно гонять как на локальной GPU, так и в облаке

Все-таки это огромный переворот в том, как сейчас должны работать успешные художники и дизайнеры.

GitHub

@ai_newz

У активного ресерчера по Computer Vision обычна два тяжёлых периода в году. Это март–май, когда дедлайны на ICCV, ECCV, NeurIPS, и ноябрь, когда нужно херачить на CVPR. Всё это топовые конференции по AI и компьютерному зрению, которые стараются не пропускать.

Сейчас период ICCV+NeurIPS. И сегодня ночью дедлайн подачи статей на ICCV. Короче, я сижу в офисе, пишу-переписываю текст и подгоняю студентов с картинками и экспериментами.

Удачи всем с сабмитами! А прекрасную половину ещё и с праздником!🌹

#карьера

@ai_newz

Ёк-макарёк. Засабмитили 4 статьи на ICCV вчера. Часть из них, правда, ресабмиты с CVPR, но все же работы было много! Скоро все будет на архиве.

Ещё в ближайшую неделю я наконец залью свою статью, принятую на CVPR.

Мало кто знает, но мы в Meta можем довольно свободно коллаборировать с университетами. Например, я уже год как супервайжу 2-3 PhD студента.

#карьера

@ai_newz

AI Residency – это супер возможность вкатиться поглубже в AI и поработать в крутой ресерч лабе. Обычно это эдакий разогрев перед PhD, чтобы лучше понять чем хотите заниматься.

Я наткнулся на гитхаб со списком AI Residency программ. Думаю тут много кому это будет интересно.

Вот некоторые из позиций:
- OpenAI Residency-Research
- Meta AI Residency
- Microsoft Research: Postdoc Residency Program
- Microsoft+Cambridge Residency Program: Researcher on Large Language Models for End-User Programming
- Apple The 2023 AIML Residency Program
- Toyota Research Institute AI Resident

Больше ссылок на программы в репозитории. Дерзайте и подавайте, за попытку с вас ничего не возьмут!

@ai_newz

🔥Вышла GPT-4!

https://openai.com/research/gpt-4

Теперь модель ещё может принимать и картинки на вход. В ответ выдает все ещё только текст. Ну, и конечно, модель более серьезно надрессировали не выходить за рамки дозволенного.

Пишут, что на многих бенчмарках новая модель конкретно бьет предыдущую GPT-3.5. В том числе на датасете экзаменов по разным предметам.

Без паники, господа программисты. Выдыхаем (пока). GPT-4 все ещё сосет на задачах с Codeforces – модель входит только в нижние 5% по рейтингу.

OpenAI в своем обычном стиле закрытого ИИ не делятся деталями. Не рассказали ни про архитектуру, ни даже про количество параметров 🙄.

По ссылке можно стать в очередь на доступ к API GPT-4.

@ai_newz

🎙Метаискусство: может ли робот сочинить симфонию?

Всем привет! Я вернулся из отпуска. А тем временем вышел подкаст с моим участием, где мы поговорили об AI, генеративной музыке и о потенциале нейросетей для применения в творческой сфере.

В подкасте мы провели эксперимент, где мне и другим гостям (медиа-художник, звукорежиссер и звукоинженер) нужно было угадать, какая композиция была сгенерирована, а какая создана человеком. Cлушая этот выпуск, вы можете вместе со мной попытаться найти сгенерированые треки.

Кстати, фоновая музыка в подкасте, а также большая часть текста ведущего тоже были сгенерированы нейросетью.

Слушать на других платформах:
- Apple Podcasts
- Spotify

@ai_newz

Кстати, это был мой первый опыт подкастинга (хоть и как гостя), и мне очень понравилось, классный выпуск получился.

Давно размышляю о том, чтобы сделать свой подкаст. Было ли бы вам интересно слушать мой подкаст о нейронках и AI науке? Напишите в комментах, предложите, какие темы можно было бы обсудить в формате подкаста.

Во время пандемии я завел youtube канал, где делал обзоры на статьи. Но надолго меня не хватило, очень много времени уходило на один ролик. Думаю, формат подкаста должен быть более легковесный.

​Чтобы немного поубавить хайп, вот вам наброс. Со слов самой GPT-4, она обладает рядом недостатков, делающих ее не прорывной, а проходной технологией:

1. Ограниченное понимание: GPT-4, как и другие модели, основанные на языке, не обладает истинным пониманием языка или контекста. Они обучены на основе статистических закономерностей и корреляций в данных, но не могут осмыслить предложения и понятия так, как делают люди.

2. Завышенные ожидания: Многие СМИ и блогеры могут представлять GPT-4 как "революцию" или "прорыв" в области искусственного интеллекта, что может привести к нереалистичным ожиданиям относительно его возможностей. Это может привести к разочарованию, когда модель не оправдывает надежды.

3. Ограничения в области творчества: GPT-4, хотя и способна генерировать тексты, изображения и музыку, в конечном итоге зависит от обучающих данных, собранных от людей. Оно не способно создавать истинно оригинальное искусство или идеи, что ограничивает его применимость в творческих областях.

4. Зависимость от больших объемов данных: GPT-4 требует огромного количества данных для обучения, что может вызывать проблемы в эффективности и воздействии на окружающую среду.

5. Дорогостоящее обучение и использование: Обучение и эксплуатация модели GPT-4 требует значительных вычислительных ресурсов, что делает их дорогостоящими и менее доступными для многих пользователей.

6. Непостоянство результатов: Искусственный интеллект GPT-4 может быть непредсказуемым, порождая качественно разные результаты при разных запросах или даже с небольшими изменениями ввода.

7. Сложность контроля: Ограничение и регулирование вывода GPT-4 может быть сложным процессом, поскольку модель может генерировать нецензурные, оскорбительные или нежелательные результаты, что требует дополнительных усилий для модерации и контроля.

8. Отсутствие интерпретируемости: Работа GPT-4 может быть сложна для понимания, поскольку модель имеет множество слоев и параметров, что затрудняет объяснение ее поведения.

9. Неполнота знаний: Обучение GPT-4 заканчивается на определенной дате, и модель не может учесть новые события или информацию, появившуюся после этого срока.

10. Ошибки и неточности: GPT-4 может давать неверные или неточные ответы, поскольку оно опирается на статистические закономерности, а не на глубокое понимание.

11. Зависимость от качества данных: Эффективность GPT-4 напрямую связана с качеством и объемом предоставленных обучающих данных, что может ограничивать его применимость в некоторых областях.

12. Склонность к усилению предубеждений: GPT-4 может усиливать существующие предубеждения и стереотипы, присутствующие в обучающих данных, что может привести к нежелательным результатам.

13. Отсутствие эмоционального интеллекта: GPT-4 не способно понимать или отражать эмоции, что ограничивает его способность к эффективному взаимодействию с людьми.

14. Безопасность данных: Использование GPT-4 может представлять риски для безопасности и конфиденциальности данных, особенно при обработке чувствительной информации.

15. Проблемы с авторским правом: GPT-4 может генерировать контент, который может нарушать авторские права или создавать юридические проблемы для пользователей.

GPT-4 - это только одна из многих ступеней в развитии AI. В будущем вероятно появятся более продвинутые и эффективные модели, которые могут заменить GPT-4, делая ее менее актуальной.

PS. на скрине примеры боянистых детских задачек, которые GPT-4 просто не осилила.

@ai_newz

ModelScope Text-2-Video: Китайский опенсоурс разродился открытой моделькой для генерации видео по тексту

Это первая диффузионная text2video модель с открытым кодом и опубликованными весами (1.7 млрд параметров).

Отдельный респект идет Шаттерстоку, данные с которого по всей видимотси использовались для тренировки модели 😂.

Чтобы запустить локально потребуется 16 GB RAM и 16 GB VRAM: инструкция. Пока генерит видео только 256x256.

Ну что, давайте побыстрее заполним интернет проклятыми видео!

Demo
Model weights

@ai_newz

GenAI: Персональный апдейт

Несколько недель назад Марк анонсировал, что будет создана новая организация внутри Meta – GenAI, которая будет заниматься сугубо Generative AI. Наша команда покинула Reality Labs и попала в новую организацию.

Я очень рад этому событию, ведь последний год я занимался диффузионными моделями, а теперь полный газ в пол! Но на диффузии мы, конечно, не ограничиваемся и будем искать новые эффективные модели.

Ещё бонусом теперь я смогу плотнее сотрудничать с командами из FAIR, которые создали make-a-scene и make-a-video, или ту же LLaMa, потому что мы теперь с ними в одной организации.

Exciting stuff!

#карьера #мойпуть

@ai_newz

Вчера остановилась работа у тысяч программистов и копирайтеров 😢. ChatGPT упал и лежал 4 часа. Кроме того из-за бага в вэб-приложении ChatGPT произошла небольшая утечка диалогов пользователей. Но, кажется, утекли только заголовки диалогов. А сейчас, когда сервис восстановили, пропала вся история диалогов.

Вот почему никогда не стоит строить свою жизнь и работу на основе внешнего ресурса, который ты не контролируешь или можешь потерять доступ к нему без возможности восстановления – это же как картошку сажать на чужом огороде!

@ai_newz

Подписчик принес полезную ссылку. Это список ресурсов для того, чтобы начать играться/поднимать свою опенсоурсную альтернативу чатботу ChatGPT только с блэкджеком и ... что там у вас на уме.

А вот тут ещё как запускать модель LLaMA у себя на машине (да, это возможно).

@ai_newz

Nvidia GTC: новая видеокарта H100 NVL на 192 GB VRAM и другое

Для тех кто, как и я, не смотрел онлайн. Вчера была ежегодная презентация Nvidia GTC. CEO и фаундер Nvidia, Дженсен Хуанг, дал очень интересный и вдохновляющий доклад. Очень рекомендую к просмотру!

Если коротко, то NVIDIA максимально топит за AI и Generative AI в частности.

Выпустили кучу новых железяк, которые ускоряют, все что ускорялось. В том числе спаренную видеокарту H100 NVL с 192GB памяти, куда влазит GPT-3 для инференса. То есть уже можно у себя под столом развернуть такое при большом желании 😅.

Еще показали как все хорошо пользуются их решениями для крупных дата-центров с тысячами серверов.

И на последок Хуанг показал, как можно круто генерировать синтетические данные в их софте для фотореалистичных симуляций Omniverse.

Вот ссылка на 29-минутный кат доклада, где есть все самое важное.

@ai_newz

​Сopilot X: программеры, держитесь!

Команда GitHub Next решила прокачать GitHub Copilot, чтобы уделать любого программиста, ой, простите, чтобы он стал AI-помощником на всех этапах разработки. Они не только использовали GPT-4 от OpenAI, но и добавили чат и голосовые функции для Copilot, интегрировали его с пул-реквестами, командной строкой и документацией. Короче, одним словом - киберпанк. Все это обозвали Copilot X.

Copilot Chat предоставляет разработчикам ChatGPT-подобный опыт прямо в редакторе, интегрированном с VS Code и Visual Studio. Copilot Chat не просто предлагает код - он анализирует написанный разработчиком код, ошибки и становится неразлучным компаньоном в среде разработки. Таким образом, разработчик получает подробный анализ и объяснения блоков кода, может генерировать юнит-тесты и даже исправлять ошибки (см видео).

Еще выкатили GitHub Copilot для Docs - экспериментальный инструмент с чат-интерфейсом, который предоставляет AI-генерированные ответы на вопросы о документации, включая языки, фреймворки и технологии.

Copilot для пулл-реквестов: этот маленький хитрец автоматически находит тех, кто забыл о тестировании пулл-реквеста. А после, словно волшебник, предложит потенциальные тесты на выбор, чтобы наши уважаемые кодеры могли поредактировать, принять или отвергнуть их в зависимости от капризов своего проекта. Ну разве не чудо?

Также стоит отметить GitHub Copilot CLI для командной строки. Разработчики проводят много времени в терминале, и даже опытным иногда приходится листать страницы мануалов, чтобы вспомнить точный синтаксис команд. Вот здесь на помощь приходит Copilot CLI, который компонует команды и циклы, манипулирует сложными флагами, чтобы облегчить страданья разработчика.

С Copilot X, разработчики смогут увольнять некоторых коллег, ведь AI-помощник возьмет на себя их рутинные задачи. Разработка станет не только продуктивнее, но и дешевле веселее!

@ai_newz

Друзья, без паники. Пост сверху – сугубо ироничный. Конечно, никто никого из-за драного Copilot-а увольнять не станет.

По крайней мере в текущем состоянии, и пока у компаний есть легальный риск отдавать ему на анализ свой проприетарный код.

В любом случае, Copilot, GPT, LLaMa и прочие языковые модели уже могут увеличить продуктивность кодинга, и это нужно эксплуатировать!

@ai_newz

💥 Cog: ML-модели с ходу в контейнер

Я редко пишу прл ML-ops, но вчера наткнулся на обалденную либу для pet проектов. Cog - это инструмент для упаковки ML-моделей в контейнеры и оборачивания в сервис, прям всё по феншую.

Нужно только обернуть модельку в класс предиктор.

Что либа умеет:
1 Docker-образы без мучений: ты делаешь простой конфиг, Cog делает все остальное.
2 Благодаря этому, нет ебатни с CUDA.
3 HTTP-сервер с предиктором из коробки.
4 Поддержка очереди из коробки
5 Работает S3 и Google Cloud Storage.
6 Изи развернуть модель где угодно, где есть Docker.

Cog, кажется, делает все то, что мне лень делать руками. Я ведь хочу просто обучить модель, оттрейсить ее в torchscript и закинуть на сервак, чтобы дергать ее по API.

🤙 https://github.com/replicate/cog

@ai_newz

Сейчас загружал статью на arXiv. Как же бомбит от ошибок компиляции Latex и нафталинового UI на сайте! Приходится по 10 раз исправлять что-то в файлах (которые локально компилируются без проблем), и перезагружать на arXiv, и запускать компиляцию заново.

Искренне надеюсь, кто-то прикрутит туда языковую модель, которая автоматизирует все это безумие.

С другой стороны, это бесплатный архив, созданный академиками для академиков, который очень сильно продвинул открытость в науке и за счёт этого ускорил цикл обмена новыми идеями. Чего я жалуюсь?

@ai_newz