OpenAI бахнул DALL-E 3. Пользователи Stable Diffusion и Midjourney могут спать спокойно.

Пока все с восторгом постят ссылку на блог Open AI, давайте приглядимся к картинкам и почитаем внимательно буквы.

1. В инсте Open AI (да, есть такая) много новых картинок, но вы почти не увидите там людей, лиц и фотореализма. В основном это отличные стилизации, много абстракции, интерьеры, хорошие композиции, модель отлично исполняет в дизайн. Но все, что связано с реалистичными кожаными, похоже, зачищено очень сильно.

2. Вот тут совсем жоско: представители OpenAI сообщили в электронном письме, что DALL-E 3 обучен отказываться от создания изображений в стиле ныне живущих художников. В отличие от DALL-E 2, который при подсказке может имитировать искусство в стиле определенных художников.
Все это напоминает ситуацию с выходом Stable Diffusion 2.0, которая осталась унылой и нелюбимой версией в сообществе. Поглядим, что случится с DALL-E 3.

3. OpenAI также позволит (ныне живущим) художникам исключать свои произведения из будущих версий DALL-E. Авторы могут отправить изображение, права на которое у них есть, и запросить его удаление, заполнив форму на своем веб-сайте. Будущая версия DALL-E сможет блокировать результаты, похожие на изображение и стиль исполнителя.

4. Параиноидальные акценты на безопасности: OpenAI заявила, что работала с внешними «красными командами» — группами, которые намеренно пытались взломать систему, чтобы проверить ее безопасность — и полагались на классификаторы ввода — как способ научить языковые модели игнорировать определенные слова, чтобы избежать явных или жестоких подсказок. DALL-E 3 также не сможет воссоздавать изображения общественных деятелей, если в подсказке конкретно упоминается имя.
Будут ли celebrities включены в "общественных деятелей" пока непонятно. А ведь один из самых эффективных трюков при генерации лиц всегда был "looks like Name Surname" - модель резко повышала качество, ведь в датасете было огромное количество изображений нужной персоны. Но, похоже, лица будут не welcome, так что придется умерить аппетиты.

5. Цензура и вотермарки. Упомянуто встраивание специальных меток, чтобы отслеживать "изображения, созданные с помощью ИИ"

6. Улучшена генерация текста и рук (привет Ideogram). Об этом, правда мы читаем в каждом пресс-релизе каждой новой версии конкурентов. Надо смотреть за пределами представленного черри-пикинга как будет в реальности.

7. DALL-E 3 гораздо лучше справляется с пониманием пространственных отношений, описанных в промптах (помните лошадь на астронавте?), что делает проще и точнее построение сложных ракурсов и композиций. Тут пользователи Midjourney такие: пруфы давайте.

8. ОСНОВНОЙ АКЦЕНТ - это работа с промптами и интеграция с chatGPT. Автоматизация, ускорение и акцентированное упрощение промпт-дизайна. Я уже выпивал на днях за промпт-инженеров - тренд налицо. Промпты будет писать chatGPT. Достаточно скормить ему идею или свой чахлый промпт - он раскучерявит его так, чтобы было красиво. А за курсы промптинга для генерации картинок тоже можно будет выпить, не чокаясь. DALL-E 3 лучше понимает контекст, что делает передачу "идеи" менее словообильной задачей и позволяет сосредоточиться на "замысле".

9. Ничего про inpainting, outpaintig, generative fill и уж тем более про 3Д, управление камерой или (о боги), аналоги Control Net, без которых уже как без рук.
_______
Источник | #cgevent
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

Тут вот меня забросали ссылками на KREA - типа KREA is a design tool with AI inside.
Смотрится угарно.
Но камон.
Это же просто нашлепка на Stable Diffusion с ControlNet.
InvokeAI уже год в такое умеет, только небыстро.
Простая демка ControlNet в веб-интерфейсе.
Да, они быстро прикрутили SDXL вместе с LCM-LoRA.
Но жить такому стартапу месяца два. Когда это появится в Автоматике и прочих опенсорсах.
Выглядит симпатично, но сайт пестрит всеми цветами и маркерами инфобиза.
www.krea.ai
_______
Источник | #cgevent
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

Экспресс эмоции или эмоциональные экспрешены.

Synthesia обновила свой движок и теперь это Express-1 - самая главная фича в том, что эмоции и движения головы теперь не полагаются на заранее прошитые скрипты, а генерируются на основе анализа сентимента речи, на лету, так сказать.
ИИ анализирует эмоции во входном аудио или тексте и сам добавляет Станиславского в мимику и движения головы.
Ну и генерация голосов тоже на уровне.
Иногда аватары "показывают зубки", но это даже мило.
HeyGen немного занервничал, особенно после того, как Нвидия вонзила очень много денег в Synthesia.
После того, что показал Микрософт и Алибаба, понятно, что нейрорендеринг аватаров будет основным направление генерации реалистичных лиц. Ибо 3Д безнадежно застряло при переходе, через зловещую долину (это касается человеческих лиц) и пока не нашло выхода оттуда.
___
🐾 Источник | #cgevent
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

Для сравнения кину сюда эмоции и нейрорендеринг из Микрософтовской Вазы.
Да-да, это все ИИ-шная генерация кожаных лиц. На входе - одно фото или картинка из Midjourney/Stable Diffusion

Ну, за дикторов!
_______
Источник | #cgevent
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot

Учите программирование в любом возрасте.

Я тут порылся в сохраненном и неопубликованном и нашел ответ на вопрос из поста выше.
Похоже, что для того, чтобы было меньше таких заголовков из последнего поста, надо учить кожаных программированию (в любом возрасте).
Есть вот такая работа:
Если LLM - волшебник, то код - волшебная палочка: Обзор того, как код позволяет большим языковым моделям служить в качестве интеллектуальных агентов

Вывод такой: если замешивать в обучение не только "обычные" тексты, но и большое количество кода, то модель точно становится умнее и приобретает навыки критического мышления и декомпозиции задач. Последнее очень важно для медленного "размышления" в отличие от быстрых принятия решений.

Если подробнее, то:
Включение кода в датасеты повышает навыки программирования у моделей, позволяя им писать код на нескольких(!) языках. Тут вроде банально, но с разными языками очень круто.

Структурные ответы: генерировация контента с помощью жестко-структурированных данных, таких как HTML или таблицы. Тут тоже предсказуемо. Но глядя на то как некоторые кожаные мычат, пытаясь сформулировать простые мысли, хочется послать их на курсы бейсика.

Дальше интереснее, обученные на добавленном коде LLM демонстрируют навыки сложного рассуждения и тех самых chain of thoughts. Декомпозиция и размышление.

Авторы предполагают, что такие LLM легче превращаются в продвинутых интеллектуальных агентов, способных принимать решения и самостоятельно решать задачи.

Я понял, что написал какой-то рекламный проеспект курсов по программированию:

Учите программирование (сами и с детьми) и вы:
будете умнее
получите скилл критического мышления и сопоставления фактов
научитесь не мычать, а внятно излагать свои мысли
приобретете способность делать речерч в своей кожаной голове, а не только реагировать на тиктоки

И все это просто подмешав немного кода в вашу кожаную голову.

Маркетологи забирайте, дорого!

Сама работат вот тут:
openreview.net
_______
Источник | #cgevent
🐾 @F_S_C_P

-------
поддержи канал
-------

ИИ для харкорных композеров.

Как обработать группу снимков одним щелчком мыши, как автоматически маскировать, отслеживать объекты, автоматически нажимать клавишу, автоматически применять удаление. Как применять различные модели машинного обучения и как создавать новые модели, адаптированные к вашему материалу.

Все это на русском с подробными объяснениями от Влада Ахтырского. В начале хороший ностальгический проброс в Ванкувер 2018, где мы с Владом отжигали на Сигграфе. До ковида, войны и вот этого вот всего.

Для тех, кто шарить за взрослый композ и знает, что такое деспил.

И да, это та сама кнопка "Сделать Всё" в виде системы Junior.
www.youtube.com

Ну, за джунов.
_______
Источник | #cgevent
🐾 @F_S_C_P

Генерируй картинки с ⛵️MIDJOURNEY в Telegram

GPT-4 - самая тупая модель, которую кому-либо из вас когда-либо придется использовать снова.

"GPT-4 is the dumbest model any of you will ever ever have to use again, by a lot."

Сама, два вопроса:

1. За что мы платим 20 баксов в месяц?
2. Где нетупая модель?

twitter.com
_______
Источник | #cgevent
🐾 @F_S_C_P

-------
поддержи канал
-------

Unity 6 наперевес с ИИ в виде Sentis.

blog.unity.com

В шестерку напихали много чего, но нас ведь интересуют ИИ-фишки прежде всего.

Если вкратце, то теперь вы можете брать модели с Hugging Face, ужимать их и присовывать в свои проекты. Чтобы они крутились локально, могли взаимодействовать друг с другом, управлять персонажами, распознавать картинки и пр.

Я стал переводить и понял, что по английски звучит понятнее, вот держите:

The Unity 6 Preview ships with Unity Sentis, a neural engine for integrating AI models into the runtime. Sentis makes new AI-powered features possible, like object recognition, smart NPCs, graphics optimizations, and more.

We now support AI model weight quantization (FP16 or UINT8) in the Unity Editor if you want to reduce your model size by up to 75%. Model scheduling speed was also improved by 2x, along with reduced memory leaks and garbage collection. Lastly, we now support even more ONNX operators.

Now you can instantly find “grab and go” AI models for Unity Sentis from Hugging Face to ensure easy integration. We introduced a new Functional API that helps to build, edit, and chain AI models.

Ждем ответочки от Эпика.

И кстати, Mattew Bromberg, former EA and Zynga Executive назначен новым CEO Unity.
youtu.be
_______
Источник | #cgevent
🐾 @F_S_C_P

Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Сладкий 3Д-сток

Возможно кому-то пригодится, 1127 чистых, ИИ-немодифицированных 3Д-моделей с идеальной топологией и развертками. Может кто-то захочет потренировать свой ИИ на нормальных ассетах (маловато конечно), а не на месиве из Objaverse.
Это BaseMesh обновился, сменил хостинг и запилил новый движок.
Хорошая навигация, вьюер и категоризатор.
А мы продолжим за 3Д и ИИ в следующем посте, где будет сравнение восьми(!) image-to-3d нейронок на картинках, сгенерированных в DALL·E 3.

www.thebasemesh.com
_______
Источник | #cgevent
🐾 @F_S_C_P

Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Apple втихую выложила ультимативный фреймворк для анализа и генерации картинок — 4M умеет всё и сразу без преувеличения. Из коробки доступна 21 модальность одновременно:

• Генерирует подпись к фотке, даже что происходит за кадром;
• Делает карты глубины, чтобы переводить картинки из 2D в 3D;
• Распознает и выделяет, где и какие объекты расположены;
• Меняет источник освещения и цветовую палитру снимка;
• Генерирует картинки по запросу под ваши уникальные настройки.

Это чудо для всех, кто работает с изображениями — фотошопит, перегоняет их в 3D, собирает датасеты и многое другое. Исходники на GitHub, онлайн-демо части фич тут.
_______
Источник | #notboring_tech

_____________________________
Марс атакует!

Новая опенсорсная модель текст ту спич.
140 языков.
Клонирование голоса по сэмплу в шесть секунд.
А ещё MARS5 позволяет выполнять "глубокое клонирование", которое улучшает качество клонирования и выходных данных, но при этом требует немного больше времени для создания аудио.

За актеров озвучки уже пили. Ладно, просто помолчим, пока он нас клонирует.

Всё есть тут:
github.com
_______
Источник | #cgevent

_____________________________

Делаем саммари ВСЕГО.

Active Recall — плагин, который сделает краткую выжимку из любого контента. ИИ спокойно прожует подкасты, видео, PDF-файлы, новости, блоги и за пару минут выдаст все ключевые моменты.

Ну а чтобы вы не пропустили ничего важного, тут даже можно пройти тестирование для усвоения материала.
_______
Источник | #neurohub
@F_S_C_P

-------
поддержи канал
-------

Пока мы тут воздыхали над новой Ламой, Адобченко выкатил совершенно убойные ИИ-фичи для Иллюстратора. Про них никто не написал, все были увлечены утечками Ламы.
А фичи реально крутые.
Mockup Beta позволяет перетаскивать логотипы и целые дизайны на любой другой продукт на картинке, скажем, на бейсбольную кепку, кружку или гибкую упаковку с едой, и автоматически, мгновенно, подгоняет(деформирует) логотип в соответствии с контурами и формой базового продукта. Она работает даже на картинке, которая не содержит ни линии горизонта, ни цвета фона, ничего.
_______
Источник | #cgevent
@F_S_C_P

Генерируй картинки с ⛵️MIDJOURNEY в Telegram

По поводу новой модели o1 от OpenAI.

OpenAI выпустили модельный ряд o1, предназначенный для того, чтобы тратить больше времени на размышления, прежде чем отвечать. Они могут рассуждать о сложных задачах и решать более сложные проблемы, чем предыдущие модели, например, в науке, программировании или математике.

Я начну с практических вопросов. Ну а потом привалю с дивана неумных мыслей (ибо успел подумать медленно).
Также держите содержательные посты от Игоря, где все очень хорошо расписано по технической части.

Смотрите, все довольно хорошо разжевано в блоге OpenAI, переводите хромом, там внятно и по делу.
openai.com
https://openai.com/index/learning-to-reason-with-llms/

Итак, в народ выпустили две модели:
o1-preview - этот тот самый мыслитель.
o1-mini - это мыслитель, больше заточенный под код.

Для тех у кого chatGPT Plus (платный) o1 и o1-mini раскатывают прямо сейчас (у меня уже появилось).
Для бесплатных аккаунтов скоро будет о1-mini (про лимиты неизвестно).
Также o1 добавили в плагин Double для VSCode. Вроде можно кидать запросы бесплатно.

Лимиты даже на платном chatGPT Plus - жоские.
30 сообщений для o1-preview
50 сообщений для o1-mini
В НЕДЕЛЮ!!!

Это в принципе понятно. Очень дорогой инференс, то есть обсчет ваших вопросов.

По АПИ - 20 запросов в минуту. Но во-первых, цены на о1 апи очень высокие, а во-вторых, вам придется платить не только за вызовы, то и за размышления внутри, там есть reasoning tokens и они небесплатные.

Так что семь раз подумайте, а потом спросите.

Самое главное. о1 - это не новая gpt-4o. Она ДЛЯ ДРУГОГО.
Если грубо, то это не ассистент, не помощник, не справочник или замена гугла.
Это решатель задач.

Она не подойдет для написание текстов, перефразирования, даже перевода, или редактирования текстов. Для набрасывания концепций, промптов, разговоров про жизнь, технических вопросов про Блендор, стимулирования вашего тщедушного вдохновения или психоанализа.
Для всего этого лучше "старая" gpt-4o. Пока.

Для чего о1?
(тут вам немедленно надо сходить сюда и поглядеть все видосы)

Формально она вам нужна, если вы решаете сложные задачи в науке, программировании, математике и других подобных областях. o1 может использоваться биологами для аннотирования данных секвенирования клеток, физиками для создания сложных математических формул, необходимых для квантовой оптики, а также разработчиками во всех областях для создания и выполнения многоэтапных рабочих процессов.

"многоэтапных рабочих процессов" тут ключевое.

По ссылкам выше много информации как о1 побивает олимпиадников, кандидатов наук и прочих исчезающих особей. Ибо умеет рассуждать поэтапно.

И меня прям срезал пост Ноама Брауна из OpenAI:
o1 думает несколько секунд, но мы стремимся к тому, чтобы будущие версии думали часами, днями и даже неделями. Стоимость умозаключений будет выше, но какую цену вы готовы заплатить за новое лекарство от рака? За революционные аккумуляторы? Для доказательства гипотезы Римана? ИИ может стать чем-то большим, чем чат-боты..

Просто экстраполируйте то, что происходит сейчас. Не удивлюсь, если не сможете, ибо для кожаных мозгов это сложно.

Ну и самое главное.

Вот есть у вас 30 запросов в неделю...
О чем будете спрашивать?
Есть у вас задачи (за пределами программирования), которые требуют НЕ действий, НЕ ответов на вопросы и письма, НЕ написания доков или планов? А размышлений.
Понятно, что вы можете загрузить ея известными математическими проблемами, вопросом Луны и Земли, теоремой Ферма, парадоксами из википедии. В качестве демо или развлечения.
Но вот у вас самих, кроме кодинга, есть такие задачи?

Пишите в коменты, порешаем...
_______
Источник | #cgevent
@F_S_C_P

-------
Секретики!
-------

Пика жжот. Буквально. Эффектами.

По ходу видегенераторов скоро будет (или уже есть) больше, чем генераторов картинок.
Ну и когда мы говорим "генератор" - мы имеем в виду код со своей foundation model, а не нашлепки над Stable Diffusion или Flux типа Leonardo или Mystic (ну ок, Леонардо недавно натренили свою модель, хорошо бы знать, сколько их юзеров пользуют ее, а сколько файнтюны SD).

Короче, всеми позабытая PIKA бахнула обновление до версии 1.5

И вместо того, чтобы делать упор на фотореализьм или монтажные фичи, они сделали акцент на .. производство VFX! Ну то есть на видосы с разными эффектами типа взрывов, дымов и "разорви-мои-мозги сейчас".

Демо из их твиттора выглядит слишком нарядным и явно обработанным на посте, чтобы его постить тут. А я вам привалю реальных генераций из новой Пики 1.5.
Ну и две новости

Хорошая. У них такие есть бесплатные кредиты на попробовать (негусто)
Плохая. Все намертво висит. Как писал Денис, халявные кредиты выжигают железо и, к сожалению, бюджет.

Но в целом новость отличная. Ибо конкуренция - это отлично!

P.S. Смотрите ролик про унитаз. Работа с физикой просто поражает. И меня у Пики не особо трясет качество, а именно работа с "пониманием" пространства. Ну и B-movie типа "смерть в унитазе" не знают что делать, плакать или радоваться. Вот оно дешевое производство, как оно есть.

P.P.S. Теперь точно за эфыксеров, не чокаясь.
_______
Источник | #cgevent
@F_S_C_P

▪️Генерируй картинки в боте:
Flux + MidJourney

Начнем с веселых картинок, потом перейдем к аватарам.

Пропробуйте сделать такое в 3Д. На Метаматьихюманах или в Майя.

(так, кто будет ныть про зубы, тот вбан немолодец)

Да, понятно, что это сложноуправляемо.

Но вот что интересно, ведь на площадке режиссер не говорить актеру, какую бровь поднять и насколько, он просто говорит "поддать эмоций или прибрать драму", дальше идут дубли (читай генерации). А зубы - это вопрос к гримерам (читай композерам).

В 3Д вы никогда не нарулите нормальных эмоций для фоторила. Для анимации с преувеличенной мимикой - пожалуйста. Тут у нейросеток пока слепая зона, но дайте время.

Ну и бежит она хорошо. Ручками так долго делать.

Это я к тому, что работа с лицом в 3Д в принципе противоестественна. Таскать лицо за брови и скулы и ставить ключи в надежде попасть в эмоции - сизифов труд (я щас не про мультики).

Ну и пивотнусь вот в такую мысль. Раньше в совецких фильмах озвучка шла на посптродакшене. Снимали БЕЗ ЗВУКА. А потом актеры (или дублеры), глядя на отснятый материал "попадали в губы" и в эмоции.
Пора разыскивать таких умельцев.
Хотя ИИ нынче умеет и по губам читать и к липсинку подбирается стремительно.
Интерtсно спросить его, что говорит эта девушка из Midjourney

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Вышел трек от великого и ужасного Литтл Биг "КУРВА".
Скажу сразу, музыку я оцениваю не головой и даже не ушами, а жопой. Если жопа начинает дергаться в такт, то к ее вибрациям потом подключаются ноги руки, а там уж и до головы с ушами доходит. Так вот, тут все завибрировало сразу. И бывает такое, что трек понравился, послушал его десять раз на репите и подкатывает желание послушать теперь альбом ремиксов на него. Раньше я за такими альбомами прям охотился, ведь на них попадались прям шедевры (одна "Видели ночь" от Здоб ши Здуб чего стоит).

В общем, решил я сделать себе ремиксов сам.
Засунул трек в Суно. Суно ругнулось на копирайт. Решил этот вопрос понижением питча и скорости на 5%. Прокатило. Текст подтянул в промт и понеслось.
За пару часов у меня было треков 20 годного качества в разных стилях и жанрах, плюс пара фаворитов. Ими я и хотел поделиться.
С помощью легкой генерации сделал видеоряд для них (Миджорни плюс CapCut) и для удобства залил на ютубчик и в тикток.
Первый - качовый клубный рэпчик
Второй - разухабистая панк-альтернатива (под этот прям хочется попрыгать и поорать).

В общем, эксперимент меня очень вдохновил. Надеюсь, в скором времени такие генерации будут прилагаться к треку прямо в приложении-плеере по умолчанию. А если прям очень хочется - целиком бесконечная радиостанция с вариациями понравившегося. Ощущение, что все инструменты для этого уже изобретены!

Источник

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Mochi 1
Вы будете смеяться, но у нас новый опенсорсный видеогенератор.

github.com

Выглядит донельзя нарядно.

А уж по приведенным диаграммам этот Genmo побивает всех кроме Клинга (какая наивная наглость).

И написано все сладко: "Модель диффузии с 10 миллиардами параметров построена на основе нашей новой архитектуры Asymmetric Diffusion Transformer (AsymmDiT). Обученная полностью с нуля, она является самой большой генеративной моделью видео, когда-либо открыто выпущенной."

По описанию напоминает Пирамиду, только с конским датасетом.

Но.

Если почитать мелкий шрифт, а точнее в самом конце, то это не 720p, а 480p.

И оно не умеет в движения: "Mochi 1 также оптимизирована для фотореалистичных стилей, поэтому не очень хорошо работает с анимированным контентом"

И вот это хорошо "В некоторых случаях при экстремальном движении могут возникать незначительные деформации и искажения."

Нет image2video.

Ну и вот вам огромная коричневая вишня:

The model requires at least 4 H100 GPUs to run.

Настораживает также, что у них есть платный генератор: www.genmo.ai - который щас не работает

В общем непонятный проект с каким-то мутным маркетингом, не очень присущим опенсорсу.

Пойду ставить.
github.com

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Пост для тех, кто жалуется, что видео у них генерится долго.
Что Флюкс есть очень много памяти и считает один кадр пять минут.
Также для тех, кто ноет, что в Суно песок в вокале и металлический призвук.
Ребята, вы просто зажрались. На бесплатных харчах-тарифах, на дешевых подписках, на вот этой вот кнопке Eще.

Это Transformers Dark of the Moon.

Один кадр разрушения небоскреба считался 288 часов на кадр. Ибо рефракшены, рефлекшены, стеколки и пр.
У Дрил Бота было 70 000 частей из которых состояла его модель, и все это анимировалось.

А рендерфермочка у ILM молотит примерно по 200 000 рендер-часов в день.
Просто у них очень много нод.

И ничего, не жалуются. Делают ручками. Для Аймакса.

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!