AI-Texturing в Meshy.

Если с 3D генерацией все довольно сложно, хотя определенные успехи уже есть у некоторых сервисов (о них позже), то текстурирование при помощи диффузионных моделей работает очень даже неплохо.

Конечно, это не всегда годится для серьезного использования, но отлично подходит для быстрого прототипирования или вдохновения. Можно показывать клиенту, потом дорабатывать руками!

Делается все очень просто:
1) Грузим модельку.
2) Описываем объект.
3) Вводим текстовый промт или загружаем концепт-арт(!).
4) Также доступен негативный промт — что мы НЕ хотим видеть в результате.
5) Выбираем стиль.
6) Крутая опция — Use Original UV, которая позволяет генерить текстуры под красивую развертку, которую вы сами сделали. Либо можно сделать ее автоматически.
7) Generate PBR Maps — Meshy умеет создавать карты цвета, металлик, рафнес, нормали и прочее.

Вот пара примеров, которые я сделал в Meshy.

Если осьминог вышел несколько шакальным (и многоглазым, аки хтоническое чудовище Кинга), то кристаллы уже ничего!

Пост не рекламный


🔴 @reptiloidnaya × #ai #generativeai #3d

Крутой пример анимаций с ИИ.

К сожалению, все не так просто, как кажется на первый взгляд, и не делается за 5 минут и один промт.

Руку вручную ротоскопили и вырезали масками в After Effects, там же карты глубины, openpose для псевдо-рига и финальный композ. На втором видосе вы можете увидеть процесс и сколько там нод было применено в ComfyUI — AnimateDiff (собственно ИИ-анимация), IPAdapter (для консистентности), Upscale (для качества) и куча других сложных слов.

Конечно, это не продакшн-ready — в кино такое не возьмут.

Но уже и не кривые-кипящие стайл-трансфер видосики, или картинки из Midjourney с еле-еле шевелящейся анимацией в Pika или Gen2.

В общем, отличное демо текущих возможностей технологии в правильных руках.

А вот их воркфлоу для ComfyUI (если знаете, что это такое).

Источник


🔴 @reptiloidnaya × #ai #generativeai

Apple очень жирно навалили ИИ.

Так, как это не умеет никто, кроме Apple — в виде красивых, удобных, человеческих интерфейсов.
Все что описано в посте работает на уровне всей системы, а не в виде какого-то отдельного приложения или костыля.

Настоятельно рекомендую прям посмотреть эту часть презентации: https://youtu.be/RXeOiIDNNek?t=4031

А вот краткая сводка.

В айфон, айпад и мак на уровне системы интегрирована собственная мультимодальная модель (как ChatGPT, только маленькая) от Apple. Модель работает без интернета, прямо на устройстве, и делает огромное количество всего:

Тексты:
— Саммарайз (выделение ключевых смыслов из текста): из смс, емейлов, документов и даже сайтов прямо в браузере.
— Проверка грамматики, орфографии.
— Переписывание текстов (смс, емейлов, etc) в нужном стиле — профессиональном, неформальном, и так далее.
— Генерация текстов.
— Улучшенное распознание рукописного текста на iPad.
— Автоматические исправление почерка — он становится более красивым.
— Рукописный текст можно редактировать — удалять или дописывать фрагменты, буквы и строчки будут двигаться автоматически.
— Smart reply — например, вас спросили, придет ли ваш друг на встречу — система автоматически генерирует интерфейс с кнопками выбора ответов на вопросы из сообщения, а затем составит текстовый ответ.
— В калькуляторе на iPad можно стилусом писать формулы и выражения, ИИ автоматически их вычислит.

Фото:
— Плоские фото на Vision Pro автоматически становятся объемными.
— Можно использовать естественный язык для поиска по галерее, например «фото где Настя на пляже в красном платье».
— Поиск по видео перебрасывает в нужный момент в видео(!)
— Удаление объектов с фото, улучшение цвета.
— Генерация картинок (тоже без интернета!)
— Генерация эмоджи.

Система
— ИИ-выделение важного из пуш-уведомлений и их группировка по контексту.
— Глобальный ИИ-поиск по всему — емейлам, смс, фото, видео, приложениям, заметкам, календарям.
— С Siri можно чатиться голосом или текстом. Все также без интернета! Но модель маленькая, и может предложить напрямую обратиться к более-мощной ChatGPT в облаке (причем аккаунт в ChatGPT для этого не нужен, а платные подписчики могут линкануть свой и открыть доступ ко всем фичам).
— Siri видит что у вас на экране, понимает это, и может управлять системой(!)
— Siri может управлять сторонними приложениями, используя их публичные API — заказать еду, вызвать такси, что угодно еще (зависит от того, что разрешат разработчики).
— Siri помнит контекст диалога — например, вы спросили адрес ресторана, можно теперь просто сказать — построй маршрут.

В общем, смотрите презентацию. Это то, как должен работать ИИ — интегрировано во всех частях системы, а не просто в формате какого-то там чатбота.


🔴 @reptiloidnaya × #ai #generativeai #llm #chatgpt #apple

ИИ-генерация видео в открытом доступе.

Вот вам мемы, пока все остальные кидают скучные и вылизанные видосики.

Прошло всего 4 месяца(!!!) с момента, как OpenAI показали нам SORA. И вот, эта неделя ознаменовалась двумя жирными релизами — китайской KLING и Dream Machine от Luma AI.

SORA будет в доступе неизвестно когда, про KLING я даже писать не стал, ибо доступен только китайцам, а вот Dream Machine работает прямо сейчас. Дают 30 генераций на бесплатном аккаунте.

Попробовать можно тут: https://lumalabs.ai/dream-machine/


🔴 @reptiloidnaya × #ai #generativeai #sora

Ответочка приехала

Фотографа дисквалифицировали с ИИ-конкурса после победы с реальной фотографией. Вот с этой.

Помните, как у кожаных художников горело, когда конкурсы стали выигрывать картинками из Midjourney?

На этот раз сгорели «промт-инженеры», возомнившие себя гениями искусства 🌚


🔴 @reptiloidnaya × #ai #generativeai

Однозначно — мы вступаем в новую эру.

В эру генерации видео. В 2022 все смеялись над корявыми картинками из DALLE.
В 2023 смеялись над Уиллом Смитом, который ест спагетти. Смеялись над еле шевелящимися картинками в Gen2 и Pika. Смеялись над Animate Diff кашей.

Ну, добро пожаловать в 2024. Анонсирована SORA, в публичном доступе есть Luma, у китайцев есть KLING.

Вот и Runway, кажется, не смогли больше терпеть и анонсировали Gen-3 Alpha. Очередная модель, которая «понимает» мир, его динамику и свойства, а не просто картинки шевелит.

Посмотрите, кстати, как хорошо людей генерирует.

Попробовать пока не дают, ждем и играемся с Luma.

Что же будет лет через 5?


🔴 @reptiloidnaya × #ai #generativeai #видео

Продолжаю эксперименты

Веб-приложение (может быть отдельным, или ботом в Телеграме, или интегрировано на сайт) теперь поддерживает консистентный AI-процессинг, как поверх обычной камеры, так и поверх AR.

AR может обрабатываться как напрямую, так и в скрытом режиме (в камере может быть невидимым, но использоваться как ControlNet для AI, «помогая» нейронке рисовать нужное).

AI-пайплайн полностью кастомный, крутится в облаке, стоимость генерации пока что в районе $0.01 — думаю, должно получиться снизить раза в два.


🔴 @reptiloidnaya × #ar #ai #generativeai