Как я тренировал LoRA на себе

Сразу скажу — локальные решения здесь не разбираю. Они сложнее, требуют мощного железа и много времени (думаю мало людей, кто захочет слушать занудные посты про ноды). Расскажу про максимально простые способы.🔥

Из онлайн-сервисов использовал два:

📌 Krea (платный, но обучает модель за ~5 минут). Krea вообще, один из таких сервисов, как по мне, который должен быть у каждого, кто занимается генеративным ИИ.

📌 Weights (бесплатный, но медленный — в очереди на обучение ждал сутки, но тут никаких проблем, закинул на обучение, через день-два вернулся и забрал. Само обучение заняло ~30 минут)

Есть и др. сервисы, тут как обычно на вкус и цвет. 🧐

Оба используют модель Flux. Разницы в качестве не заметил, но почти все мои примеры сделаны через Krea.

Подготовка датасета:

Для обучения я собрал датасет из 30 фотографий(в Krea можно до 50):

📌 разные ракурсы, мимика, прически, очки, одежда и тд.

📌 нормальное освещение (без засветов и теней)

📌 лицо хорошо читается, без размытия

📌 нейтральный фон, без лишнего шума

📌 если нужно, убрать артефакты или изъяны, чтобы нейронка их не переносила, стоит доработать в Photoshop

Подготовка изображений:

📌 все фото обрезал до квадрата (1024×1024, больше не стоит можно и 512х512), голова — по центру кадра.

Для подготовки использовал Birme — удобный онлайн-инструмент: загружаешь пачку фото, задаешь соотношение сторон, отцентровываешь голову по кадру и экспортируешь архивом. 2 минуты — и готово. 🫡

Обучение:

📌 затем загружаю подготовленные изображения в Krea или Weights

📌 в настройках указываю ключевое слово или фразу, по которой в будущем буду вызывать эту LoRa в генерации

📌 запускаю обучение LoRA

После обучения получаю готовую LoRA. Использовать её можно сразу — но только в онлайне данных сервисов, скачать нельзя.

Что делаю дальше?

📌 иду на Pinterest, ищу визуальный референс по настроению. Хороший сервис для вдохновения

📌 загружаю картинку в JoyCaption Pre-Alpha. Хороший сервис для генерации промта по изображению

📌 если нужно, корректирую промт (цвет, свет, детали). Если знание английского позволяет, можно редактировать напрямую. Если нет — поможет Google или Яндекс Переводчик.

📌 возвращаюсь в Krea или Weights загружаю свою LoRA(она появится в стилях) и вставляю промт — получаю результат

Потом можно прогнать через апскейл (писал про них раньше), чтобы по итогу получить идеальное изображение.

Достаточно просто и не сложно. 🤫

Пробуйте!🙌

P.S.Теперь у меня есть свой датасет, и я могу делать с собой всё, что захочу! У меня никогда не было столько фотографий, сколько я нагенерировал за один вечер — а я ведь показал далеко не всё!)

P.P.S.В следующий раз расскажу про двойную LoRA — как объединять сразу несколько моделей.

P.P.P.S.Всех с праздником!!!🤗

@VAI_ART
#VAI_Practice

ГЕНЕРАЦИЯ В 3D

Настало время показать, что и в 3d всё обстоит довольно хорошо. А то все 2d, хотя я изначально 3d-шник:)🙌

Да, процессы пока не идеальны, но уже сейчас можно добиться очень достойного результата в работе.

Давно собирался рассказать и про 3d. Как раз по плану был пост про возможности генеративного 3d — многие визуально недооценивают те перспективы, которые там открываются.
Первоначально хотел показать работу в Tripo3D и Prism, но неделю назад вышло кое-что куда более интересное: Hunyuan выпустили новую модель версии 2.5, и это действительно сильное событие в 3d-сфере, которое невозможно обойти стороной.

Генерация 3d по изображениям вышла на новый уровень. Думаю, это и так видно по примеру (в комментариях прикрепил прогресс от концепта до финальной модели и пролетку).

Генерируются и хардсерф, и органика — с очень хорошим соблюдением форм.
На данный момент эта модель уже закрывает хороший блок задач — это генерация базовой формы объекта, причём готовность этой формы — 70–80%.

Да, кто-то скажет: а как же сетка? А как развертка? 🤨

Здесь всё зависит от цели. Если объект не предполагает анимации, его можно просто прогнать через диссеймет — автоматическую переработку сетки с сохранением формы (там, где геометрия важна, сетка почти не меняется. А где нет — оптимизируется до предела).
Для рендера или под обрисовку такой подход подходит на 80–90%. Большую часть задач можно решить прямо внутри этого пайплайна.

Да, остаётся момент: если объект нужен для анимации или на него будет фокус в игровой сцене — придётся делать и ретопологию, и UV-развертку, и дорабатывать текстуры (можно запечь текстуры для дальнейшей доработки с ИИ-модели на модель с ретопологией).

И я думаю: через полгода-год мы увидим уже более универсальные инструменты.
Ведь ретопология и развертка — это в первую очередь технические задачи, а LLM с такими задачами справляются отлично (они уже пишут код, управляют симуляциями и тд.).
Тот же GPT, если попросить «показать сетку» на изображении, сделает это почти идеально, потому что понимает правила её построения.

Осталось только это всё объединить в единый пайплайн!

3d-шники на низкий старт?😅

Генерация концепта и 3d модели заняли 20 минут со всеми корректировками. Правки модели текстуры заняли еще в районе часа.

Очень давно я был на проекте, на котором сделал под сотню подобных персонажей и раньше это занимало 1-2 дня (на уровне форм). Сейчас 2 часа:). Это я еще концепт не посчитал, на который также обычно уходило 1-3 дня (в зависимости от сложности) 🫡

P.S. В Hunyuan 2.5 есть бесплатные генерации.

P.P.S. Всё на китайском, но можно включить автоматический перевод страницы в браузере — на русский или английский. Я сам зарегистрировался методом тыка 😅 Можно выбрать регистрацию по почте:
● вводим e-mail
● нажимаем кнопку, чтобы сервис сам сгенерировал пароль и отправил его на почту
● копируем пароль
● вставляем — и всё, готово!

@VAI_ART
#VAI_General

Двойная LoRA

Ранее я уже делился одним из вариантов, как обучать LoRA. В этом посте добавлю ещё немного практической информации. 🫡

Как сгенерировать изображение с двумя людьми?
На самом деле, тут нет ничего сверхсложного — всё примерно так же, как и с генерацией одного человека.

Предположим, что вы обучили две отдельные LoRA-модели на двух разных людях. К сожалению, существующие инструменты пока не умеют одновременно применять несколько LoRA в одной генерации. Но это не проблема — есть рабочее решение.

📌 Сначала генерируем изображение с двумя персонажами. К одному из персонажей подключаем одну из готовых LoRA и описываем его. Второго также лучше заранее описать в промпте: пол, телосложение, одежду и другие важные детали персонажа — это упростит дальнейшее редактирование. Но не обязательно, так как потом можно будет заменить всего персонажа целиком.

📌После генерации переходим в режим редактирования — inpaint (писал про него тут).

📌 Выделяем нужную зону для замены. Например, если вас устраивает поза, одежда и общая композиция, но нужно изменить лицо второго персонажа — выделяем область головы (включая волосы). Можно выделить и всего человека, тогда ИИ заменит исходя из описания полностью.

📌 Добавляем уточняющий промпт, например:
woman with long blond hair

📌И самое главное — подключаем LoRA второго человека (также в стилях).

ИИ встроит нужное лицо в уже сгенерированное изображение, ориентируясь на вашу LoRA и промпт. 🙌

Работает это не так стабильно, как генерация по одной LoRA, и может не получиться с первого раза. Но со второй или третьей попытки результат обычно получается достаточно хороший.
Таким способом можно собирать изображения с 2, 3, 4 и более людьми. 💪

На обложке к посту наконец то поймал Слая использована только моя LoRA. Для известных людей можно вообще не обучать — датасеты уже давно есть у большинства моделей.

@VAI_ART
#VAI_Practice

Подкасты Notebooklm

Интересный симбиоз: можно взять статью, загрузить её в NotebookLM — и получить подкаст, созданный на основе текста.🔥🔥🔥

Я провел быстрое исследование по ИИ-технологиям с акцентом на их влияние на науку и технологии (звучит уже почти волшебно). Делился результатами вот здесь — писал про глубокое исследование.

Да, в некоторых местах слышны мелкие шероховатости, но в целом всё звучит весьма достойно.

Если лень читать длинные статьи — просто загружаете нужный материал (поддерживаются разные форматы), и получаете звуковой файл, который удобно слушать в дороге или во время тренировок.

Сейчас есть ограничения — до 500 000 слов или 200 МБ.

Реально крутая штука — попробуйте сами и послушайте, насколько это хорошо звучит.💪

P.S. Нужен VPN.

@VAI_ART
#VAI_News