🚀🚀🚀LoRA (Low-Rank Adaptation) — это метод адаптации нейросетей. Сам термин взят из математики и применяется в концепциях вычисления уравнений и матриц, где уменьшается количество независимых элементов. Метод позволяет обучать модели быстрее, с меньшими вычислительными затратами и без необходимости изменять их основную архитектуру.

Пример моего старого поста: тут как раз использовались стилевые LoRA.

Почему это важно?

Обычное обучение моделей требует огромных ресурсов (сотни тысяч изображений) и может занимать дни и даже недели. LoRA же позволяет быстро обучать модель практически на что угодно: на стили, лица, текстуры, одежду, цвета, освещение и т.д. Причём для этого достаточно небольших датасетов (около 50–100 изображений) и минимальных вычислительных мощностей.

Где используется LoRA?

LoRA применяется практически в любой модели искусственного интеллекта. Причём речь идёт не только об изображениях: этот метод также подходит для языковых моделей, генераторов музыки, видео и многих других задач. LoRA универсальна и может быть использована практически везде, где требуется адаптация нейросетей под конкретные потребности.

Как именно это помогает?

● Снижает затраты на обучение.
● Повышает точность и стабильность результатов.
● Даёт возможность быстро адаптировать модель к новой задаче.

Для локальных моделей (о которых поговорим немного позже) можно скачивать уже готовые LoRA с профильных сайтов. В основном, как и для скачивания моделей, используются:

● huggingface
● civitai

На этих платформах вы сможете найти практически всё, что есть в мире ИИ.

В различных онлайн сервисах так же можно применять. Часто там уже есть готовые решения, которые достаточно просто подключить. Ранее я уже рассматривал пример использования стилистической лоры в Midjourney тут.

LoRA делает кастомизацию ИИ доступной каждому и позволяет получать по-настоящему уникальные результаты. 🔥🔥🔥

@VAI_ART
#VAI_General

🚀🚀🚀 На днях наткнулся на интересное видео (оно будет в закрепе к посту). Суть в том, что с помощью инструментов ИИ делают полноценный облёт объекта. Ниже подробнее опишу сам процесс и добавлю идею, как это можно развить дальше.

Итак:

↪️ Сначала с помощью языковой модели (LLM) создаётся болванка. Можно использовать разные модели. Автор в примере использует Claude 3.7.
↪️ Затем по этой болванке в Magnific генерируется полноценное изображение. На прошлой неделе там появилась новая функция (обычно её называют ретекстурингом). Суть в том, что из любого изображения можно получить всё, что захочется, с точки зрения визуализации. В данном случае по болванке было сделано реалистичное изображение замка.
↪️ Далее в Runway (это видеогенератор) загружается исходное видео с облётом болванки и референсное изображение, на которое ИИ будет ориентироваться при обработке (эта функция, кстати, тоже появилась буквально на прошлой неделе).

В итоге получился неплохой пайплайн, который достаточно неплохо сохраняет детали.

Но я подумал: почему бы не пойти дальше?🤔

↪️ Берём полученное видео и снова прогоняем его через Magnific, чтобы ещё больше повысить качество.
↪️ Затем загружаем это видео в любую программу для фотограмметрии (их огромное количество, каждый найдёт на свой вкус, поэтому не буду называть конкретную).
↪️ На выходе получаем полноценную фотограмметрическую 3D-модель.

КРАСОТА ЖЕ!🔥🔥🔥

Разнообразие инструментов искусственного интеллекта позволяет создавать очень интересные пайплайны, которые прокладывают дорогу в будущее технологий.🔥🔥🔥

P.S. Сам пока не тестировал — это пока теория, но выглядит очень рабочей. Конечно, там будут проблемы: придётся перестраивать сетку (делать ретопологию) или перезапекать текстуры. Однако это стандартные и давно известные процессы, которые уже отработаны.

@VAI_ART
#VAI_Practice

🟥🟥🟥 Все уже слышали про вайб-кодинг? Если нет, то это когда человек, совершенно не зная или не влезая в программирование, пишет скрипты и куски кода с помощью языковых моделей. Частично я затрагивал эту тему тут.

Так вот, теперь у нас тут ещё и вайб-моделинг подъехал!😁 Эта тема уже около недели хайпит, но я пока не писал о ней.

Суть простая: умельцы прикрутили Claude 3.7 к Blender и получили рабочий процесс. Загружаем картинку, пишем промт, что именно нужно сделать, и нейросеть всё делает сама. Видел видео, где она даже рендер настраивает и выдаёт готовый результат.

Ещё немного, и будем просто сидеть с кружкой кофе, а нейронные мешки будут делать всё за нас! ☕️

Да, сцены пока простые, и что-то реально сложное пока не выйдет. Но кто мог представить пару лет назад, что такое вообще станет возможным ещё при нашей жизни?

Это очень круто! 🚀

@VAI_ART
#VAI_News