🚀🚀🚀LoRA (Low-Rank Adaptation) — это метод адаптации нейросетей. Сам термин взят из математики и применяется в концепциях вычисления уравнений и матриц, где уменьшается количество независимых элементов. Метод позволяет обучать модели быстрее, с меньшими вычислительными затратами и без необходимости изменять их основную архитектуру.

Пример моего старого поста: тут как раз использовались стилевые LoRA.

Почему это важно?

Обычное обучение моделей требует огромных ресурсов (сотни тысяч изображений) и может занимать дни и даже недели. LoRA же позволяет быстро обучать модель практически на что угодно: на стили, лица, текстуры, одежду, цвета, освещение и т.д. Причём для этого достаточно небольших датасетов (около 50–100 изображений) и минимальных вычислительных мощностей.

Где используется LoRA?

LoRA применяется практически в любой модели искусственного интеллекта. Причём речь идёт не только об изображениях: этот метод также подходит для языковых моделей, генераторов музыки, видео и многих других задач. LoRA универсальна и может быть использована практически везде, где требуется адаптация нейросетей под конкретные потребности.

Как именно это помогает?

● Снижает затраты на обучение.
● Повышает точность и стабильность результатов.
● Даёт возможность быстро адаптировать модель к новой задаче.

Для локальных моделей (о которых поговорим немного позже) можно скачивать уже готовые LoRA с профильных сайтов. В основном, как и для скачивания моделей, используются:

● huggingface
● civitai

На этих платформах вы сможете найти практически всё, что есть в мире ИИ.

В различных онлайн сервисах так же можно применять. Часто там уже есть готовые решения, которые достаточно просто подключить. Ранее я уже рассматривал пример использования стилистической лоры в Midjourney тут.

LoRA делает кастомизацию ИИ доступной каждому и позволяет получать по-настоящему уникальные результаты. 🔥🔥🔥

@VAI_ART
#VAI_General

🚀🚀🚀 На днях наткнулся на интересное видео (оно будет в закрепе к посту). Суть в том, что с помощью инструментов ИИ делают полноценный облёт объекта. Ниже подробнее опишу сам процесс и добавлю идею, как это можно развить дальше.

Итак:

↪️ Сначала с помощью языковой модели (LLM) создаётся болванка. Можно использовать разные модели. Автор в примере использует Claude 3.7.
↪️ Затем по этой болванке в Magnific генерируется полноценное изображение. На прошлой неделе там появилась новая функция (обычно её называют ретекстурингом). Суть в том, что из любого изображения можно получить всё, что захочется, с точки зрения визуализации. В данном случае по болванке было сделано реалистичное изображение замка.
↪️ Далее в Runway (это видеогенератор) загружается исходное видео с облётом болванки и референсное изображение, на которое ИИ будет ориентироваться при обработке (эта функция, кстати, тоже появилась буквально на прошлой неделе).

В итоге получился неплохой пайплайн, который достаточно неплохо сохраняет детали.

Но я подумал: почему бы не пойти дальше?🤔

↪️ Берём полученное видео и снова прогоняем его через Magnific, чтобы ещё больше повысить качество.
↪️ Затем загружаем это видео в любую программу для фотограмметрии (их огромное количество, каждый найдёт на свой вкус, поэтому не буду называть конкретную).
↪️ На выходе получаем полноценную фотограмметрическую 3D-модель.

КРАСОТА ЖЕ!🔥🔥🔥

Разнообразие инструментов искусственного интеллекта позволяет создавать очень интересные пайплайны, которые прокладывают дорогу в будущее технологий.🔥🔥🔥

P.S. Сам пока не тестировал — это пока теория, но выглядит очень рабочей. Конечно, там будут проблемы: придётся перестраивать сетку (делать ретопологию) или перезапекать текстуры. Однако это стандартные и давно известные процессы, которые уже отработаны.

@VAI_ART
#VAI_Practice