Apple делает новый шаг к диверсификации ИИ-архитектур

На фоне кадровых перестановок совсем тихо прошла новость, что компания ищет свою альтернативу диффузионным нейросетям. Apple выпустила в паблик исходники STARFlow-V — первой модели для генерации видео на основе нормализующих потоков.

Модель делит работу на два уровня:

▪️ «Планировщик» предсказывает, что должно случиться дальше, глядя только в прошлые кадры (строго причинно, удобно для стриминга/интерактива);
▪️ «Художник» дорисовывает детали внутри каждого кадра, не заглядывая в будущее.

За счёт такой сборки меньше «сползания» сюжета на длинных роликах и естественная причинность. Не «разшумили сотней шагов», а идём покадрово слева направо, ближе к тому, как ролик реально выводится.

Датасет состоял из примерно 70 млн пар «текст–видео» и 400 млн «текст–изображение»; итоговая 7B-модель генерирует 480p при 16 fps. Работает в сжатом латентном пространстве и благодаря обратимости потоков из коробки поддерживает text-to-video, image-to-video, video-to-video и реконструкцию из латентного представления — без переделки архитектуры и дообучения под каждую задачу.

Демонстрации показывают уверенную обработку сложных движений, света, теней и перспективы, хоть и в низком разрешении. Пока это только эксперимент. Но кажется, что причинная генерация со стриминговым выводом — хороший вектор для развития интерактивного live-контента.

@anti_agi

Разные полезности про 🍌Нано Банану Про🍌

1. В Твиттер блоге Google Ai Studio вышла статья: "Полное руководство по Nano Banana Pro: 10 советов для профессионального создания ассетов". Чтобы вам не лезть в это проклятое место, перевел материал — ЗДЕСЬ. Картинки прилагаются.

2. На Гитхабе энтузиасты начали выкладывать разные сценарии использования Бананы Про, можно что-то подсмотреть для себя. Материал обновляемый. ЗДЕСЬ.

3. Обновил бота промтера для Бананы, теперь он выдает два промта — для обычной и прошки — ЗДЕСЬ.

🍌