Новый генератор картинок от Микрософта. С кодом
Microsoft Lens:
Base datasets Lens-800M
3.8B DIT with 48-block MMDiT
FLUX.2 VAE
TE ~GPT-OSS 20B
Base resolution 1440×1440
4step Lens-turbo without and 50 steps Lens-Base with CFG
Главный плюс - она очень быстрая. Ну и опенсорсная.
На этом плюсы как-то приподзаканчиваются.
Она еще как-то затаскивает абстрактные картинки, концепты, узоры. Но сыпится на людях.
Но самое удивительное, что у нее практически нет цензуры. Даже на уровне демо.
Правда ее видение анатомии вселяет священный ужас (не открывайте картинку ни в коем случае).
Демо тут:
https://huggingface.co/spaces/multimodalart/lens
Модели:
https://huggingface.co/microsoft/Lens
https://huggingface.co/microsoft/Lens-Turbo
https://huggingface.co/microsoft/Lens-Base
Код:
https://github.com/microsoft/Lens
Комфи:
https://huggingface.co/Comfy-Org/Lens
@cgevent
Microsoft Lens:
Base datasets Lens-800M
3.8B DIT with 48-block MMDiT
FLUX.2 VAE
TE ~GPT-OSS 20B
Base resolution 1440×1440
4step Lens-turbo without and 50 steps Lens-Base with CFG
Главный плюс - она очень быстрая. Ну и опенсорсная.
На этом плюсы как-то приподзаканчиваются.
Она еще как-то затаскивает абстрактные картинки, концепты, узоры. Но сыпится на людях.
Но самое удивительное, что у нее практически нет цензуры. Даже на уровне демо.
Правда ее видение анатомии вселяет священный ужас (не открывайте картинку ни в коем случае).
Демо тут:
https://huggingface.co/spaces/multimodalart/lens
Модели:
https://huggingface.co/microsoft/Lens
https://huggingface.co/microsoft/Lens-Turbo
https://huggingface.co/microsoft/Lens-Base
Код:
https://github.com/microsoft/Lens
Комфи:
https://huggingface.co/Comfy-Org/Lens
@cgevent
😱31😁29❤8👍4👎4
This media is not supported in your browser
VIEW IN TELEGRAM
Gemini Omni: перевод, липсинк и дубляж с попаданием в губы.
Тут некоторые стартапы нервно закурили на лестнице, ведущей вниз.
Омни может переводить аудио, даже если в промпте не указано ни исходного, ни переведенного текста:
- попадает в губы для нового языка
- фоновая музыка остается без изменений
- при необходимости корректирует длину ролика(!).
Например, японская и испанская фразы во время крупного плана с кремом длиннее, поэтому Омни просто домонтирует пару секунд сама.
@cgevent
Тут некоторые стартапы нервно закурили на лестнице, ведущей вниз.
Омни может переводить аудио, даже если в промпте не указано ни исходного, ни переведенного текста:
- попадает в губы для нового языка
- фоновая музыка остается без изменений
- при необходимости корректирует длину ролика(!).
Например, японская и испанская фразы во время крупного плана с кремом длиннее, поэтому Омни просто домонтирует пару секунд сама.
@cgevent
🔥116👍27❤12
Seedance 2.0 - 16fps?
Довольно интересная статья, из которой следует, что 24фпс, которые выдает Сиданский - это на самом деле 16фпс, разогнанные до 24 путем дублирования каждого второго кадра.
Ну то есть кадры можно пронумеровать и представить вот так:
1 2 2
3 4 4
5 6 6
7 8 8
9 10 10
11 12 12
Где одинаковые номера - это дубликаты.
Автор заметил это, когда склеивал несколько клипов и смотрел на стыки.
Там также интересный анализ видеопотока.
За кадром остаётся вопрос почему и зачем Сидэнс так делает (экономия, датасеты).
Но самые глазастые могу почувствовать эффект stutter - "заикание/залипание".
Автор предлагает всем проверить его результаты и даёт все инструменты для этого.
https://x.com/TomLikesRobots/status/2058866439352688907
@cgevent
Довольно интересная статья, из которой следует, что 24фпс, которые выдает Сиданский - это на самом деле 16фпс, разогнанные до 24 путем дублирования каждого второго кадра.
Ну то есть кадры можно пронумеровать и представить вот так:
1 2 2
3 4 4
5 6 6
7 8 8
9 10 10
11 12 12
Где одинаковые номера - это дубликаты.
Автор заметил это, когда склеивал несколько клипов и смотрел на стыки.
Там также интересный анализ видеопотока.
За кадром остаётся вопрос почему и зачем Сидэнс так делает (экономия, датасеты).
Но самые глазастые могу почувствовать эффект stutter - "заикание/залипание".
Автор предлагает всем проверить его результаты и даёт все инструменты для этого.
https://x.com/TomLikesRobots/status/2058866439352688907
@cgevent
👍33😱21🔥8❤6👎3😁1
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка
«Сицилимпилимбилия»
Автор: Олег Усков (@quentyn_oleg)
YouTube:
VK:
Я принял участие в ИИ-кинофестивале @MyFilm48. За 96 часов нужно было создать короткометражный фильм на одну из предложенных тем. Лейтмотив этого сезона - Канны, я выбрал тему «Путешествие на Круазетт» · Professional. Уже около 20 лет я занимаюсь графическим дизайном: упаковкой, вебом, 3D — в общем, полный набор, но кино никогда не делал. Это мой дебютный фильм.
Написание сценария заняло около 12 часов — с 16:00 до 4:00. У меня были наброски безумных словечек ещё со студенчества, и я связал их в единую концепцию детской сказки, а затем думал, как сделать из этого комедию и при этом не показаться сумасшедшим)
ChatGPT использовался как помощник для раскадровки, но, честно говоря, было много проблем: он постоянно путался в терминологии, пытался что-то додумывать, и получалось это не всегда удачно)
Изначально я продумывал каждого персонажа: как они попали в эту точку, какие у них странности. Отдельно описывал внешний вид и поведение каждого в разных ситуациях. Поэтому дальше хоть сериал могу зафигачить с ними) Также заранее продумывал локации, чтобы во втором акте сделать красивый таймлапс.
Раскадровку я делал практически на каждый ракурс и каждую сцену. Мне было важно создать эффект последовательного повествования и атмосферу серьёзного фильма. За изображения в основном отвечала ChatGPT Image 2.0, часть делалась в Nano Banana 2, а затем дорабатывалась вручную в старом добром Photoshop. Встроенные Firefly и Nano Banana тоже помогали в процессе.
ChatGPT делает очень реалистичные картинки и хорошо понимает человеческий язык без сложных промтов, а ещё отлично сохраняет персонажей, но у него много ограничений. В Nano Banana, наоборот, можно творить огромное количество дичи, но и ошибок там в разы больше.
По видео: Adobe Premier, KLING 3 (всех разновидностей) и SEEDANCE 2.0. Сначала я делал блоки по 15 секунд мультишотом, собирал фундамент, а потом дорабатывал каждую сцену отдельно — обычно по 3–6 секунд. Основная платформа для реализации была – TapNow она дала мне 24 000 токенов на создание фильма — это эквивалент примерно 240$. Абсолютно всё было благополучно потрачено на видео) Так же использовал платформу weavy для каких-то доделок.
SEEDANCE дороговат, поэтому использовался только там, где KLING уже просто не мог выдать нужный результат. SEEDANCE объективно умнее и точнее понимает промты — без него некоторых сцен просто не существовало бы.
Нейросетевая озвучка мне не понравилась. Я собрал первую версию фильма, и с такой озвучкой она была попросту несмешной. Сначала я начал начитывать текст за режиссёра сам, но в итоге отдал эту роль своему другу, а сам озвучил Миллиардера — под него мой голос подошёл лучше.
Конечно, английские диалоги остались нейросетевыми, и приходилось немного поднимать и опускать голоса по тональности, чтобы хоть как-то всё сгладить. После всех этих манипуляций я отдал материал звукорежиссёру, и он за скромные 40$ сделал из ужасного звука с диктофона и остальных исходников вполне слушаемый и вменяемый результат — именно то, что вы слышите в финале.
Напоминаю: всё делалось в адском agile-режиме, и времени сравнивать, выбирать и доводить до идеала просто не было. Но когда я проснулся после сдачи, я все же немного допилил фильм, и убрал ляпы которые меня наиболее сильно бесили, и даже оставил одну пасхалку.
За музыку отвечает наша с другом группа «Проект Котята». Тоже готовим релизы в ближайшее время.
Липсинк — SyncPro 3, ну, может, долларов 5)
➡️ ИТОГ: около 300$ на все про все, 96 часов работы, минимум сна. Было бы баксов 500-700 и хотя бы 144 часов, думаю можно было бы сделать приблизительно идеально.
Мой фильм выиграл в двух номинация, и был показан во Франции.
В Каннах 21 мая в отеле Gray d'Albion подведены итоги VII сезона международного кинофестиваля @MyFilm48.
🏆«Сицилимпилимбилия» занял 1-е место в категории «Путешествие на Круазетт» · Professional VII сезона @MyFilm48.
🏆Специальный приз жюри от AI Film Awards.
@cgevent
«Сицилимпилимбилия»
Автор: Олег Усков (@quentyn_oleg)
YouTube:
VK:
Я принял участие в ИИ-кинофестивале @MyFilm48. За 96 часов нужно было создать короткометражный фильм на одну из предложенных тем. Лейтмотив этого сезона - Канны, я выбрал тему «Путешествие на Круазетт» · Professional. Уже около 20 лет я занимаюсь графическим дизайном: упаковкой, вебом, 3D — в общем, полный набор, но кино никогда не делал. Это мой дебютный фильм.
Написание сценария заняло около 12 часов — с 16:00 до 4:00. У меня были наброски безумных словечек ещё со студенчества, и я связал их в единую концепцию детской сказки, а затем думал, как сделать из этого комедию и при этом не показаться сумасшедшим)
ChatGPT использовался как помощник для раскадровки, но, честно говоря, было много проблем: он постоянно путался в терминологии, пытался что-то додумывать, и получалось это не всегда удачно)
Изначально я продумывал каждого персонажа: как они попали в эту точку, какие у них странности. Отдельно описывал внешний вид и поведение каждого в разных ситуациях. Поэтому дальше хоть сериал могу зафигачить с ними) Также заранее продумывал локации, чтобы во втором акте сделать красивый таймлапс.
Раскадровку я делал практически на каждый ракурс и каждую сцену. Мне было важно создать эффект последовательного повествования и атмосферу серьёзного фильма. За изображения в основном отвечала ChatGPT Image 2.0, часть делалась в Nano Banana 2, а затем дорабатывалась вручную в старом добром Photoshop. Встроенные Firefly и Nano Banana тоже помогали в процессе.
ChatGPT делает очень реалистичные картинки и хорошо понимает человеческий язык без сложных промтов, а ещё отлично сохраняет персонажей, но у него много ограничений. В Nano Banana, наоборот, можно творить огромное количество дичи, но и ошибок там в разы больше.
По видео: Adobe Premier, KLING 3 (всех разновидностей) и SEEDANCE 2.0. Сначала я делал блоки по 15 секунд мультишотом, собирал фундамент, а потом дорабатывал каждую сцену отдельно — обычно по 3–6 секунд. Основная платформа для реализации была – TapNow она дала мне 24 000 токенов на создание фильма — это эквивалент примерно 240$. Абсолютно всё было благополучно потрачено на видео) Так же использовал платформу weavy для каких-то доделок.
SEEDANCE дороговат, поэтому использовался только там, где KLING уже просто не мог выдать нужный результат. SEEDANCE объективно умнее и точнее понимает промты — без него некоторых сцен просто не существовало бы.
Нейросетевая озвучка мне не понравилась. Я собрал первую версию фильма, и с такой озвучкой она была попросту несмешной. Сначала я начал начитывать текст за режиссёра сам, но в итоге отдал эту роль своему другу, а сам озвучил Миллиардера — под него мой голос подошёл лучше.
Конечно, английские диалоги остались нейросетевыми, и приходилось немного поднимать и опускать голоса по тональности, чтобы хоть как-то всё сгладить. После всех этих манипуляций я отдал материал звукорежиссёру, и он за скромные 40$ сделал из ужасного звука с диктофона и остальных исходников вполне слушаемый и вменяемый результат — именно то, что вы слышите в финале.
Напоминаю: всё делалось в адском agile-режиме, и времени сравнивать, выбирать и доводить до идеала просто не было. Но когда я проснулся после сдачи, я все же немного допилил фильм, и убрал ляпы которые меня наиболее сильно бесили, и даже оставил одну пасхалку.
За музыку отвечает наша с другом группа «Проект Котята». Тоже готовим релизы в ближайшее время.
Липсинк — SyncPro 3, ну, может, долларов 5)
Мой фильм выиграл в двух номинация, и был показан во Франции.
В Каннах 21 мая в отеле Gray d'Albion подведены итоги VII сезона международного кинофестиваля @MyFilm48.
🏆«Сицилимпилимбилия» занял 1-е место в категории «Путешествие на Круазетт» · Professional VII сезона @MyFilm48.
🏆Специальный приз жюри от AI Film Awards.
@cgevent
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥87👎41👍20❤13
Forwarded from эйай ньюз
Bonsai Image 4B — чудеса квантизации
Стартап PrismML, специализирующийся на экстремальном сжатии моделек, сделал квантизированную до одного бита FLUX.2 Klein 4B, вышло на удивление достойно. С таким уровнем квантизации Diffusion Transformer занимает всего лишь 930 мегабайт в 1-битном варианте и 1.2 гигабайта в тернарном варианте. Текстовый энкодер настолько же сильно ужать не удалось, поэтому весь комплект весит ~3.5 гига.
Такая квантизация позволяет запускать модель прямо в браузере и на телефонах, используя лишь 2 гигабайта оперативки. На генерацию 512x512 картинки на iPhone 17 Pro Max с такой моделью уходит 9.4 секунды при 4 шагах, что неплохо если учитывать факт офлоадинга. Ждём моделек побольше, для локального деплоймента.
Инференс в браузере
Веса
@ai_newz
Стартап PrismML, специализирующийся на экстремальном сжатии моделек, сделал квантизированную до одного бита FLUX.2 Klein 4B, вышло на удивление достойно. С таким уровнем квантизации Diffusion Transformer занимает всего лишь 930 мегабайт в 1-битном варианте и 1.2 гигабайта в тернарном варианте. Текстовый энкодер настолько же сильно ужать не удалось, поэтому весь комплект весит ~3.5 гига.
Такая квантизация позволяет запускать модель прямо в браузере и на телефонах, используя лишь 2 гигабайта оперативки. На генерацию 512x512 картинки на iPhone 17 Pro Max с такой моделью уходит 9.4 секунды при 4 шагах, что неплохо если учитывать факт офлоадинга. Ждём моделек побольше, для локального деплоймента.
Инференс в браузере
Веса
@ai_newz
👍23🔥10❤5
Media is too big
VIEW IN TELEGRAM
ElevenLabs Music V2
Обновили свою модель генерации музыки.
Inpainting - можно перегенерить только выбранную часть трека.
Быстрые смены стиля прямо внутри одного трека
Немузыкальные шумовые эффекты внутри треков.
Но самое интересное, что они обещают API, чего нет у SUNO.
Впрочем, китайские умельцы уже давно соорудили лайфхаки:
https://kie.ai/suno-api
@cgevent
Обновили свою модель генерации музыки.
Inpainting - можно перегенерить только выбранную часть трека.
Быстрые смены стиля прямо внутри одного трека
Немузыкальные шумовые эффекты внутри треков.
Но самое интересное, что они обещают API, чего нет у SUNO.
Впрочем, китайские умельцы уже давно соорудили лайфхаки:
https://kie.ai/suno-api
@cgevent
👍23❤9
Небольшой промпт-гайд для Gemini Omni прямо от Google
Есть примеры промптов
Основные правила
1. Используйте знания из реального мира.
Вам не нужно слишком подробно объяснять мир Gemini Omni. Он создан с учетом глубокого понимания истории, науки и культуры, поэтому может надежно создавать результаты, которые выглядят, ощущаются и движутся реалистично. Избегайте подробных описаний. Используйте культурные ориентиры, исторические эпохи или научные термины непосредственно в своем задании.
2. Возьмите под контроль отрисовку текста.
Gemini Omni не только обладает расширенными возможностями рендеринга текста, но и позволяет плавно интегрировать текст в визуальные эффекты. Вы можете задать типографику, пространственное расположение, стили анимации и сложные визуальные эффекты, такие как двойная экспозиция, — всё это идеально синхронизировано с действием в вашем видео.
3. Направляйте камеру.
Думайте как оператор. Omni невероятно хорошо реагирует на точные указания по видеосъемке, типам камер и кадрированию. Попробуйте включать эти термины в ваши промпты.
4. Монтаж и композ.
Каждое отличное видео создается на этапе монтажа. С Gemini Omni вам не нужно переписывать весь сценарий с нуля, чтобы исправить одну-единственную ошибку. Запросите конкретные, целенаправленные изменения, например, смену фона или замену подписи. Omni сохранит основную структуру вашего видео при многократном внесении правок, позволяя вам сосредоточиться только на том, что нуждается в корректировке.
Хотите изменить темп или эмоции персонажа прямо посреди сцены? Вы можете напрямую настроить Gemini Omni на изменение движений или взаимодействия объекта с окружающей средой, не нарушая целостность модели персонажа.
https://x.com/GoogleAI/status/2059381218660270435
@cgevent
Есть примеры промптов
Основные правила
1. Используйте знания из реального мира.
Вам не нужно слишком подробно объяснять мир Gemini Omni. Он создан с учетом глубокого понимания истории, науки и культуры, поэтому может надежно создавать результаты, которые выглядят, ощущаются и движутся реалистично. Избегайте подробных описаний. Используйте культурные ориентиры, исторические эпохи или научные термины непосредственно в своем задании.
2. Возьмите под контроль отрисовку текста.
Gemini Omni не только обладает расширенными возможностями рендеринга текста, но и позволяет плавно интегрировать текст в визуальные эффекты. Вы можете задать типографику, пространственное расположение, стили анимации и сложные визуальные эффекты, такие как двойная экспозиция, — всё это идеально синхронизировано с действием в вашем видео.
3. Направляйте камеру.
Думайте как оператор. Omni невероятно хорошо реагирует на точные указания по видеосъемке, типам камер и кадрированию. Попробуйте включать эти термины в ваши промпты.
4. Монтаж и композ.
Каждое отличное видео создается на этапе монтажа. С Gemini Omni вам не нужно переписывать весь сценарий с нуля, чтобы исправить одну-единственную ошибку. Запросите конкретные, целенаправленные изменения, например, смену фона или замену подписи. Omni сохранит основную структуру вашего видео при многократном внесении правок, позволяя вам сосредоточиться только на том, что нуждается в корректировке.
Хотите изменить темп или эмоции персонажа прямо посреди сцены? Вы можете напрямую настроить Gemini Omni на изменение движений или взаимодействия объекта с окружающей средой, не нарушая целостность модели персонажа.
https://x.com/GoogleAI/status/2059381218660270435
@cgevent
1👍34🔥12❤6
Forwarded from Neural Shit
Таки там прошла первая Олимпиада для биохакеров-торчков. Enhanced Games.
Концепт прост и незатейлив: отменяем все спортивные комиссии и допинг-контроли, вкалываем в себя всё, что не прибито к полу, и идём ставить мировые рекорды. Организаторы гордо выкатили статистику подготовки: 91% атлетов плотно сидели на тестостероне, 79% на гормоне роста, а ещё в ход шли стимуляторы и прочие спиды. За обычную победу давали 250к долларов, за мировой рекорд лям баксов.
Казалось бы, нас ждёт парад мутантов-супергероев. Но всё прошло скучно:
— Американский спринтер Фред Керли обещал разорвать рекорд Усэйна Болта в клочья, а в итоге пробежал 100 метров за 9.97 сек. На обычной олимпиаде в Париже несколько лет назад он же бежал без всякой фармы и показал 9.81.
— Чистые спортсмены которые затесались на этот праздник химии, умудрились выиграть несколько дисциплин.
— Единственный мировой рекорд выдал грек: 50 метров вольным стилем за 20.81. На 0.07 быстрее официального мирового рекорда. Правда, этот чувак помимо запрещенных веществ использовал какой-то хитрый запрещённый плавательный костюм. А потом интернет-сыщики ещё и выяснили, что у организаторов были какие-то траблы с таймером.
Пока вывод такой:на обычной Олимпиаде фарма посильнее будет химия, это прошлый век и полумеры. Ждём, когда выкатят чувака с титановыми ногами от Бостон Динамикс, вот тогда и поговорим про рекорды.
тут подробнее
Концепт прост и незатейлив: отменяем все спортивные комиссии и допинг-контроли, вкалываем в себя всё, что не прибито к полу, и идём ставить мировые рекорды. Организаторы гордо выкатили статистику подготовки: 91% атлетов плотно сидели на тестостероне, 79% на гормоне роста, а ещё в ход шли стимуляторы и прочие спиды. За обычную победу давали 250к долларов, за мировой рекорд лям баксов.
Казалось бы, нас ждёт парад мутантов-супергероев. Но всё прошло скучно:
— Американский спринтер Фред Керли обещал разорвать рекорд Усэйна Болта в клочья, а в итоге пробежал 100 метров за 9.97 сек. На обычной олимпиаде в Париже несколько лет назад он же бежал без всякой фармы и показал 9.81.
— Чистые спортсмены которые затесались на этот праздник химии, умудрились выиграть несколько дисциплин.
— Единственный мировой рекорд выдал грек: 50 метров вольным стилем за 20.81. На 0.07 быстрее официального мирового рекорда. Правда, этот чувак помимо запрещенных веществ использовал какой-то хитрый запрещённый плавательный костюм. А потом интернет-сыщики ещё и выяснили, что у организаторов были какие-то траблы с таймером.
Пока вывод такой:
тут подробнее
Telegram
Neural Shit
Сооснователь PayPal и один из ранних инвесторов Facebook* Питер Тиль вложился в Олимпиаду с разрешённым допингом
Проект называется Enhanced Games, и первые соревнования запланированы на декабрь этого года. Авторы, гордо прикрываясь мотивом спортивном революции…
Проект называется Enhanced Games, и первые соревнования запланированы на декабрь этого года. Авторы, гордо прикрываясь мотивом спортивном революции…
😁47❤9
Forwarded from Сиолошная
Anthropic выпустили пост-обновление про Mythos и Project Glasswing с промежуточными результатами.
Спустя месяц большинство партнеров обнаружили в своем коде сотни уязвимостей критического и высокого уровня опасности каждый. В общей сложности они выявили десятки тысяч уязвимостей. Некоторые из партнёров сообщили, что скорость обнаружения багов выросла более чем в десять раз. Например, компания Cloudflare нашла 2000 уязвимостей (400 из которых имеют высокий или критический уровень опасности) в своих критически важных системах, при этом доля ложных срабатываний, по мнению команды Cloudflare, оказалась ниже, чем у тестировщиков-людей.
Я видел много комментариев про то, что, мол, Mythos да может что-то находит, но наверняка выдаёт и много мусора, где уязвимостей нет — так вот это не так. Помимо закрытых проектов, Anthropic натравили Mythos и на опенсурс для сканирования более 1000 крупных репозиториев, на которых во многом держится современный интернет. На данный момент, по оценкам Anthropic, в этих проектах найдено 6202 уязвимости высокого или критического уровня (из 23 тысяч в общей сложности, включая те, которые относятся к среднему или низкому уровню опасности).
На данный момент лишь 1752 из этих уязвимостей с высоким и критическим уровнем прошли тщательную проверку силами одной из шести независимых исследовательских компаний в сфере кибербезопасности. Из них 90% оказались подтвержденными, а 62% (1100 штук) были классифицированы именно как уязвимости высокого или критического уровня.
Некоторые из уязвимостей носили очень серьёзный уровень угрозы, если бы они были обнаружены злоумышленниками. Как пример, Mythos смо написать эксплойт, который позволил бы злоумышленнику подделывать сертификаты через библиотеку wolfSSL. Это, к примеру, дало бы ему возможность разместить фальшивый сайт банка или почтового провайдера, и для конечного пользователя такой сайт выглядел бы абсолютно легитимным, браузер не показал бы никаких уведомлений.
Обнаруженные уязвимости льются как из рога изобилия, их не успевают исправлять, не хватает людей. Некоторые команды/проекты даже просили снизить темпы раскрытия информации об уязвимостях, поскольку им требуется больше времени на создание патчей. (В среднем, на устранение бага высокого или критического уровня, найденного с помощью Mythos Preview, уходит две недели).
В настоящее время ни одна компания — включая Anthropic — не разработала достаточно надежных механизмов защиты, способных предотвратить использование подобных ИИ-моделей во зло и для причинения потенциально серьезного ущерба. Именно поэтому к модели не дают доступ широкой аудитории. Но по этой же причине и был запущен Project Glasswing: если модель с аналогичными возможностями будет выпущена кем-то без соответствующих мер, то в скором времени для любого человека в мире станет значительно дешевле и проще эксплуатировать уязвимый код.
Спустя месяц большинство партнеров обнаружили в своем коде сотни уязвимостей критического и высокого уровня опасности каждый. В общей сложности они выявили десятки тысяч уязвимостей. Некоторые из партнёров сообщили, что скорость обнаружения багов выросла более чем в десять раз. Например, компания Cloudflare нашла 2000 уязвимостей (400 из которых имеют высокий или критический уровень опасности) в своих критически важных системах, при этом доля ложных срабатываний, по мнению команды Cloudflare, оказалась ниже, чем у тестировщиков-людей.
Я видел много комментариев про то, что, мол, Mythos да может что-то находит, но наверняка выдаёт и много мусора, где уязвимостей нет — так вот это не так. Помимо закрытых проектов, Anthropic натравили Mythos и на опенсурс для сканирования более 1000 крупных репозиториев, на которых во многом держится современный интернет. На данный момент, по оценкам Anthropic, в этих проектах найдено 6202 уязвимости высокого или критического уровня (из 23 тысяч в общей сложности, включая те, которые относятся к среднему или низкому уровню опасности).
На данный момент лишь 1752 из этих уязвимостей с высоким и критическим уровнем прошли тщательную проверку силами одной из шести независимых исследовательских компаний в сфере кибербезопасности. Из них 90% оказались подтвержденными, а 62% (1100 штук) были классифицированы именно как уязвимости высокого или критического уровня.
Некоторые из уязвимостей носили очень серьёзный уровень угрозы, если бы они были обнаружены злоумышленниками. Как пример, Mythos смо написать эксплойт, который позволил бы злоумышленнику подделывать сертификаты через библиотеку wolfSSL. Это, к примеру, дало бы ему возможность разместить фальшивый сайт банка или почтового провайдера, и для конечного пользователя такой сайт выглядел бы абсолютно легитимным, браузер не показал бы никаких уведомлений.
Обнаруженные уязвимости льются как из рога изобилия, их не успевают исправлять, не хватает людей. Некоторые команды/проекты даже просили снизить темпы раскрытия информации об уязвимостях, поскольку им требуется больше времени на создание патчей. (В среднем, на устранение бага высокого или критического уровня, найденного с помощью Mythos Preview, уходит две недели).
В настоящее время ни одна компания — включая Anthropic — не разработала достаточно надежных механизмов защиты, способных предотвратить использование подобных ИИ-моделей во зло и для причинения потенциально серьезного ущерба. Именно поэтому к модели не дают доступ широкой аудитории. Но по этой же причине и был запущен Project Glasswing: если модель с аналогичными возможностями будет выпущена кем-то без соответствующих мер, то в скором времени для любого человека в мире станет значительно дешевле и проще эксплуатировать уязвимый код.
😱23❤10😁4👍1
Немного мыслей про уязвимости по мотивам предыдущего поста.
"Обнаруженные уязвимости льются как из рога изобилия, их не успевают исправлять, не хватает людей. Некоторые команды/проекты даже просили снизить темпы раскрытия информации об уязвимостях, поскольку им требуется больше времени на создание патчей."
Пока речь идет про уязвимости в коде. Но интересно взглянуть на проблему шире.
Кожаные успели себе "накодить" не только тонны кода, но и некоторое количество правил, законов, парадигм, которые не описываются только кодом.
Ну например медицину, экономику, юриспруденцию.
Про медицину - отдельный вопрос, какие баги найдет ИИ в описательной кожаной медицине.
Про экономику - похоже кожаные накодили плохо, все кризисы предсказываются задним числом, а ИИ в качестве управления инвестициями показывает себя плохо. Скорее всего не потому что он тупой, а потому что "код экономики" не просто забагован, а не имеет стройной (а не спекулятивной) матбазы.
А вот с юристами интереснее. Кожаные "накодили" себе законов, в которых же сами постоянно ищут дыры, прецеденты, исключения. И тут ИИ может развернуться по полной. И речь не только про поиск дыр в контрактах, а вообще в своде законов, в котором есть уязвимости и противоречия. Интересно, как кожаные будут латать эти дыры, когда ИИ начнет их тыкать мордой в эти кейсы.
За рамками дискуссии можно оставить мысль, что каждый кожаный после рождения "кодит" у себя в голове модель мира (которая часто ничего общего с миром не имеет). Когда ИИ начнет находить уязвимости в этом ментальном коде - как он будет это использовать?
@cgevent
"Обнаруженные уязвимости льются как из рога изобилия, их не успевают исправлять, не хватает людей. Некоторые команды/проекты даже просили снизить темпы раскрытия информации об уязвимостях, поскольку им требуется больше времени на создание патчей."
Пока речь идет про уязвимости в коде. Но интересно взглянуть на проблему шире.
Кожаные успели себе "накодить" не только тонны кода, но и некоторое количество правил, законов, парадигм, которые не описываются только кодом.
Ну например медицину, экономику, юриспруденцию.
Про медицину - отдельный вопрос, какие баги найдет ИИ в описательной кожаной медицине.
Про экономику - похоже кожаные накодили плохо, все кризисы предсказываются задним числом, а ИИ в качестве управления инвестициями показывает себя плохо. Скорее всего не потому что он тупой, а потому что "код экономики" не просто забагован, а не имеет стройной (а не спекулятивной) матбазы.
А вот с юристами интереснее. Кожаные "накодили" себе законов, в которых же сами постоянно ищут дыры, прецеденты, исключения. И тут ИИ может развернуться по полной. И речь не только про поиск дыр в контрактах, а вообще в своде законов, в котором есть уязвимости и противоречия. Интересно, как кожаные будут латать эти дыры, когда ИИ начнет их тыкать мордой в эти кейсы.
За рамками дискуссии можно оставить мысль, что каждый кожаный после рождения "кодит" у себя в голове модель мира (которая часто ничего общего с миром не имеет). Когда ИИ начнет находить уязвимости в этом ментальном коде - как он будет это использовать?
@cgevent
1👍70🔥14❤9😁2
This media is not supported in your browser
VIEW IN TELEGRAM
Метаверс, который мы заслужили.
Наконец-то нормальное применение VR, а понятие удаленная работа приобретает нужный смысл.
И, мне кажется, братья Вачовски нам чего-то не договаривали.
@cgevent
Наконец-то нормальное применение VR, а понятие удаленная работа приобретает нужный смысл.
И, мне кажется, братья Вачовски нам чего-то не договаривали.
@cgevent
😁59😱10👎4🔥4👍2❤1
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка
"Переход"
Автор — Руслан Аларханов @ruslan_alarhanov
Ролик создавался как личная реклама в качестве ai-creatora.
Это мой второй опыт, ошибок много, но полагаюсь на то, что людям понравится сам вайбик.
Мне хотелось сделать сцену где все со всем связано. Чтобы переходы были из одной сцены в другую.
Использовал по классике бабану 2 для генерации себя и рефов, ну и Seedance 2.0.
Озвучку сиденс сделал на русском, но она была кривая. Поэтому пришлось самому записывать свой голос и уже крутить его, чтобы голос вписался в окружение.
В первый день я проработал сценарий, продумал свою речь в видео. Потом 2 дня собирал все шоты в Seedance 2.0 и финальный день вместе с другом звукорежиссером @abikhs сделали саунд дизайн.
Ушло 80-100к кредитов в Magnific (бывший Freepik)
Косяки уже вижу сам, но мне интересно все равно ваше мнение 🤝
@cgevent
"Переход"
Автор — Руслан Аларханов @ruslan_alarhanov
Ролик создавался как личная реклама в качестве ai-creatora.
Это мой второй опыт, ошибок много, но полагаюсь на то, что людям понравится сам вайбик.
Мне хотелось сделать сцену где все со всем связано. Чтобы переходы были из одной сцены в другую.
Использовал по классике бабану 2 для генерации себя и рефов, ну и Seedance 2.0.
Озвучку сиденс сделал на русском, но она была кривая. Поэтому пришлось самому записывать свой голос и уже крутить его, чтобы голос вписался в окружение.
В первый день я проработал сценарий, продумал свою речь в видео. Потом 2 дня собирал все шоты в Seedance 2.0 и финальный день вместе с другом звукорежиссером @abikhs сделали саунд дизайн.
Ушло 80-100к кредитов в Magnific (бывший Freepik)
Косяки уже вижу сам, но мне интересно все равно ваше мнение 🤝
@cgevent
👎103👍43🔥10❤9😁1😱1
This media is not supported in your browser
VIEW IN TELEGRAM
Stream Diffusion только для музыки.
Очень прикольный проект.
Реалтаймовый генератор музыки как отдельного инструмента\трека с привязкой к хардверным крутилкам.
Под капотом опенсорсный ACEStep1.5. Все это летает на локальной машине (30/40/5090), а крутилки хардверного пульта напрямую влияют на параметры генерации.
Это позволяет играть на ACEStep как на музыкальном инструменте, создавая ремиксы песен и лупов с обратной связью, которая не отстает от реального времени.
Звучит очень интересно.
https://daydreamlive.github.io/DEMON/
Есть демо:
https://music.daydream.live/
https://civitai.com/models/2416425/acestep-loras
https://huggingface.co/daydreamlive/DreamVAE
@cgevent
Очень прикольный проект.
Реалтаймовый генератор музыки как отдельного инструмента\трека с привязкой к хардверным крутилкам.
Под капотом опенсорсный ACEStep1.5. Все это летает на локальной машине (30/40/5090), а крутилки хардверного пульта напрямую влияют на параметры генерации.
Это позволяет играть на ACEStep как на музыкальном инструменте, создавая ремиксы песен и лупов с обратной связью, которая не отстает от реального времени.
Звучит очень интересно.
https://daydreamlive.github.io/DEMON/
Есть демо:
https://music.daydream.live/
https://civitai.com/models/2416425/acestep-loras
https://huggingface.co/daydreamlive/DreamVAE
@cgevent
🔥28❤5
Нейрорендер добрался до взрослых мальчиков.
Chaos (разработчики V-Ray) сделали свой нейрорендер на максималках под названием Veras.
Под капотом Nanobanana 2 и Nanobanana Pro.
Как основной функционал, она умеет брать скриншот камеры (или фреймбуфер) и генерить Бананой красивые варианты дизайна - позиционируется все это прежде всего на архитектурную визуализацию.
Но кроме того, она умеет поворачивать скетчи и картинки (примерно как в новом Фотошопе).
А также умеет генерить короткие видосы - длинные облеты камеров вокруг сцены (я не нашел какой видеомоделью, наверное Veo). Есть Image-2-Video, есть референсы(в том числе материалов), есть First & last frame video и даже забавные попытки монтажа таких клипов.
Есть рульки "креативности" - насколько придерживаться исходной геометрии.
Про текстуры и наследование материалов ничего не нашел.
Есть отдельный web-app и есть standalone app, но основной упор на то, что она работает нативно внутри Enscape, V-Ray, and Corona, а как плагин с Revit, SketchUp, Rhino, Vectorworks, Archicad, Forma, and Allplan
Используется система кредитов от Chaos, часть включена в подписку, но можно докупать новые.
https://blog.chaos.com/veras-for-vray
https://blog.chaos.com/what-is-veras
Все это выглядит как нативное встраивание Нанабананы в продукты Chaos.
Ждем ответа от Автодеска, а то там этим занимаются энтузиасты аниматоры.
@cgevent
Chaos (разработчики V-Ray) сделали свой нейрорендер на максималках под названием Veras.
Под капотом Nanobanana 2 и Nanobanana Pro.
Как основной функционал, она умеет брать скриншот камеры (или фреймбуфер) и генерить Бананой красивые варианты дизайна - позиционируется все это прежде всего на архитектурную визуализацию.
Но кроме того, она умеет поворачивать скетчи и картинки (примерно как в новом Фотошопе).
А также умеет генерить короткие видосы - длинные облеты камеров вокруг сцены (я не нашел какой видеомоделью, наверное Veo). Есть Image-2-Video, есть референсы(в том числе материалов), есть First & last frame video и даже забавные попытки монтажа таких клипов.
Есть рульки "креативности" - насколько придерживаться исходной геометрии.
Про текстуры и наследование материалов ничего не нашел.
Есть отдельный web-app и есть standalone app, но основной упор на то, что она работает нативно внутри Enscape, V-Ray, and Corona, а как плагин с Revit, SketchUp, Rhino, Vectorworks, Archicad, Forma, and Allplan
Используется система кредитов от Chaos, часть включена в подписку, но можно докупать новые.
https://blog.chaos.com/veras-for-vray
https://blog.chaos.com/what-is-veras
Все это выглядит как нативное встраивание Нанабананы в продукты Chaos.
Ждем ответа от Автодеска, а то там этим занимаются энтузиасты аниматоры.
@cgevent
👍20❤7🔥4😱2👎1
This media is not supported in your browser
VIEW IN TELEGRAM
Нейрорендер 4
Говоря про энтузиастов-аниматоров, прекрасный Матарави продолжает развивать свой нейрорендер.
Как вы помните, он берет простой превиз-плейбласт в Maya и делает из него нейрорендер, ускоряя процесс в разы.
Теперь же он рендерит (нормальным рендером) ОДИН кадр и подает его как референс в свой нейрорендер.
Из этого кадра подхватываются текстуры, материалы кожи и волос, окружение и свет - и нейрорендер имитирует взрослый рендер (только в разы быстрее) сохраняя анимацию.
У меня только один вопрос, кто поднимет веки автодеску - идея настолько хороша, пока уже проснуться не только Chaos Group.
@cgevent
Говоря про энтузиастов-аниматоров, прекрасный Матарави продолжает развивать свой нейрорендер.
Как вы помните, он берет простой превиз-плейбласт в Maya и делает из него нейрорендер, ускоряя процесс в разы.
Теперь же он рендерит (нормальным рендером) ОДИН кадр и подает его как референс в свой нейрорендер.
Из этого кадра подхватываются текстуры, материалы кожи и волос, окружение и свет - и нейрорендер имитирует взрослый рендер (только в разы быстрее) сохраняя анимацию.
У меня только один вопрос, кто поднимет веки автодеску - идея настолько хороша, пока уже проснуться не только Chaos Group.
@cgevent
🔥42❤4👍2