Наконец-то у Sora появился достойный противник. Higgsfield AI анонсировали свою базовую видеомодель.
Higgsfield AI — компания из Сан-Франциско, русско-казахский стартап в душе, позиционирует себя, как команда, которая стремится "демократизировать" создание видео и фильмов. Короче, большой упор на пользователя и киношки с телефона.
По черипикам из твиттера, это, конечно, не Sora, но и не Gen-2 и пика (лучше).
Демка модели - Diffuse УЖЕ лежит в эпсторах некоторых стран (до остальных еще не успело доехать). Правда, апка с ограничениями. Дают анимировать персонажа по вашей фотографии, так чисто побаловаться.
Вообще, результаты Higgsfield — это то, что я ожидал увидеть от OpenAI Просто Сора, ну как-то уж совсем крыше снос.
Пейпера нет, какой-то еще инфы тоже. Есть Вейтлист.
@ai_newz
Higgsfield AI — компания из Сан-Франциско, русско-казахский стартап в душе, позиционирует себя, как команда, которая стремится "демократизировать" создание видео и фильмов. Короче, большой упор на пользователя и киношки с телефона.
По черипикам из твиттера, это, конечно, не Sora, но и не Gen-2 и пика (лучше).
Демка модели - Diffuse УЖЕ лежит в эпсторах некоторых стран (до остальных еще не успело доехать). Правда, апка с ограничениями. Дают анимировать персонажа по вашей фотографии, так чисто побаловаться.
Вообще, результаты Higgsfield — это то, что я ожидал увидеть от OpenAI Просто Сора, ну как-то уж совсем крыше снос.
Пейпера нет, какой-то еще инфы тоже. Есть Вейтлист.
@ai_newz
Command R+ — новая модель!
104 миллиарда параметров, 128к контекста. Моделька с нуля сделана для использования тулов и RAG (Retrieval Augmented Generation), на бенчмарках связанных с этим модель показывает себя очень достойно. Нормальных тестов пока что нет, но Command R 35B очень хорошо себя показала на LLM арене, так что модель в три раза больше вряд-ли ударит лицом в грязь.
Веса уже выложили, даже квантизированные🥳
Для инференса понадобится минимум 2x3090 либо A100 80 GB, ну или есть вариант с маком с большим RAM.
У меня большие надежды на эту модель!
Демка
Веса
Блогпост
@ai_newz
104 миллиарда параметров, 128к контекста. Моделька с нуля сделана для использования тулов и RAG (Retrieval Augmented Generation), на бенчмарках связанных с этим модель показывает себя очень достойно. Нормальных тестов пока что нет, но Command R 35B очень хорошо себя показала на LLM арене, так что модель в три раза больше вряд-ли ударит лицом в грязь.
Веса уже выложили, даже квантизированные
Для инференса понадобится минимум 2x3090 либо A100 80 GB, ну или есть вариант с маком с большим RAM.
У меня большие надежды на эту модель!
Демка
Веса
Блогпост
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Немного личных баек про работу. Так как я теперь Staff Research Scientist (подробнее об этом писал тут), сегодня мне пришло приглашение пройти курсы для проведения интервью на более синьорные роли в компании.
До этого я несколько лет собеседовал челов как на AI позиции (CV, NLP), так на Software Engineer (SWE) по трем типам интервью:
— Coding
— AI Coding
— AI Research Design
Теперь буду учиться собеседовать людей на AI Research Screen интервью. Это самое первое интервью, на которое кандидат попадает (разговор с рекрутером не в счёт) и по его результатам решается, приглашать ли чела на onsite раунды или нет. Скрининг дают делать только начиная со старших уровней, обычно E6+, так как тут важно уметь опытным глазом быстро оценить потенциал кандидата и насколько он подходит на выбранную роль.
Onsite интервью — это то, что раньше было полным днём собеседований, когда кандидату оплачивали билеты на самолёт и отель, чтобы он пришел в офис компании физически и попотел у вайтборда в течение 5-6 раундов собеседований, все в течение одного дня. Сейчас к сожалению такие поездки не делают, и все финальные раунды проходят по видео.
Кроме этого, меня записали на курс Behavioral интервью, что тоже обычно проводится людьми IC6+ (про уровни писал тут), где нужно оценить софт-скилы кандидата. Это также одно из решающих интервью, где всплывают сигналы, определяющие уровень кандидата, например middle vs senior.
Ну, и для полного комплекта, я зарегался ещё на тренинг для проведения ML System Design — это более прикладная штука, когда кандидату нужно спроектировать end-2-end ML систему. У ресерчеров такого интервью не бывает, а вот для ML Engineer и Research Engineer его нужно проходить.
Планирую собрать все лычки всех типов интервью🙂 . Это очень полезно как для развития своих скилов, так и при смене работы — понимаешь всю кухню оценки кандидатов изнутри.
Если у вас есть какие-то вопросы, или если что-то ещё интересует в плане карьеры — велком в комменты.
#карьера #мойпуть
@ai_newz
До этого я несколько лет собеседовал челов как на AI позиции (CV, NLP), так на Software Engineer (SWE) по трем типам интервью:
— Coding
— AI Coding
— AI Research Design
Теперь буду учиться собеседовать людей на AI Research Screen интервью. Это самое первое интервью, на которое кандидат попадает (разговор с рекрутером не в счёт) и по его результатам решается, приглашать ли чела на onsite раунды или нет. Скрининг дают делать только начиная со старших уровней, обычно E6+, так как тут важно уметь опытным глазом быстро оценить потенциал кандидата и насколько он подходит на выбранную роль.
Onsite интервью — это то, что раньше было полным днём собеседований, когда кандидату оплачивали билеты на самолёт и отель, чтобы он пришел в офис компании физически и попотел у вайтборда в течение 5-6 раундов собеседований, все в течение одного дня. Сейчас к сожалению такие поездки не делают, и все финальные раунды проходят по видео.
Кроме этого, меня записали на курс Behavioral интервью, что тоже обычно проводится людьми IC6+ (про уровни писал тут), где нужно оценить софт-скилы кандидата. Это также одно из решающих интервью, где всплывают сигналы, определяющие уровень кандидата, например middle vs senior.
Ну, и для полного комплекта, я зарегался ещё на тренинг для проведения ML System Design — это более прикладная штука, когда кандидату нужно спроектировать end-2-end ML систему. У ресерчеров такого интервью не бывает, а вот для ML Engineer и Research Engineer его нужно проходить.
Планирую собрать все лычки всех типов интервью
Если у вас есть какие-то вопросы, или если что-то ещё интересует в плане карьеры — велком в комменты.
#карьера #мойпуть
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Что такое Mixture of Experts (MoE)?
МоЕ — это вид моделей, который используется в куче современных LLM. Далеко ходить не надо — пять из шести моделей, о которых я рассказывал в дайджесте на прошлой неделе, были MoE. GPT-4, судя по слухам, подтверждённым Хуангом – тоже MoE.
Чем MoE отличаются от обычных (dense) моделей?
В MoE часть слоев заменяется на sparse (разреженные) MoE-слои. Они состоят из нескольких "экспертов" — по сути, отдельных небольших слоёв. Для каждого токена используется только небольшая часть экспертов. Решает, какие токены обрабатываются каким экспертами, специальная "сеть-маршрутизатор". Это позволяет MoE быть быстрее чем dense модели, как в тренировке так и в инференсе.
Почему MoE используют?
Модели с MoE учатся в разы быстрее обычных с таким же количеством компьюта. Авторы DBRX хвастались что их конфиг MoE учится в 2 раза быстрее их же dense модели, а у авторов Qwen-MoE прирост скорости был вообще 4x.
Откуда такая разница между разными MoE в приросте эффективности тренировки?
Когда учится MoE, нужно балансировать потребление памяти, эффективность тренировки и скорость выполнения, что достигается уменьшением или увеличением общего числа экспертов, числа активных экспертов и размера экспертов. Разные команды используют разные конфигурации, отсюда и разница.
Почему MoE не используют везде?
MoE потребляет в разы больше памяти чем обычные модели, что касается и обучения и инференса. На практике большее количество памяти означает большее количество видеокарт. Для запуска Grok, например, нужно 8 видеокарт. Для GPT-4, по слухам, нужно вообще 64 видеокарты. Чтобы это имело финансовый смысл, нужен определенный уровень нагрузки, который есть не у всех. Плюс тот факт, что модель - MoE, часто ставит крест на возможности запуска на потребительских видеокартах.
Как их запускают?
Модель разбивают на несколько видеокарт (например, с помощью tensor parallelism). На каждую видеокарту кидается одинаковое количество экспертов и используют трюки чтобы убедиться что на каждого приходится одинаковая нагрузка.
Как это выглядит применимо к трансформерам?
Обычно эксперты в MoE делаются на основе слоёв MLP внутри трансформера. То есть вместо одного MLP делают несколько параллельных, но одновременно используется только часть из них. Остальные части модели (attention, эмбеддинги) — общие для всех экспертов.
>> Блогпост про MoE с большим числом деталей
#ликбез
@ai_newz
МоЕ — это вид моделей, который используется в куче современных LLM. Далеко ходить не надо — пять из шести моделей, о которых я рассказывал в дайджесте на прошлой неделе, были MoE. GPT-4, судя по слухам, подтверждённым Хуангом – тоже MoE.
Чем MoE отличаются от обычных (dense) моделей?
В MoE часть слоев заменяется на sparse (разреженные) MoE-слои. Они состоят из нескольких "экспертов" — по сути, отдельных небольших слоёв. Для каждого токена используется только небольшая часть экспертов. Решает, какие токены обрабатываются каким экспертами, специальная "сеть-маршрутизатор". Это позволяет MoE быть быстрее чем dense модели, как в тренировке так и в инференсе.
Почему MoE используют?
Модели с MoE учатся в разы быстрее обычных с таким же количеством компьюта. Авторы DBRX хвастались что их конфиг MoE учится в 2 раза быстрее их же dense модели, а у авторов Qwen-MoE прирост скорости был вообще 4x.
Откуда такая разница между разными MoE в приросте эффективности тренировки?
Когда учится MoE, нужно балансировать потребление памяти, эффективность тренировки и скорость выполнения, что достигается уменьшением или увеличением общего числа экспертов, числа активных экспертов и размера экспертов. Разные команды используют разные конфигурации, отсюда и разница.
Почему MoE не используют везде?
MoE потребляет в разы больше памяти чем обычные модели, что касается и обучения и инференса. На практике большее количество памяти означает большее количество видеокарт. Для запуска Grok, например, нужно 8 видеокарт. Для GPT-4, по слухам, нужно вообще 64 видеокарты. Чтобы это имело финансовый смысл, нужен определенный уровень нагрузки, который есть не у всех. Плюс тот факт, что модель - MoE, часто ставит крест на возможности запуска на потребительских видеокартах.
Как их запускают?
Модель разбивают на несколько видеокарт (например, с помощью tensor parallelism). На каждую видеокарту кидается одинаковое количество экспертов и используют трюки чтобы убедиться что на каждого приходится одинаковая нагрузка.
Как это выглядит применимо к трансформерам?
Обычно эксперты в MoE делаются на основе слоёв MLP внутри трансформера. То есть вместо одного MLP делают несколько параллельных, но одновременно используется только часть из них. Остальные части модели (attention, эмбеддинги) — общие для всех экспертов.
>> Блогпост про MoE с большим числом деталей
#ликбез
@ai_newz
Какой может быть новая Siri?
Вышел пейпер от Apple про их новую модель ReALM. Я недавно писал про то, как Bloomberg пытались тренировать свою модель, и то, как у них это не получилось. Но Apple доказали, что при грамотном тюнинге даже ну ооочень маленькой моделью в 80М можно догнать или даже обогнать флагманские LLM а определенных задачах.
Так вот, новая Siri обещает очень ловко справляться с UI. А учитывая тот факт, что Apple – это крупнейшая экосистема, то у Siri будет доступ ко всему, что вам может понадобиться. От голосового управления календарём до составления плейлистов в iTunes (но пока это все фантазии).
Вообще, в статье описывается интересный метод для взаимодействия LLM с UI. На вход принимаются скриншоты, и с них в тупую собирается весь текст. Далее текст идет на анализ в LLM, и та, основываясь на инпуте юзера и тексте с экрана, решает, что делать и как отвечать.
Пока нет прямого управления UI, чтобы агент прям сам запускал какую-то работу в приложении. В статье пока только примеры того, как модель собирает информацию с экрана и выводит релевантный ответ. Например, собирает адреса с сайта, который сейчас на экране. Суть в том, что потом это можно будет использовать для таких запросов, типа: "Напиши второму в этом списке контактов, что созвон в 14:00". Пока они учат понимать, что происходит на экране.
Очень жду крутые анонсы WWDC в июне!
Пейпер
@ai_newz
Вышел пейпер от Apple про их новую модель ReALM. Я недавно писал про то, как Bloomberg пытались тренировать свою модель, и то, как у них это не получилось. Но Apple доказали, что при грамотном тюнинге даже ну ооочень маленькой моделью в 80М можно догнать или даже обогнать флагманские LLM а определенных задачах.
Так вот, новая Siri обещает очень ловко справляться с UI. А учитывая тот факт, что Apple – это крупнейшая экосистема, то у Siri будет доступ ко всему, что вам может понадобиться. От голосового управления календарём до составления плейлистов в iTunes (но пока это все фантазии).
Вообще, в статье описывается интересный метод для взаимодействия LLM с UI. На вход принимаются скриншоты, и с них в тупую собирается весь текст. Далее текст идет на анализ в LLM, и та, основываясь на инпуте юзера и тексте с экрана, решает, что делать и как отвечать.
Пока нет прямого управления UI, чтобы агент прям сам запускал какую-то работу в приложении. В статье пока только примеры того, как модель собирает информацию с экрана и выводит релевантный ответ. Например, собирает адреса с сайта, который сейчас на экране. Суть в том, что потом это можно будет использовать для таких запросов, типа: "Напиши второму в этом списке контактов, что созвон в 14:00". Пока они учат понимать, что происходит на экране.
Очень жду крутые анонсы WWDC в июне!
Пейпер
@ai_newz
Нейродайджест за неделю (#12)
1. Туториалы
- Mixture of Experts - введение в технологию MoE, маст хэв в топовых LLM.
- Туториал по свежей text2music модели Suno v3 - о том как выжать из суно максимум, а еще запилить клип.
- Интро в Трансформеры для чайников - серия видео от 3Blue1Brown, доступно (ну прям совсем) объясняющая принцип работы трансформеров.
- Tutorial on Diffusion Models for Imaging and Vision - VAE, DDPM, Score-Matching Langevin Dynamics и стохастическим диффурам. База по диффузии для среднячков.
2. Релизы
- Gaussian Head Avatar - гипер-реалистичные 3D аватары на основе Гауссовских сплатов и нейронного рендеринга.
- Higgsfield AI - новый игрок на поле генерации видео. Где-то между Runway Gen-2 и Sora.
- Stable Audio 2 - text2music, но без пиратского контента в датасетах, если не хочешь рисковать
- Command R+ – прекрасная open sourse LLM для которой не нужен супер компьютер (но 2x3090)
3. Новости
- Землетрясение в Тайване и его влияние на производство чипов. Как природные катаклизмы влияют на индустрию AI.
- Выбесить LLM или новый метод "many-shot jailbreaking" для обхода фильтров безопасности моделей с длинным контекстом.
- Siri учится видеть - Apple о модели ReALM для чтения экрана.
4. Личное
- Собеседования в Meta: Про то, какие собеседования я провожу, и про то, как я записался на обучение вести новые типы интервью.
#дайджест
@ai_newz
1. Туториалы
- Mixture of Experts - введение в технологию MoE, маст хэв в топовых LLM.
- Туториал по свежей text2music модели Suno v3 - о том как выжать из суно максимум, а еще запилить клип.
- Интро в Трансформеры для чайников - серия видео от 3Blue1Brown, доступно (ну прям совсем) объясняющая принцип работы трансформеров.
- Tutorial on Diffusion Models for Imaging and Vision - VAE, DDPM, Score-Matching Langevin Dynamics и стохастическим диффурам. База по диффузии для среднячков.
2. Релизы
- Gaussian Head Avatar - гипер-реалистичные 3D аватары на основе Гауссовских сплатов и нейронного рендеринга.
- Higgsfield AI - новый игрок на поле генерации видео. Где-то между Runway Gen-2 и Sora.
- Stable Audio 2 - text2music, но без пиратского контента в датасетах, если не хочешь рисковать
- Command R+ – прекрасная open sourse LLM для которой не нужен супер компьютер (но 2x3090)
3. Новости
- Землетрясение в Тайване и его влияние на производство чипов. Как природные катаклизмы влияют на индустрию AI.
- Выбесить LLM или новый метод "many-shot jailbreaking" для обхода фильтров безопасности моделей с длинным контекстом.
- Siri учится видеть - Apple о модели ReALM для чтения экрана.
4. Личное
- Собеседования в Meta: Про то, какие собеседования я провожу, и про то, как я записался на обучение вести новые типы интервью.
#дайджест
@ai_newz
Наверное кое-кто из вас уже слышал про ШАД (Школа Анализа Данных от Яндекса). Это одна из немногих программ на русском языке, которая дает очень серьезную базу по ML.
Я сам закончил ШАД в 2014 в Беларуси (там тоже есть филиал), когда про нейронные сети ещё мало кто слышал. И это дало мне начальный импульс строить свою карьеру в ML. Короче, советую.
Обучение в ШАДе бесплатное, однако конкурс высокий — в прошлом году он был 17 человек на место. Но ради карьерного буста можно и постараться: по опросу, 8 из 10 выпускников работают в топовых технологических компаниях, а каждый четвёртый идёт в науку (типа меня).
Учиться в ШАДе можно как очно, так и удаленно.
Кстати, сейчас там преподает Елена Войта, которая работает ресерчером в Meta AI и ведет курс по NLP.
Подать заявку можно до 12 мая. Сайт ШАДа.
@ai_newz
Я сам закончил ШАД в 2014 в Беларуси (там тоже есть филиал), когда про нейронные сети ещё мало кто слышал. И это дало мне начальный импульс строить свою карьеру в ML. Короче, советую.
Обучение в ШАДе бесплатное, однако конкурс высокий — в прошлом году он был 17 человек на место. Но ради карьерного буста можно и постараться: по опросу, 8 из 10 выпускников работают в топовых технологических компаниях, а каждый четвёртый идёт в науку (типа меня).
Учиться в ШАДе можно как очно, так и удаленно.
Кстати, сейчас там преподает Елена Войта, которая работает ресерчером в Meta AI и ведет курс по NLP.
Подать заявку можно до 12 мая. Сайт ШАДа.
@ai_newz
JetMoE: так выглядит бюджетный претрейнинг в 2024
Модель - 8B MoE (2.2B - активные) на уровне прошлогодней LLaMA 2 7B. Из архитектурных особенностей - Mixture of Experts там не только MLP, но и Attention.
Авторы хвастаются, что потратили всего ~32k H100-часов (две недели трейна на 96×H100) с датасетом в 1.25 триллиона токенов. Тренили в две стадии: сначала триллион не самых качественных токенов, а за ним 250 миллиардов википедии, архива и т.д.. Потратили на все про все 80 тысяч долларов, это, считай, копейки по меркам современных LLM. Для сравнения, Лламу 2 тренировали ~180k A100 часов на 2 триллионах токенов.
Моделька не лучшая - в своей весовой категории по компьюту она уступает Qwen1.5-MoE-A2.7B (у которой в два раза больше параметров), но бьёт Gemma 2B и Stable LM 1.6B (не удивительно). Среди моделей с одинаковым количеством параметров она проигрывает Mistral-7B и Gemma 7B. Но зато она довольно дешёвая в тренировке и может быть хорошей отправной точкой для специализированных файнтюнов.
Вообще мне очень нравится тренд на удешевление тренировки, и на уменьшение моделей. За этим будущее, где LLM-ки или их потомки бегают на каждом электрочайнике.
Демка
Веса
Сайт модели
@ai_newz
Модель - 8B MoE (2.2B - активные) на уровне прошлогодней LLaMA 2 7B. Из архитектурных особенностей - Mixture of Experts там не только MLP, но и Attention.
Авторы хвастаются, что потратили всего ~32k H100-часов (две недели трейна на 96×H100) с датасетом в 1.25 триллиона токенов. Тренили в две стадии: сначала триллион не самых качественных токенов, а за ним 250 миллиардов википедии, архива и т.д.. Потратили на все про все 80 тысяч долларов, это, считай, копейки по меркам современных LLM. Для сравнения, Лламу 2 тренировали ~180k A100 часов на 2 триллионах токенов.
Моделька не лучшая - в своей весовой категории по компьюту она уступает Qwen1.5-MoE-A2.7B (у которой в два раза больше параметров), но бьёт Gemma 2B и Stable LM 1.6B (не удивительно). Среди моделей с одинаковым количеством параметров она проигрывает Mistral-7B и Gemma 7B. Но зато она довольно дешёвая в тренировке и может быть хорошей отправной точкой для специализированных файнтюнов.
Вообще мне очень нравится тренд на удешевление тренировки, и на уменьшение моделей. За этим будущее, где LLM-ки или их потомки бегают на каждом электрочайнике.
Демка
Веса
Сайт модели
@ai_newz
Андрей Карпатый выпустил llm.c – тысяча строк чистого C без зависимостей, которые компилируются меньше чем за секунду. llama.c – его предыдущий проект, позволявший запускать llama на всяких умных лампочках, а llm.c теперь даёт возможность ещё и тренировать.
МОЁ УВОЖЕНИЕ
Пока что можно только тренировать GPT-2 на CPU, но Андрей уже работает над поддержкой CUDA и более новых моделей вроде llama. Когда закончит - обещает выпустить несколько туториалов про это, в духе его же видео о написании GPT-2 на Python.
https://github.com/karpathy/llm.c
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - karpathy/llm.c: LLM training in simple, raw C/CUDA
LLM training in simple, raw C/CUDA. Contribute to karpathy/llm.c development by creating an account on GitHub.
Ну, что, любители сэма альтмана, вышел апдейт GPT-4 (
Смотря невооруженным глазом, ничего особо не поменялось. Только теперь в модель можно пихать картинки через API, то есть это GPT-4V версия, и она теперь доступна всем.
Анонсы твердят, что это "значительное" улучшение, особенно по части математических способностей.
Что-ж, дождемся результатов Chatbot-арены, где в честном бою выяснится, кто сильнее Claude 3 Opus или GPT-4.
Напомню, что недавно Claude 3 Opus стал лучшей моделью на Chatbot-арене, побив долгоиграющего лидера GPT-4.
А сегодня открытая моделька Cohere Command R+ (писал о ней тут) вышла на 6-е место, побив старые версии GPT-4. И это не может не радовать!🎉
@ai_newz
gpt-4-turbo-2024-04-09). Смотря невооруженным глазом, ничего особо не поменялось. Только теперь в модель можно пихать картинки через API, то есть это GPT-4V версия, и она теперь доступна всем.
Анонсы твердят, что это "значительное" улучшение, особенно по части математических способностей.
Что-ж, дождемся результатов Chatbot-арены, где в честном бою выяснится, кто сильнее Claude 3 Opus или GPT-4.
Напомню, что недавно Claude 3 Opus стал лучшей моделью на Chatbot-арене, побив долгоиграющего лидера GPT-4.
А сегодня открытая моделька Cohere Command R+ (писал о ней тут) вышла на 6-е место, побив старые версии GPT-4. И это не может не радовать!
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Mistral как обычно в своем стиле, тупо оставили magnet-ссылку на торрент с весами своей новой модели. Вот знатные троли.
Новая модель это Mixture of Experts Mixtral-8x22B:
- Размер модели 262 GB (я так понимаю веса в fp16)
- 8 экспертов / 2 активных
- В сумме 141 B параметров / активных 39B
- 56 слоев, hidden_dim=16384, 48 attention голов
- Размер контекста 65536 токенов.
Обстановочка в гонке моделей накаляется с каждым днем. Кажется, Command R+ могут подвинуть на лидерборде! Weclome to ARENA!
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Помните, по сети гулял недавно серьезный сервис Magnigic AI для креативного апскейла картинок? Все бы ничего, но удовольствие такое стоит $40.
Так вот... Оказывается, Леонардо в тихую запустил такую же тулзу бесплатно! В день там даются 150 токенов, чего хватает на 5 апскейлов до 5 мегапикселей (в бесплатной версии). То есть разрешение после Дали увеличить получиться только в 1,5 раза, но зато появится детализация. После, при желании, можно прогнать картинку еще через какой-нибудь апсейлер типа топаза или upscale media (разрешение до 1500х1500) и получить полноценный 4K (пример файлом).
Предположительно работает это так:
Сначала апскейлишь картинку билинейно (обычный апскейл), добавляешь нойза, режешь это все на тайлы (куски) с нахлестом и скармливашь каждый зашумленный кусок в Stable Diffusion (с контролнетом или без), усредняя результат в области пересечения тайлов после каждого шага. В конце собираешь все обратно.
В a1111 плагин называется ControlNet Tiles, штука старая и довольно известная, позволяет получить картинки вплоть до 32,000 и более пикселей, а также апскейлить на слабом железе. Здесь, в общем, то же самое, но довольно быстро (секунд за 30) и в удобном интерфейсе. Доводить картинки из Dalle 3 до уровня Миджорни самое то!
Leonardo
@ai_newz
Так вот... Оказывается, Леонардо в тихую запустил такую же тулзу бесплатно! В день там даются 150 токенов, чего хватает на 5 апскейлов до 5 мегапикселей (в бесплатной версии). То есть разрешение после Дали увеличить получиться только в 1,5 раза, но зато появится детализация. После, при желании, можно прогнать картинку еще через какой-нибудь апсейлер типа топаза или upscale media (разрешение до 1500х1500) и получить полноценный 4K (пример файлом).
Предположительно работает это так:
Сначала апскейлишь картинку билинейно (обычный апскейл), добавляешь нойза, режешь это все на тайлы (куски) с нахлестом и скармливашь каждый зашумленный кусок в Stable Diffusion (с контролнетом или без), усредняя результат в области пересечения тайлов после каждого шага. В конце собираешь все обратно.
В a1111 плагин называется ControlNet Tiles, штука старая и довольно известная, позволяет получить картинки вплоть до 32,000 и более пикселей, а также апскейлить на слабом железе. Здесь, в общем, то же самое, но довольно быстро (секунд за 30) и в удобном интерфейсе. Доводить картинки из Dalle 3 до уровня Миджорни самое то!
Leonardo
@ai_newz
Еще раз обо мне
В канал пришло много новых людей, решил еще раз представиться и сделать подборку интересных постов.
Меня зовут Артём, я из Беларуси. Сейчас живу в Швейцарии и работаю в Meta GenAI на позиции Staff Research Scientist. До этого сделал PhD в университете Хайдельберга, в той самой научной группе, где придумали Stable Diffusion. За время в лабе я опубликовал кучу статей на топовых конфах. В перерывах между статьями я оттачивал свои эйай навыки на практике, упарываясь на Kaggle соревнованиях (я очень азартный тип в этом плане) – добрался до Top45 в мировом рейтинге с несколькими золотыми медалями. Больше про меня есть в этом посте и по тегам #personal и #мойпуть. [Если что, то я на фотке слева]
Подборка личных постов:
▪️Рассказ о том, как я вкатился в AI/ML
▪️Откуда AI хайп и как было, когда я начинал свое PhD
▪️Видео-интервью со мной
▪️Вот здесь делюсь личной радостью, ведь мы завезли диффузию в инсту,
▪️На основе emu, которую лично я оптимизировал, чтоб вот быстро и чётко
▪️Еще про то как мы сделали и ускорили генеративные стикеры для инсты, WhatsApp и FB Messenger.
▪️Про наш громкий релиз Imagine Flash, риалтайм генерацию картинок – проект, который я вел.
▪️Моя статья об ускорении диффузии с помощью кеширования, без потери качества конечно же.
▪️Как я приделывал ноги Аватарам в метаверсе [ч1, ч2], пока работа в Meta Reality Labs.
▪️Пост-апдейт и про, то как я недавно стал стафом в Meta GenAI (ну вы поняли).
Из еще почитать:
▪️Пост про грейды в бигтехе [ч1, ч2]. Все же в курсе, что сеньор это еще не все?:)
▪️Список книг для изучения ML в 2024.
▪️Гайд по ускорению диффузии [ч1, ч2], так сказать полевой опыт.
▪️Разбор того, как дистиллировали sd3 в 4 шага, который репостнулCEO бывший CEO Stability
▪️Список лекций и туториалов про 3D Human Understanding от топовых ученых из этой сферы.
▪️Лонгрид про парижский стартап Mistral и мое знакомство с фаундером.
▪️Пост про GR00T, модельку от nvidia, которая может стать chatgpt моментом в робототехнике.
▪️Еще вот про те самые чаевые в $200 для LMM и финальный список всех трюков, чтобы вставить в промпт по умолчанию.
Недавно запустился еженедельный #дайджест с кратким обзором новостей.
А также в ленте можно найти 1000 и 1 разбор свежих пейперов с мои авторитетным мнением, еще есть рубрика #ликбез с разбором базовых тем и #карьера с моими мыслями/байками по карьере в AI/ML.
Ну что, поздравляю всех новоприбывших! Обнял ❤️
@ai_newz
В канал пришло много новых людей, решил еще раз представиться и сделать подборку интересных постов.
Меня зовут Артём, я из Беларуси. Сейчас живу в Швейцарии и работаю в Meta GenAI на позиции Staff Research Scientist. До этого сделал PhD в университете Хайдельберга, в той самой научной группе, где придумали Stable Diffusion. За время в лабе я опубликовал кучу статей на топовых конфах. В перерывах между статьями я оттачивал свои эйай навыки на практике, упарываясь на Kaggle соревнованиях (я очень азартный тип в этом плане) – добрался до Top45 в мировом рейтинге с несколькими золотыми медалями. Больше про меня есть в этом посте и по тегам #personal и #мойпуть. [Если что, то я на фотке слева]
Подборка личных постов:
▪️Рассказ о том, как я вкатился в AI/ML
▪️Откуда AI хайп и как было, когда я начинал свое PhD
▪️Видео-интервью со мной
▪️Вот здесь делюсь личной радостью, ведь мы завезли диффузию в инсту,
▪️На основе emu, которую лично я оптимизировал, чтоб вот быстро и чётко
▪️Еще про то как мы сделали и ускорили генеративные стикеры для инсты, WhatsApp и FB Messenger.
▪️Про наш громкий релиз Imagine Flash, риалтайм генерацию картинок – проект, который я вел.
▪️Моя статья об ускорении диффузии с помощью кеширования, без потери качества конечно же.
▪️Как я приделывал ноги Аватарам в метаверсе [ч1, ч2], пока работа в Meta Reality Labs.
▪️Пост-апдейт и про, то как я недавно стал стафом в Meta GenAI (ну вы поняли).
Из еще почитать:
▪️Пост про грейды в бигтехе [ч1, ч2]. Все же в курсе, что сеньор это еще не все?:)
▪️Список книг для изучения ML в 2024.
▪️Гайд по ускорению диффузии [ч1, ч2], так сказать полевой опыт.
▪️Разбор того, как дистиллировали sd3 в 4 шага, который репостнул
▪️Список лекций и туториалов про 3D Human Understanding от топовых ученых из этой сферы.
▪️Лонгрид про парижский стартап Mistral и мое знакомство с фаундером.
▪️Пост про GR00T, модельку от nvidia, которая может стать chatgpt моментом в робототехнике.
▪️Еще вот про те самые чаевые в $200 для LMM и финальный список всех трюков, чтобы вставить в промпт по умолчанию.
Недавно запустился еженедельный #дайджест с кратким обзором новостей.
А также в ленте можно найти 1000 и 1 разбор свежих пейперов с мои авторитетным мнением, еще есть рубрика #ликбез с разбором базовых тем и #карьера с моими мыслями/байками по карьере в AI/ML.
Ну что, поздравляю всех новоприбывших! Обнял ❤️
@ai_newz
Telegram
эйай ньюз
Словился со своим кентом Яном ЛеКуном на ICCV.
#personal
@ai_newz
#personal
@ai_newz