Первая собственная большая модель Microsoft, MAI-1, судя по репорту от The Information, уже тренируется. Хотят достигнуть уровня GPT-4 с 500B MoE моделькой.
Это, конечно, не модель на 1.8 трлн параметров, как у сильных мира сего, но тоже сойдёт.😼
В целом понятное желание перестать зависеть от OpenAI, особенно учитывая постоянный цирк с конями, который OpenAI устраивают: вот например, пока майки продают доступ к GPT на Azure, OpenAI напрямую работают с их конкурентами – Salesforces, в то время как бесплатно хостятся на Microsoft Azure.
Взлетит план или нет, мы узнаем скоро: тренировка закончится в этом месяце.
И это спустя всего месяц после того как Microsoft высосал кровь у стартапа Inflection AI и поставил его CEO, Мустафу Сулеймана, рулить Microsoft AI. С тех пор Мустафа, похоже, так хаслил, что даже перестал продвигать свою книжку. Зато начал косплеить Джобса.
В принципе шансы догнать гэпэтэ у них есть. У Microsoft на порядок больше ресурсов чем у Inflection, плюс в тренировке кроме датасетов Inflection используются синтетические датасеты Microsoft, вроде того что использовали для Phi-3.
Делайте ваши ставки, господа
@ai_newz
Это, конечно, не модель на 1.8 трлн параметров, как у сильных мира сего, но тоже сойдёт.
В целом понятное желание перестать зависеть от OpenAI, особенно учитывая постоянный цирк с конями, который OpenAI устраивают: вот например, пока майки продают доступ к GPT на Azure, OpenAI напрямую работают с их конкурентами – Salesforces, в то время как бесплатно хостятся на Microsoft Azure.
Взлетит план или нет, мы узнаем скоро: тренировка закончится в этом месяце.
И это спустя всего месяц после того как Microsoft высосал кровь у стартапа Inflection AI и поставил его CEO, Мустафу Сулеймана, рулить Microsoft AI. С тех пор Мустафа, похоже, так хаслил, что даже перестал продвигать свою книжку. Зато начал косплеить Джобса.
В принципе шансы догнать гэпэтэ у них есть. У Microsoft на порядок больше ресурсов чем у Inflection, плюс в тренировке кроме датасетов Inflection используются синтетические датасеты Microsoft, вроде того что использовали для Phi-3.
Делайте ваши ставки, господа
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Прикольный юзкейс видеомоделек. Оказывается, сгенерированные видео можно использовать для определения физических свойств объекта.
Ситуация такая:
У нас есть Gaussian Splatting какого-то нетвердого предмета. Мы хотим его потрогать (в VR, например), а для реализма добавить его, скажем так, колыхание. Значит, нужно как-то определить физические свойства этого предмета и включить его в физический движок.
Но вот незадача. Неизвестно сплаты чего у нас есть, и как они вели бы себя, будь они физическим объектом т.е. нужна его упругость, масса и пр. В случае классической 3D модельки, физические свойства предмета указываются вручную, а мы хотим все автоматизировать.
А парни из PhysDreamer нашли способ определить физические свойства и реалистично анимировать такие облака гауссиан.
Внимание... они анимируют по сути скриншот этого нечто (в данном случае цветка) с какого-то из ракурсов в SD Video, а затем, используя данные о том, как двигался этот цветочек в сгенерированном референс видео, определяют упругость материала в каждой его части (стебель, бутон, горшок) в виде градиента упругости (в статье это называют "material field"), см. картинки. Таким образом определяется на сколько должна колыхаться каждая гаусианка. Это позволяет ну очень реалистично анимировать случайное колебание целого объекта под внешним воздействием.
Гауссовские сплаты легко натеренить. Но минус их в том, что как работать с ними не понятно (с нерфами, например, тоже нелегко работать, а тут вообще облака полупрозрачных точек). И вот потихоньку учимся. Мб скоро и 3D-моделирование канет в лету, как и рисование, потому что все можно сгенерить. 🙂
Еще раз. Качающийся цветок на видео — это анимация, а не реальная видеозапись.
Пейпер
Гитхаб
@ai_newz
Ситуация такая:
У нас есть Gaussian Splatting какого-то нетвердого предмета. Мы хотим его потрогать (в VR, например), а для реализма добавить его, скажем так, колыхание. Значит, нужно как-то определить физические свойства этого предмета и включить его в физический движок.
Но вот незадача. Неизвестно сплаты чего у нас есть, и как они вели бы себя, будь они физическим объектом т.е. нужна его упругость, масса и пр. В случае классической 3D модельки, физические свойства предмета указываются вручную, а мы хотим все автоматизировать.
А парни из PhysDreamer нашли способ определить физические свойства и реалистично анимировать такие облака гауссиан.
Внимание... они анимируют по сути скриншот этого нечто (в данном случае цветка) с какого-то из ракурсов в SD Video, а затем, используя данные о том, как двигался этот цветочек в сгенерированном референс видео, определяют упругость материала в каждой его части (стебель, бутон, горшок) в виде градиента упругости (в статье это называют "material field"), см. картинки. Таким образом определяется на сколько должна колыхаться каждая гаусианка. Это позволяет ну очень реалистично анимировать случайное колебание целого объекта под внешним воздействием.
Гауссовские сплаты легко натеренить. Но минус их в том, что как работать с ними не понятно (с нерфами, например, тоже нелегко работать, а тут вообще облака полупрозрачных точек). И вот потихоньку учимся. Мб скоро и 3D-моделирование канет в лету, как и рисование, потому что все можно сгенерить. 🙂
Еще раз. Качающийся цветок на видео — это анимация, а не реальная видеозапись.
Пейпер
Гитхаб
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
ElevenLabs тизерит конкурента Suno
Пока есть только пара демо-треков, по первым впечатлениям - выносят Suno по качеству. И не удивительно - ElevenLabs лучше всех умеют в клонирование голоса, что, надеюсь, они прикрутят и сюда.
Главная проблема тут, как и со всей ИИ музыкой — копирайт. Если не понятно на чём модель тренировали, то при использовании в чём-либо серьёзном есть нехилые шансы нарваться на многомилионный иск, музыкальная индустрия их любит. Решается это лишь полным лицензированием трейнинг сета, что сделали пока что лишь для Stable Audio (которая не умеет генерить вокал).
Как вы думаете, когда увидим первые судебные иски?
@ai_newz
Пока есть только пара демо-треков, по первым впечатлениям - выносят Suno по качеству. И не удивительно - ElevenLabs лучше всех умеют в клонирование голоса, что, надеюсь, они прикрутят и сюда.
Главная проблема тут, как и со всей ИИ музыкой — копирайт. Если не понятно на чём модель тренировали, то при использовании в чём-либо серьёзном есть нехилые шансы нарваться на многомилионный иск, музыкальная индустрия их любит. Решается это лишь полным лицензированием трейнинг сета, что сделали пока что лишь для Stable Audio (которая не умеет генерить вокал).
Как вы думаете, когда увидим первые судебные иски?
@ai_newz
Сначала не обратил внимания на эту программулину. Но теперь очевидно, насколько это мощный инструмент.
IC Light выкатили обновление, которое позволяет матчить освещение двух картинок.
i.e. поместить предмет на фон и сделать так, чтобы свет на этот предмет падал в соответствии с освещением фоновой картинки.
Можно долго рассказывать про то, как на протяжении веков фотошоперы мучились и страдали от того, что не могли скомпозить две картинки из-за не совпадающего освещения. Но теперь вот вопрос решился ;)
Демо на обнимающем лице (пока без фоновой картинки)
GitHub
IC Light пока нет в a1111, но есть в ComfyUI
@ai_newz
IC Light выкатили обновление, которое позволяет матчить освещение двух картинок.
i.e. поместить предмет на фон и сделать так, чтобы свет на этот предмет падал в соответствии с освещением фоновой картинки.
Можно долго рассказывать про то, как на протяжении веков фотошоперы мучились и страдали от того, что не могли скомпозить две картинки из-за не совпадающего освещения. Но теперь вот вопрос решился ;)
Демо на обнимающем лице (пока без фоновой картинки)
GitHub
IC Light пока нет в a1111, но есть в ComfyUI
@ai_newz
А вот мои приколюхи с помощью IC Light. Не стал париться с автоматиком, а в демке освещение изменятся только промптом. Оказывается, работает даже с пейзажами. Но мелкие детали все же коверкает.
На первой фотке - я катаюсь в Гудаури. На второй - вид на Сан-Франциско, который я сфоткал во время своей последней поездки.
@ai_newz
На первой фотке - я катаюсь в Гудаури. На второй - вид на Сан-Франциско, который я сфоткал во время своей последней поездки.
@ai_newz