Media is too big
VIEW IN TELEGRAM
Обучение в симуляции несет за собой ряд проблем связанных с обощением выученного на реальный мир со всеми его несовершенствами. Поэтому, было бы круто если бы робот мог эффективно учиться от взаимодействия с реальным миром.
На эту тему сейчас активно ведутся исследования, и на видосе показан результат работы метода "DayDreamer: World Models for Physical Robot Learning", который позволяет роботам учиться с RL не в симуляции, а сразу в физическом мире и причем довольно быстро. Работа уже не новая (2022), но тем не менее интересная.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Вот и новое поколение wearable AR девайсов на подходе - челики из стартапа Blinkenergy разрабатывают AR-линзу!
Пока это ранний прототип, но выглядит очень круто! На веко лепится тоненький контроллер, который питает линзу энергией и соединяется с телефоном для передачи информации, которую нужно отрендереть на линзе.
Убеждают, что дизайн удобный и глаз от линзы не болит. Думаю, что со временем контроллер станет еще меньше и линзы еще тоньше.
Пока это первый стартап, работающий над AR-линзами. Мне кажется довольно естественным такой подход к AR, где дополненная реальность напрямую накладывается на видимую реальность через глазные линзы.
Это же прям то, что нужно каждому обывателю эпохи киберпанка - листать тиктоки со стеклянным взлядом, сидя в метро, вместо того, чтобы пялиться в телефоны!
Посмотрим, появятся ли конкуренты со своими линзами в ближайшее время.
@ai_newz
Пока это ранний прототип, но выглядит очень круто! На веко лепится тоненький контроллер, который питает линзу энергией и соединяется с телефоном для передачи информации, которую нужно отрендереть на линзе.
Убеждают, что дизайн удобный и глаз от линзы не болит. Думаю, что со временем контроллер станет еще меньше и линзы еще тоньше.
Пока это первый стартап, работающий над AR-линзами. Мне кажется довольно естественным такой подход к AR, где дополненная реальность напрямую накладывается на видимую реальность через глазные линзы.
Это же прям то, что нужно каждому обывателю эпохи киберпанка - листать тиктоки со стеклянным взлядом, сидя в метро, вместо того, чтобы пялиться в телефоны!
Посмотрим, появятся ли конкуренты со своими линзами в ближайшее время.
@ai_newz
Зарелизили Code Llama-70B топовая модель для геренации кода!
Есть базовая версия, Instruct, и отдельная версия для Python — CodeLlama-70B-Python.
CodeLlama-70B-Instruct показывает 67.8 на бенчмарке HumanEval. В общем CodeLlama-70B - это самая мощная базовая модель для генерации кода в Open Source.
Запросить веса можно тут.
@ai_newz
Есть базовая версия, Instruct, и отдельная версия для Python — CodeLlama-70B-Python.
CodeLlama-70B-Instruct показывает 67.8 на бенчмарке HumanEval. В общем CodeLlama-70B - это самая мощная базовая модель для генерации кода в Open Source.
Запросить веса можно тут.
@ai_newz
Иногда стоит освежать базу. Я сегодня вечером читаю Линейную Алгебру.
Наверное одна из лучших книг по Линалу - это учебник "Introduction To Linear Algebra" Гилберта Стрэнга, профессора из MIT.
Американские учебники в целом лучше объясняют интуицию за математическими объектами по сравнению с советскими. Тут и мотивация и примеры использования в других областях науки. Очень рекомендую для поднятия или повторения базы по линейной алгебре именно учебник Стрэнга, у него как раз в прошлом году вышло 6-ое издание. #книги
@ai_newz
Наверное одна из лучших книг по Линалу - это учебник "Introduction To Linear Algebra" Гилберта Стрэнга, профессора из MIT.
Американские учебники в целом лучше объясняют интуицию за математическими объектами по сравнению с советскими. Тут и мотивация и примеры использования в других областях науки. Очень рекомендую для поднятия или повторения базы по линейной алгебре именно учебник Стрэнга, у него как раз в прошлом году вышло 6-ое издание. #книги
@ai_newz
Ну, хватит саспенса.
Сегодня я был в гостях во Фрайбурге у своих кентов из Stability AI, основных авторов Stable Diffusion.
Кто не знает, мы учились в одной лабе в Heidelberg University, впоследствии переехавшей в LMU в Мюнхен.
На фото Фредди печатает для меня их последнюю статью про новую text-to-image модель, которую они засабмитили сегодня на ICML.
@ai_newz
Сегодня я был в гостях во Фрайбурге у своих кентов из Stability AI, основных авторов Stable Diffusion.
Кто не знает, мы учились в одной лабе в Heidelberg University, впоследствии переехавшей в LMU в Мюнхен.
На фото Фредди печатает для меня их последнюю статью про новую text-to-image модель, которую они засабмитили сегодня на ICML.
@ai_newz
Llama2d: 2D Positional Embeddings for Webpage Structural Understanding
Интересный эксперимент — ребята зафайнтюнили LLaMa на понимание структуры web-страниц. Создали датасет, где из скринов веб-страниц с помощью OCR выдрали видимый текст вместе с его 2D координатами и задетектили, какие элементы на странице являются кликабельными. Затем затюнили LLaMa на этих данных, дополнительно добавив 2d эмбеддинги на вход модели.
Говорят, что так модели гораздо проще понимать страницы, и это более эффективно чем кормить пиксели напрямую в модель, как это можно делать в GPT-V.
Этот новый подход может быть полезен, например, для создания агента который сам сможет бегать по страницам и понимать как с ними взаимодействовать.
Пока ещё Work in progress. Но весь код уже выложили на гитхаб. Будем следить за развитием.
@ai_newz
Интересный эксперимент — ребята зафайнтюнили LLaMa на понимание структуры web-страниц. Создали датасет, где из скринов веб-страниц с помощью OCR выдрали видимый текст вместе с его 2D координатами и задетектили, какие элементы на странице являются кликабельными. Затем затюнили LLaMa на этих данных, дополнительно добавив 2d эмбеддинги на вход модели.
Говорят, что так модели гораздо проще понимать страницы, и это более эффективно чем кормить пиксели напрямую в модель, как это можно делать в GPT-V.
Этот новый подход может быть полезен, например, для создания агента который сам сможет бегать по страницам и понимать как с ними взаимодействовать.
Пока ещё Work in progress. Но весь код уже выложили на гитхаб. Будем следить за развитием.
@ai_newz
Начинаю серию постов про основные методы для ускорения диффузионных моделей, т.к это один из моих главных научных интересов. В первой части поговорим про дистилляцию. Говорить будем в разрезе text2img, но многие из этих техник могут применяться и для видео.
Мы знаем, что диффузии из коробки требуется много прогонов по сети (шагов), чтобы сгенерить картинку во время инференса. Поэтому появился целый пласт работ, которые выдают вообще адовые ускорения. Ну такой вот примерно рецепт усредненный для дистиляции text2image моделей, потому что вариаций масса: берешь огромную модель учителя, которая генерит медленно, но качественно, и учишь студента предсказывать за 1-4 шага выходы учителя, полученные за много шагов. Магическим образом это работает. Но есть много нюансов, понять которые можно из следующих работ:
Model Distillation:
>> Читать часть 2
#ликбез
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Hardware EM @ Apple ⮕ Head of Hardware @ Midjourney
Давно не обсуждали Midjourney. В твиттере пробежал слух, что мол Midjourney переманила к себе одного из сеньерных чуваков, который возглавлял хардварную команду в Apple, работавшей над Vision Pro.
Я его нашел на линкедине (имя писать не стану), и чел не только работал над Vision Pro, так он еще и у Маска в Neuralink был Member Of Technical Staff по хардвару. То есть парень очень опытный. И вот теперь он стал Head of Hardware в Midjourney.
Интересно, какого рода девайс затевают в Midjourney? Это может быть как что-то вроде VR очков с полностью генерируемым контентом, так и какой-то wearable device, который стримит вам диффузионный контент прямо в мозг🤯 (шутка).
@ai_newz
Давно не обсуждали Midjourney. В твиттере пробежал слух, что мол Midjourney переманила к себе одного из сеньерных чуваков, который возглавлял хардварную команду в Apple, работавшей над Vision Pro.
Я его нашел на линкедине (имя писать не стану), и чел не только работал над Vision Pro, так он еще и у Маска в Neuralink был Member Of Technical Staff по хардвару. То есть парень очень опытный. И вот теперь он стал Head of Hardware в Midjourney.
Интересно, какого рода девайс затевают в Midjourney? Это может быть как что-то вроде VR очков с полностью генерируемым контентом, так и какой-то wearable device, который стримит вам диффузионный контент прямо в мозг
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
К слово о Midjourney, наткнулся на очень стильные генерации Midjourney V6 в стиле Grimes по мотивам шедевров.
Шикарное качество и стиль!
1. “Mona Lisa” by Leonardo da Vinci
2. “Girl with a Pearl Earring” by Johannes Vermeer
3. “The Scream” by Edvard Munch
4. “The Kiss” by Gustav Klimt
5. “American Gothic” by Grant Wood
6. “Self-Portrait with a Straw Hat” by Vincent van Gogh ❤️
___
Кто-то спросил в комментах к предыдущему посту: "Можно ли купить акции Midjourney?". Круче — можно пойти к ним работать.
@ai_newz
Шикарное качество и стиль!
1. “Mona Lisa” by Leonardo da Vinci
2. “Girl with a Pearl Earring” by Johannes Vermeer
3. “The Scream” by Edvard Munch
4. “The Kiss” by Gustav Klimt
5. “American Gothic” by Grant Wood
6. “Self-Portrait with a Straw Hat” by Vincent van Gogh ❤️
___
Кто-то спросил в комментах к предыдущему посту: "Можно ли купить акции Midjourney?". Круче — можно пойти к ним работать.
@ai_newz