OpenAI выкатили Sora — ИИ для генерации видео
Видео выше не сняты на камеру режиссёром, не нарисованы аниматорами, а сделаны с помощью этой нейронки. Это диффузионная модель с архитектурой, основанной на трансформерах. Она интерпретирует длинные подсказки на 135 слов, делает ролики вплоть до минуты и может генерировать сложные сцены высокой чёткости с несколькими персонажами и точными деталями фона.
Есть и недостатки, конечно: пока Sora не очень понимает причину и следствие и может, например, не учесть, что на печеньке должен остаться след от укуса.
Сейчас нейронку тестируют на предмет рисков и уязвимостей, разрабатывают инструменты, чтобы помогать обнаруживать и фильтровать потенциально вредоносный или вводящий в заблуждение контент.
Но примеры, которыми уже сейчас делится OpenAI и Альтман у себя в профиле, просто завораживают детализацией и проработанностью.
#нейроновости #ии
Видео выше не сняты на камеру режиссёром, не нарисованы аниматорами, а сделаны с помощью этой нейронки. Это диффузионная модель с архитектурой, основанной на трансформерах. Она интерпретирует длинные подсказки на 135 слов, делает ролики вплоть до минуты и может генерировать сложные сцены высокой чёткости с несколькими персонажами и точными деталями фона.
Есть и недостатки, конечно: пока Sora не очень понимает причину и следствие и может, например, не учесть, что на печеньке должен остаться след от укуса.
Сейчас нейронку тестируют на предмет рисков и уязвимостей, разрабатывают инструменты, чтобы помогать обнаруживать и фильтровать потенциально вредоносный или вводящий в заблуждение контент.
Но примеры, которыми уже сейчас делится OpenAI и Альтман у себя в профиле, просто завораживают детализацией и проработанностью.
#нейроновости #ии
Какие технологии самые востребованные в 2024 году?
Ответ можно найти в этой карте. Её авторы отобрали самых активных ML-разработчиков на Stack Overflow, отсортировали и подсчитали все их запросы и теги.
В результате получилась карта технических навыков, которые разработчики регулярно используют в своей работе. Размер навыка соответствует количеству связанных с ним запросов. Чем ближе два навыка на карте, тем чаще они встречаются в похожих контекстах.
Помимо этого, при нажатии на навык можно получить его описание, альтернативы и динамику интереса.
#ml #nlp #cv
Ответ можно найти в этой карте. Её авторы отобрали самых активных ML-разработчиков на Stack Overflow, отсортировали и подсчитали все их запросы и теги.
В результате получилась карта технических навыков, которые разработчики регулярно используют в своей работе. Размер навыка соответствует количеству связанных с ним запросов. Чем ближе два навыка на карте, тем чаще они встречаются в похожих контекстах.
Помимо этого, при нажатии на навык можно получить его описание, альтернативы и динамику интереса.
#ml #nlp #cv
OpenAI запустила форум для исследователей ИИ
На нём будут проводиться различные образовательные вебинары, технические беседы, а также множество возможностей для участников (включая исследователей OpenAI) для общения и генерации новых идей.
А тем, кому удастся себя проявить, будут и предложены и оплачиваемые мероприятия, например: оценки моделей, создание наборов оценок и не только. Для вступления необходимо проходить по некоторым критериям, но попробовать точно стоит!
#openai #нейроновости
На нём будут проводиться различные образовательные вебинары, технические беседы, а также множество возможностей для участников (включая исследователей OpenAI) для общения и генерации новых идей.
А тем, кому удастся себя проявить, будут и предложены и оплачиваемые мероприятия, например: оценки моделей, создание наборов оценок и не только. Для вступления необходимо проходить по некоторым критериям, но попробовать точно стоит!
#openai #нейроновости
This media is not supported in your browser
VIEW IN TELEGRAM
Продолжение сиквела про ЖЕПУ
Знаем, вы все ждали и вот наконец, вышла новая модель архитектуры JEPA, под названием V-JEPA. Область её применения схожа с I-JEPA, о которой мы говорили ранее. Модели призваны понимать и предсказывать развитие событий на видео, подобно человеку, даже при ограниченном объёме исходных данных.
Исследователи верят, что путь к продвинутому машинному интеллекту будет лежать именно через эту архитектуру, поэтому не оставляйте её без внимания!
Разбор статьи | Статья | GitHub
#vjepa #unsupervisedlearning
Знаем, вы все ждали и вот наконец, вышла новая модель архитектуры JEPA, под названием V-JEPA. Область её применения схожа с I-JEPA, о которой мы говорили ранее. Модели призваны понимать и предсказывать развитие событий на видео, подобно человеку, даже при ограниченном объёме исходных данных.
Исследователи верят, что путь к продвинутому машинному интеллекту будет лежать именно через эту архитектуру, поэтому не оставляйте её без внимания!
Разбор статьи | Статья | GitHub
#vjepa #unsupervisedlearning
Токенизация в NLP: тонкости и особенности
Андрей Карпати, в прошлом ведущий инженер OpenAI и разработчик автопилота Tesla, выпустил новое видео на своём YouTube-канале, в котором подробно рассказал о процессе токенизации. Кроме того, он продемонстрировал пример реализации Tokenizer'а, используемого в серии моделей GPT от OpenAI. Материал, нескучный и очень наглядный, поэтому бежим и смотрим!
Репозиторий с объяснениями кода: https://github.com/karpathy/minbpe
#llm #nlp
Андрей Карпати, в прошлом ведущий инженер OpenAI и разработчик автопилота Tesla, выпустил новое видео на своём YouTube-канале, в котором подробно рассказал о процессе токенизации. Кроме того, он продемонстрировал пример реализации Tokenizer'а, используемого в серии моделей GPT от OpenAI. Материал, нескучный и очень наглядный, поэтому бежим и смотрим!
Репозиторий с объяснениями кода: https://github.com/karpathy/minbpe
#llm #nlp
YouTube
Let's build the GPT Tokenizer
The Tokenizer is a necessary and pervasive component of Large Language Models (LLMs), where it translates between strings and tokens (text chunks). Tokenizers are a completely separate stage of the LLM pipeline: they have their own training sets, training…
This media is not supported in your browser
VIEW IN TELEGRAM
Делаем хуже, чтобы получилось лучше
Главное, чтобы этим принципом не пользовались медики на операциях, а вот в сфере ML это вполне себе применимо. Недавно обнаружили любопытное исследование. В нём энтузиасты намеренно добавляли нерелевантные документы при обучении модели RAG, и на удивление, это приводило к повышению точности на 30%.
Добавление нерелевантных документов фактически повысило точность модели (по сравнению со случаем, когда контекст — это просто соответсвующий документ). Было бы интересно проверить это на более мощных LLM и других наборах данных, поскольку это наблюдение весьма парадоксально.
Статья | Выжимка из статьи
#llm #rag #статья
Главное, чтобы этим принципом не пользовались медики на операциях, а вот в сфере ML это вполне себе применимо. Недавно обнаружили любопытное исследование. В нём энтузиасты намеренно добавляли нерелевантные документы при обучении модели RAG, и на удивление, это приводило к повышению точности на 30%.
Добавление нерелевантных документов фактически повысило точность модели (по сравнению со случаем, когда контекст — это просто соответсвующий документ). Было бы интересно проверить это на более мощных LLM и других наборах данных, поскольку это наблюдение весьма парадоксально.
Статья | Выжимка из статьи
#llm #rag #статья
Курсы:
— Курс от Hugging Face: баланс теории и практики, вы познакомитесь с основными библиотеками, получите сертификат по окончанию и сможете пообщаться с другими участниками в Discord.
— Плейлист с подробными лекциями о базовых концепциях и популярных архитектурах обучения роботов.
— Курс на Coursera: даст понимание ключевых идей обучения с подкреплением. Вы сможете реализовать полноценное RL-решение и научитесь применять инструменты ИИ для решения реальных задач.
Книги:
— «Грокаем глубокое обучение с подкреплением» Моралес Мигель;
— «Обучение с подкреплением [2-е изд.]» Ричард С. Саттон, Эндрю Дж. Барто;
— «Алгоритмы принятия решений» Кохендерфер М., Уинлер Т., Рэй К.
Дайте знать, если хотите видеть больше подобных подборок!
#rl #deeplearning
— Курс от Hugging Face: баланс теории и практики, вы познакомитесь с основными библиотеками, получите сертификат по окончанию и сможете пообщаться с другими участниками в Discord.
— Плейлист с подробными лекциями о базовых концепциях и популярных архитектурах обучения роботов.
— Курс на Coursera: даст понимание ключевых идей обучения с подкреплением. Вы сможете реализовать полноценное RL-решение и научитесь применять инструменты ИИ для решения реальных задач.
Книги:
— «Грокаем глубокое обучение с подкреплением» Моралес Мигель;
— «Обучение с подкреплением [2-е изд.]» Ричард С. Саттон, Эндрю Дж. Барто;
— «Алгоритмы принятия решений» Кохендерфер М., Уинлер Т., Рэй К.
Дайте знать, если хотите видеть больше подобных подборок!
#rl #deeplearning
5 библиотек Python, о которых вы могли не знать
Если вы только начинаете свой путь в машинном обучении или уже имеете опыт на уровне среднего, эта статья для вас. В ней перечислены 5 библиотек, знание которых значительно расширит ваши возможности как ML-инженера. Вы сможете упростить процесс разработки моделей машинного обучения и станете более конкурентоспособным кандидатом на рынке труда.
#библиотеки #ml
Если вы только начинаете свой путь в машинном обучении или уже имеете опыт на уровне среднего, эта статья для вас. В ней перечислены 5 библиотек, знание которых значительно расширит ваши возможности как ML-инженера. Вы сможете упростить процесс разработки моделей машинного обучения и станете более конкурентоспособным кандидатом на рынке труда.
#библиотеки #ml
This media is not supported in your browser
VIEW IN TELEGRAM
Google снова облажался?
Для тех, кто не в курсе: недавно Google выпустила про версию Gemini 1.5 с мультимодальностью и впечатляющей длиной контекста в 1 миллион токенов. Туда буквально можно загрузить примерно часовое видео, 11 часов аудио, более 30 тысяч строк кода и до 700 тысяч строк текста. И в этой области нейросеть справляется действительно хорошо.
Но как обстоят дела с генерацией изображений? Пользователи быстро обнаружили, что Gemini отказывается генерить белых людей и их достижения, но без проблем создаёт изображения темнокожих, азиатов и индейцев. Янник сделал видео по этому поводу, смотрите, это точно скрасит ваш понедельник!
#gemini #позалипать #нейроновости
Для тех, кто не в курсе: недавно Google выпустила про версию Gemini 1.5 с мультимодальностью и впечатляющей длиной контекста в 1 миллион токенов. Туда буквально можно загрузить примерно часовое видео, 11 часов аудио, более 30 тысяч строк кода и до 700 тысяч строк текста. И в этой области нейросеть справляется действительно хорошо.
Но как обстоят дела с генерацией изображений? Пользователи быстро обнаружили, что Gemini отказывается генерить белых людей и их достижения, но без проблем создаёт изображения темнокожих, азиатов и индейцев. Янник сделал видео по этому поводу, смотрите, это точно скрасит ваш понедельник!
#gemini #позалипать #нейроновости
Лучшее понимание и рассуждение в разных модальностях — говорили они
Prompt:
«Создай изображение двух белых работников медицинского учреждения, обедающих на пляже. Сохрани их профессионализм, не нужно делать из этого что-то странное. И ни в коем случае не добавляй статую Ленина на задний план.»
Gemini:
«Конечно. Вот изображение, которое вы просили»
#нейромемы #gemini
Prompt:
«Создай изображение двух белых работников медицинского учреждения, обедающих на пляже. Сохрани их профессионализм, не нужно делать из этого что-то странное. И ни в коем случае не добавляй статую Ленина на задний план.»
Gemini:
«Конечно. Вот изображение, которое вы просили»
#нейромемы #gemini
Дора это вам не певица какая-то
DoRA — это расширение популярного в ML метода LoRA. Если вкратце, эти подходы позволяют эффективно настраивать LLM на основе данных для конкретных задач, кратно сокращая время и вычислительные ресурсы, необходимые для точной настройки.
Для более глубокого понимания этой темы, рекомендуем ознакомиться с этой статьёй. В ней автор реализовал оба подхода, сравнил их и показал примеры кода на PyTorch.
#lora #dora
DoRA — это расширение популярного в ML метода LoRA. Если вкратце, эти подходы позволяют эффективно настраивать LLM на основе данных для конкретных задач, кратно сокращая время и вычислительные ресурсы, необходимые для точной настройки.
Для более глубокого понимания этой темы, рекомендуем ознакомиться с этой статьёй. В ней автор реализовал оба подхода, сравнил их и показал примеры кода на PyTorch.
#lora #dora
Все мы ходим в зал, чтобы накачаться
Но и про мозг не нужно забывать. Поэтому держите сборник со 100 упражнениями по NumPy, собранных из NumPy mailing list, Stack Overflow и документации.
Сами задачки расположены в порядке нарастающей сложности и подойдут как для новичков, так и для тех, кто уже знаком с этой библиотекой.
#numpy #библиотеки
Но и про мозг не нужно забывать. Поэтому держите сборник со 100 упражнениями по NumPy, собранных из NumPy mailing list, Stack Overflow и документации.
Сами задачки расположены в порядке нарастающей сложности и подойдут как для новичков, так и для тех, кто уже знаком с этой библиотекой.
#numpy #библиотеки
GitHub
GitHub - rougier/numpy-100: 100 numpy exercises (with solutions)
100 numpy exercises (with solutions). Contribute to rougier/numpy-100 development by creating an account on GitHub.
This media is not supported in your browser
VIEW IN TELEGRAM
Просыпаемся, нам релизнули YOLOv9
Ещё одно пополнение в семействе Yolo не заставило себя долго ждать.
Ключевые улучшения:
— Завезли новую архитектуру GELAN, которая значительно улучшила эффективность и точность при меньших вычислительных затратах.
— Совместимость с Transformer.js: а это значит можем запустить прямо с браузера и без серверов.
— Метод PGI борется с потерей информации.
Demo | Cтатья | Github | Гайд
#yolo #cv
Ещё одно пополнение в семействе Yolo не заставило себя долго ждать.
Ключевые улучшения:
— Завезли новую архитектуру GELAN, которая значительно улучшила эффективность и точность при меньших вычислительных затратах.
— Совместимость с Transformer.js: а это значит можем запустить прямо с браузера и без серверов.
— Метод PGI борется с потерей информации.
Demo | Cтатья | Github | Гайд
#yolo #cv
Как скоро мы сможем запустить LLM на утюге?
Шутки в сторону, дело в том, что Microsoft представила новый тип языковых моделей — 1-bit LLM. И как показывает их исследование, данный подход открывает большие перспективы.
Суть инновации заключается в том, что каждый параметр модели кодируется всего 1.58 битами, в отличие от традиционных моделей, использующих 16-бит.
Такие изменения снизили потребление энергии в 71 раз, а использование GPU в 3.5 раза, в сравнении с ламой (смотрите бенчи).
Папира | Видео с разбором
@neuro_channel #llm #статья
Шутки в сторону, дело в том, что Microsoft представила новый тип языковых моделей — 1-bit LLM. И как показывает их исследование, данный подход открывает большие перспективы.
Суть инновации заключается в том, что каждый параметр модели кодируется всего 1.58 битами, в отличие от традиционных моделей, использующих 16-бит.
Такие изменения снизили потребление энергии в 71 раз, а использование GPU в 3.5 раза, в сравнении с ламой (смотрите бенчи).
Папира | Видео с разбором
@neuro_channel #llm #статья
У всех в IT был индус, который их чему-то научил
А если вы ещё не нашли такого, то не расстраивайтесь, у нас есть отличный вариант. Дело в том, что FreeCodeCamp выпустил полноценный 30-часовой курс по генеративному искусственному интеллекту.
В нём под руководством трёх замечательных спикеров вы с головой окунётесь в мир генеративок, узнаете о библиотеках, структурах моделей и других аспектах, лежащих в основе ИИ. И конечно же, будете применять эти знания в реальных проектах: от чат-ботов до продвинутых приложений.
@neuro_channel #ai #nlp
А если вы ещё не нашли такого, то не расстраивайтесь, у нас есть отличный вариант. Дело в том, что FreeCodeCamp выпустил полноценный 30-часовой курс по генеративному искусственному интеллекту.
В нём под руководством трёх замечательных спикеров вы с головой окунётесь в мир генеративок, узнаете о библиотеках, структурах моделей и других аспектах, лежащих в основе ИИ. И конечно же, будете применять эти знания в реальных проектах: от чат-ботов до продвинутых приложений.
@neuro_channel #ai #nlp
YouTube
Generative AI Full Course – Gemini Pro, OpenAI, Llama, Langchain, Pinecone, Vector Databases & More
Learn about generative models and different frameworks, investigating the production of text and visual material produced by artificial intelligence. This course was originally recorded live.
Instructors: Krish Naik, Sunny Savita, and Boktiar Ahmed Bappy.…
Instructors: Krish Naik, Sunny Savita, and Boktiar Ahmed Bappy.…
Forwarded from Представляешь,
в Китае по телевидению показывают мультсериал, сгенерированный ИИ
Он называется «Стихотворения тысячелетий» и основан на классической китайской поэзии. Мультик состоит из 26 эпизодов по 7 минут. Это один из первых примеров ИИ-мультфильма, показанного на широкую аудиторию.
Для создания мультсериала использовали нейросетку GenAI: она помогала и с дизайном, и с генерацией видео и с постпродакшеном. Кадры из мультика выглядят достаточно проработано и приятно.
Где-то в Китае мультипликаторы напряглись, что придётся менять профессию.
@your_tech
Он называется «Стихотворения тысячелетий» и основан на классической китайской поэзии. Мультик состоит из 26 эпизодов по 7 минут. Это один из первых примеров ИИ-мультфильма, показанного на широкую аудиторию.
Для создания мультсериала использовали нейросетку GenAI: она помогала и с дизайном, и с генерацией видео и с постпродакшеном. Кадры из мультика выглядят достаточно проработано и приятно.
Где-то в Китае мультипликаторы напряглись, что придётся менять профессию.
@your_tech