LG выпустили в open source свою языковую модель с 7.8B параметрами. Чат версия доступна на hf. Учили сами “from scratch”, особое внимание уделили инициализации.
Показывают на своем стенде на ACL
https://arxiv.org/abs/2408.03541
Показывают на своем стенде на ACL
https://arxiv.org/abs/2408.03541
arXiv.org
EXAONE 3.0 7.8B Instruction Tuned Language Model
We introduce EXAONE 3.0 instruction-tuned language model, the first open model in the family of Large Language Models (LLMs) developed by LG AI Research. Among different model sizes, we publicly...
🔥13👏3👍1🎉1💯1
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
❤19🔥10👍4🙏2
⚡️Основная часть конференции ACL 2024 торжественно завершилась
🎉Конференция приняла 550 онлайн и 3250 очных участников
Топ-конференция в области NLP переходит в фазу воркшопов (14-15 августа), а также 22 августа будет онлайн мероприятие, на котором будет ряд постеров и выступления обладателей наград за лучшие работы
Три продуктивных дня конференции подошли к концу, за которые я обзавёлся новыми контактами, которые, надеюсь, приведут к плодотворному сотрудничеству, познакомился с интересными проектами и решениями различных задач, а также мы представили несколько постеров. Следует отметить, что такого рода конференции также являются отличным катализатором мыслительного процесса, поэтому мы возвращаемся с идеями для новых исследований и крутых публикаций💪
🎉Конференция приняла 550 онлайн и 3250 очных участников
Топ-конференция в области NLP переходит в фазу воркшопов (14-15 августа), а также 22 августа будет онлайн мероприятие, на котором будет ряд постеров и выступления обладателей наград за лучшие работы
Три продуктивных дня конференции подошли к концу, за которые я обзавёлся новыми контактами, которые, надеюсь, приведут к плодотворному сотрудничеству, познакомился с интересными проектами и решениями различных задач, а также мы представили несколько постеров. Следует отметить, что такого рода конференции также являются отличным катализатором мыслительного процесса, поэтому мы возвращаемся с идеями для новых исследований и крутых публикаций💪
🔥22❤🔥9👏8👍1
⚡В продолжение темы мультимодальной модели Qwen2-VL, авторы выложили на Hugging Face демку Max версии — можно пообщаться в чат режиме, загружая картинки и видео, а далее вести диалог про содержание. При этом никакого нового тех репорта от них не выпущено — только то, что я выкладывал в посте выше 😊
Демо Qwen2-VL-Max
https://huggingface.co/spaces/Qwen/Qwen2-VL
Демо Qwen2-VL-Max
https://huggingface.co/spaces/Qwen/Qwen2-VL
Telegram
Complete AI
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
👍6🔥3💯1
Всем привет!
☝️Недавно я писал про сотрудника Лаборатории FusionBrain в AIRI, который принимал участие в первой Международной олимпиаде по искусственному интеллекту — Андрей Громыко. Подготовкой команды занималась команда преподавателей Центрального Университета.
🥇 Так вот, команда ребят взяла золото! Более того, они стали не просто победителями, а абсолютными победителями🎉🎉🎉
Поздравляю ребят, желаю успехов в учебе и новых побед! Команде тренеров отдельная благодарность🤝
☝️Недавно я писал про сотрудника Лаборатории FusionBrain в AIRI, который принимал участие в первой Международной олимпиаде по искусственному интеллекту — Андрей Громыко. Подготовкой команды занималась команда преподавателей Центрального Университета.
Поздравляю ребят, желаю успехов в учебе и новых побед! Команде тренеров отдельная благодарность🤝
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥75🎉29❤14👏5💯1
На просторах интернета нашел забавный тест, который позволяет посоревноваться с современными языковыми моделями в навыке предсказывания следующего слова в тексте💪
Если знаете инглиш, то можете посоревноваться 🥊
👉В бой
Я набрал4/15 баллов. Пишите свои результаты в комментариях😏
Если знаете инглиш, то можете посоревноваться 🥊
👉В бой
Я набрал
🔥15👍5💯2
⚡⚡⚡Свежайший крутой апдейт от OpenAI
Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/
Файнтюнинг GPT-4o обойдётся в 25$ за 1М токенов, а инференс — в 3.75$ за 1М входных токенов и 15$ за 1М выходных токенов. Как сказано выше, файнтюн GPT-4o-mini будет бесплатным до 23 сентября.
Конечно же, обещают безопасность ваших данных😉
Побежали скорее что-нибудь тюнить🏃
Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/
Today, we’re launching fine-tuning for GPT-4o, one of the most requested features from developers. We are also offering 1M training tokens per day for free for every organization through September 23.
Файнтюнинг GPT-4o обойдётся в 25$ за 1М токенов, а инференс — в 3.75$ за 1М входных токенов и 15$ за 1М выходных токенов. Как сказано выше, файнтюн GPT-4o-mini будет бесплатным до 23 сентября.
Конечно же, обещают безопасность ваших данных😉
Fine-tuned models remain entirely under your control, with full ownership of your business data, including all inputs and outputs. This ensures your data is never shared or used to train other models
Побежали скорее что-нибудь тюнить
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16❤9👍4⚡1
ℹ️Делюсь интересным мероприятием на тему RAG, где будет участвовать мой хороший знакомый и отличный специалист в области NLP — Валентин Малых.
Кому интересно послушать про RAG, и с чем его едят — советую сходить послушать Валю и других спикеров.
Информация о событии👇
https://t.iss.one/valuableai/53
Кому интересно послушать про RAG, и с чем его едят — советую сходить послушать Валю и других спикеров.
Информация о событии👇
https://t.iss.one/valuableai/53
Telegram
Valuable AI
небольшой анонс мероприятия с моим участием, приходите, кому интересно послушать про RAG
детали мероприятия можно посмотреть здесь (нужна регистрация): https://t.iss.one/compressaai/6
детали мероприятия можно посмотреть здесь (нужна регистрация): https://t.iss.one/compressaai/6
👍23❤4🔥2
Forwarded from Уставший техдир
Разгоняют новость, что во Франции Дурова приняли, с формулировкой "создатель сервиса зашифрованных сообщений", чтож запасаемся попкорном)
UPD: Его там серьезно набутыливают на 20 лет 😞
UPD: Его там серьезно набутыливают на 20 лет 😞
😱36🤨7🌚3🤓2👎1
👋Всем привет!
В моей команде работает много талантливых молодых учёных и скрывать их — настоящее преступление. Я горжусь ребятами и буду знакомить вас с ними ❤️
В этом году к лаборатории FusionBrain AIRI присоединилась крутая команда
🟢 все статьи можно почитать тут
🟢 избранные свежие работы: StyleDomain на ICCV 2023 и StyleFeatureEditor на CVPR 2024
Разные подходы по персонализированной генерации изображений, стилизация картинок различными способами, объяснение сложных вещей простыми словами и многое другое — это всё к нему😉
👉Недавно он создал свой тг-канал AI Brain, где будет делиться мыслями и материалами для погружения в Gen AI, разбирать научные статьи, а заодно рассказывать о команде и последних исследованиях! Очень рекомендую подписаться 💯
В моей команде работает много талантливых молодых учёных и скрывать их — настоящее преступление. Я горжусь ребятами и буду знакомить вас с ними ❤️
В этом году к лаборатории FusionBrain AIRI присоединилась крутая команда
Controllable Generative AI под началом Айбека Аланова, которая нацелена усилить генеративное направление 💪 (между прочим он руководит ещё и Центром глубинного обучения и байесовских методов в НИУ ВШЭ). Айбек занимается исследованиями в области генеративных моделей и публикуется вместе с командой на топовых международных конференциях:Разные подходы по персонализированной генерации изображений, стилизация картинок различными способами, объяснение сложных вещей простыми словами и многое другое — это всё к нему😉
👉Недавно он создал свой тг-канал AI Brain, где будет делиться мыслями и материалами для погружения в Gen AI, разбирать научные статьи, а заодно рассказывать о команде и последних исследованиях! Очень рекомендую подписаться 💯
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43❤9💯4❤🔥2
Complete AI
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL. Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
⚡⚡⚡Вот и пожаловал релиз Qwen2-VL
https://qwenlm.github.io/blog/qwen2-vl/
Две ключевых фишки подсветили, как и на выступлении на ACL:
1) работа с динамическим разрешением входных изображений (без даунсэмплинга картинок по умолчанию), а энкодер ViT-600M работает как для картинок, так и для видео на входе
2) мультимодальные ROPE, чтобы можно было работать с пространсовенно-временной информацией
UPD: Статью с деталями обещают скоро
https://qwenlm.github.io/blog/qwen2-vl/
Две ключевых фишки подсветили, как и на выступлении на ACL:
1) работа с динамическим разрешением входных изображений (без даунсэмплинга картинок по умолчанию), а энкодер ViT-600M работает как для картинок, так и для видео на входе
2) мультимодальные ROPE, чтобы можно было работать с пространсовенно-временной информацией
We opensource Qwen2-VL-2B and Qwen2-VL-7B with Apache 2.0 license, and we release the API of Qwen2-VL-72B
UPD: Статью с деталями обещают скоро
Qwen
Qwen2-VL: To See the World More Clearly
DEMO GITHUB HUGGING FACE MODELSCOPE API DISCORD
After a year’s relentless efforts, today we are thrilled to release Qwen2-VL! Qwen2-VL is the latest version of the vision language models based on Qwen2 in the Qwen model familities. Compared with Qwen-VL,…
After a year’s relentless efforts, today we are thrilled to release Qwen2-VL! Qwen2-VL is the latest version of the vision language models based on Qwen2 in the Qwen model familities. Compared with Qwen-VL,…
❤🔥10🔥5❤1🏆1
🎉Торжественно завершили Летнюю школу AIRI 2024
Ребята прошли очень напряженный интенсив в части лекционной нагрузки, параллельно прокачивали проекты и сегодня их защищали. Это был крутой путь, выбирать среди представленных 25+ проектов всего 3 лучших было сложно, но мы справились💪
Всем участникам желаю удачи, ПИШ ИТМО большое спасибо за площадку и помощь в организации, ну а мы немного выдохнем, соберём обратную связь, порефлексируем и начнём продумывать Школу в 2025 году!
В следующих постах расскажу про тройку лидеров 😉
Ребята прошли очень напряженный интенсив в части лекционной нагрузки, параллельно прокачивали проекты и сегодня их защищали. Это был крутой путь, выбирать среди представленных 25+ проектов всего 3 лучших было сложно, но мы справились💪
Всем участникам желаю удачи, ПИШ ИТМО большое спасибо за площадку и помощь в организации, ну а мы немного выдохнем, соберём обратную связь, порефлексируем и начнём продумывать Школу в 2025 году!
🔥47❤🔥9👍8❤1👏1
⚡️Новый релиз лаборатории FusionBrain в конце рабочей недели
Представляем вам Guide-and-Rescale — новый способ редактирования изображений с помощью диффузионных моделей, принятый на Core A* конференцию ECCV 2024! Наш метод позволяет менять объекты на картинке, стиль изображения или эмоции на лице по текстовому описанию, сохраняя структуру и детали, которые не должны меняться.
По ссылкам ниже можно найти демо и код👇
🟢 GitHub
🟢 Google Colab
🟢 Hugging Face
Также мы закинули статью на Daily Papers и надеемся на вашу поддержку🤝
Будем рады вашим отзывам, звёздам и апвоутам! ⭐️
Саму работу читайте на arXiv и на хабре.
За деталями можно залетать в канал Айбека, который как раз руководит научной группой Controllable GenAI в лабе, разработавшей этот подход
Представляем вам Guide-and-Rescale — новый способ редактирования изображений с помощью диффузионных моделей, принятый на Core A* конференцию ECCV 2024! Наш метод позволяет менять объекты на картинке, стиль изображения или эмоции на лице по текстовому описанию, сохраняя структуру и детали, которые не должны меняться.
По ссылкам ниже можно найти демо и код👇
Также мы закинули статью на Daily Papers и надеемся на вашу поддержку🤝
Будем рады вашим отзывам, звёздам и апвоутам! ⭐️
Саму работу читайте на arXiv и на хабре.
За деталями можно залетать в канал Айбека, который как раз руководит научной группой Controllable GenAI в лабе, разработавшей этот подход
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉25❤13🔥7🏆2🆒1
👨🏫 Век живи — век учись
Сегодня на конференции Practical ML Conf мы провели мастер класс по методам файнтюнинга диффузионных моделей — это чтобы за небольшое время и на малом объёме данных и вычислительных ресурсов сделать из генеративной модели кастомную конфетку😏
Рассказали и показали какими способами можно файнтюнить модели (LoRA, IP Adapter и др.), какие плюсы и минусы у каждого подхода. Всё это проходило в live режиме, и участники могли сами попробовать разные сценарии работы.
📆На следующей неделе мы отдельно проведём запись мастер класса, и я им сразу поделюсь с вами: там будет и про SD, и про Kandinsky😉
Сегодня на конференции Practical ML Conf мы провели мастер класс по методам файнтюнинга диффузионных моделей — это чтобы за небольшое время и на малом объёме данных и вычислительных ресурсов сделать из генеративной модели кастомную конфетку😏
Рассказали и показали какими способами можно файнтюнить модели (LoRA, IP Adapter и др.), какие плюсы и минусы у каждого подхода. Всё это проходило в live режиме, и участники могли сами попробовать разные сценарии работы.
📆На следующей неделе мы отдельно проведём запись мастер класса, и я им сразу поделюсь с вами: там будет и про SD, и про Kandinsky😉
❤43🔥14👏11👍2🏆1
Forwarded from Институт AIRI
Новый рекорд исследователей AIRI в этом году — сразу 17 статей принято на NeurIPS🔥
Поздравляем всех авторов!
Поздравляем всех авторов!
Please open Telegram to view this post
VIEW IN TELEGRAM
👏68🔥22👍4
Из того, что запомнилось особенно за сегодня на ECCV’24 — доклад лидера команды Wayve (которые в том году выпускали статью про свою модель Gaia-1 для генерации видео в стиле видеорегистратора — эдакая модель мира).
Сначала он рассказал про модели описания сцены Lingo, а также датасет LingoQA. Вторая версия (выпустили в апреле этого года) Lingo-2 умеет также решать задачу определения 3D положения объектов (граундинг), что добавляет к качеству текстовых описаний и ответам на вопросы.
И далее перешел к довольно свежей модели CarLLaVA, выпущенной в июне. Входные кадры с фронтальной камеры делятся на 2 части, кодируются визуальным энкодером LLaVA-Next, фичи объединяются и далее через проектор по классике добавляются в LLM. В итоге получается супер SoTA на CARLA челлендже (отрыв от прошлогодней соты — 458%). Видео демка тут
@complete_ai
Сначала он рассказал про модели описания сцены Lingo, а также датасет LingoQA. Вторая версия (выпустили в апреле этого года) Lingo-2 умеет также решать задачу определения 3D положения объектов (граундинг), что добавляет к качеству текстовых описаний и ответам на вопросы.
И далее перешел к довольно свежей модели CarLLaVA, выпущенной в июне. Входные кадры с фронтальной камеры делятся на 2 части, кодируются визуальным энкодером LLaVA-Next, фичи объединяются и далее через проектор по классике добавляются в LLM. В итоге получается супер SoTA на CARLA челлендже (отрыв от прошлогодней соты — 458%). Видео демка тут
@complete_ai
🔥19❤5💯3👎1😁1