👉Кому интересно почитать про то, как сделать LLM более сговорчивой на разные темы (abliteration = ablated + obliterated), предлагаю посмотреть в материале тут
Грубо говоря, имея некоторый harmful датасет, его прогоняют через модель, определяют активации, которые сигнализируют об отказах модели отвечать на какие-то вопросы, а потом ортогонализируют соответствующие тензоры. Так модель сохраняет основную часть своих весов нетронутыми, а refusal direction за счёт ортогонализации меняется. Конечно, речь не идёт об устранении 100% отказов отвечать на вопросы, но тем не менее позволяет «ослабить» LLM
Грубо говоря, имея некоторый harmful датасет, его прогоняют через модель, определяют активации, которые сигнализируют об отказах модели отвечать на какие-то вопросы, а потом ортогонализируют соответствующие тензоры. Так модель сохраняет основную часть своих весов нетронутыми, а refusal direction за счёт ортогонализации меняется. Конечно, речь не идёт об устранении 100% отказов отвечать на вопросы, но тем не менее позволяет «ослабить» LLM
huggingface.co
Uncensor any LLM with abliteration
A Blog post by Maxime Labonne on Hugging Face
👍13🔥8💯2
🎬Сегодня вышел выпуск на канале Основа
Получилось довольно круто на мой взгляд! Поговорили с Борисом про современные тренды в ИИ, подискутировали про будущее и возможности современных технологий.
Приглашаю всех посмотреть, выходной как раз этому способствует! Заранее спасибо за просмотр🙏
👉Подкаст
Получилось довольно круто на мой взгляд! Поговорили с Борисом про современные тренды в ИИ, подискутировали про будущее и возможности современных технологий.
Приглашаю всех посмотреть, выходной как раз этому способствует! Заранее спасибо за просмотр🙏
👉Подкаст
YouTube
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: УГРОЗА или НАДЕЖДА?
😎 Подпишись на канал: https://t.ly/Ae5k
Поддержите нас:
На Boosty (российская карта): https://boosty.to/osnovachannel
На Patreon (иностранная карта): https://patreon.com/osnovachannel
Искусственный интеллект схож с мозгом человека? Робот может думать сам?…
Поддержите нас:
На Boosty (российская карта): https://boosty.to/osnovachannel
На Patreon (иностранная карта): https://patreon.com/osnovachannel
Искусственный интеллект схож с мозгом человека? Робот может думать сам?…
👍41⚡12🔥10🏆4❤3
👋 Мои коллеги из ИТМО AI Talent Hub набирают новых магистрантов
В этом году открывается LLM-трек
🌠 Учебный трек фокусируется на актуальных топиках в развитии LLM. Каждый месяц – обновление и актуализация данных.
И разработан совместно с экспертами из AIRI, Raft, Napoleon IT, Университета ИТМО, а также приглашенных экспертов-разработчиков YandexGPT и GigaChat.
Также в магистратуре:
🔛 Гибкая система выбора траектории обучения позволяет собрать индивидуальный трек.
🔛 Занятия проходят онлайн в вечернее время, вы можете подключаться из любой точки мира (льготы при этом как у «очников»: отсрочка от армии, диплом очной магистратуры)
🔛 Сильное комьюнити. Менторы, преподаватели и авторы курсов — действующие специалисты топовых AI-компаний — всегда готовы поделиться своим опытом и помочь советом.
❗️ Чтобы успеть пройти на бюджет, подайте заявку до 25 июля
👉Подробнее про LLM -трек
👉Подать заявку в магистратуру AI Talent Hub
В этом году открывается LLM-трек
И разработан совместно с экспертами из AIRI, Raft, Napoleon IT, Университета ИТМО, а также приглашенных экспертов-разработчиков YandexGPT и GigaChat.
Также в магистратуре:
👉Подробнее про LLM -трек
👉Подать заявку в магистратуру AI Talent Hub
Please open Telegram to view this post
VIEW IN TELEGRAM
❤22🔥20👍19
⚡️⚡️⚡️Рабочая неделя подошла к концу — я с новостями
Команда Айбека Аланова «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI разработала фреймворк StyleFeatureEditor, который позволяет быстро редактировать фотографии как по текстовому описанию, так и по набору стилей. Особенность ключевая в том, что при редактировании сохраняется качество реконструкции, а вносимые изменения выглядят при подборе параметра очень реалистично.
Научная фишка в том, что обучение энкодера делится на две фазы. Сначала просто учим понимать представления в F‑пространстве (модуль Inverter). После инверсии теряется редактируемость и чтобы её восстановить на втором этапе мы встраиваем и обучаем новый модуль Feature Editor, чья задача — модифицировать F‑тензор таким образом, чтобы добиться желаемого изменения стиля.
🔥Научная статья про данный подход была принята на самую цитируемую конференцию по компьютерному зрению CVPR-2024.
🟢 Все детали на Хабре
🟢 Протестировать модель можно в демке на Hugging Face👇. Она пока работает только с изображениями лиц, но скоро раскатаем и на другие домены😉
Предлагаю в комментариях размещать самые интересные результаты редактирования (каких стилей там только нет🤫)
Хабр
Демо
Всем хороших выходных👋
Команда Айбека Аланова «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI разработала фреймворк StyleFeatureEditor, который позволяет быстро редактировать фотографии как по текстовому описанию, так и по набору стилей. Особенность ключевая в том, что при редактировании сохраняется качество реконструкции, а вносимые изменения выглядят при подборе параметра очень реалистично.
Научная фишка в том, что обучение энкодера делится на две фазы. Сначала просто учим понимать представления в F‑пространстве (модуль Inverter). После инверсии теряется редактируемость и чтобы её восстановить на втором этапе мы встраиваем и обучаем новый модуль Feature Editor, чья задача — модифицировать F‑тензор таким образом, чтобы добиться желаемого изменения стиля.
🔥Научная статья про данный подход была принята на самую цитируемую конференцию по компьютерному зрению CVPR-2024.
Предлагаю в комментариях размещать самые интересные результаты редактирования (каких стилей там только нет🤫)
Хабр
Демо
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥40🏆9❤6💯5👏1
Всем привет 👐
Этот пост заряжен моей искренней поддержкой ❤️
С 9 по 15 августа в Болгарии пройдет первая Международная олимпиада по искусственному интеллекту (IOAI). В ней примут участие российские старшеклассники и среди них сотрудник AIRI — Андрей Громыко, занимающийся исследованием мультимодальных архитектур. Подготовкой ребят активно занимается квалифицированная команда преподавателей Центрального Университета — верю в то, что получится крутой dream team!
Андрей, желаю тебе победы, сил и удачи! И всем российским ребятам.
Мотивацию надо поднять 💪
Этот пост заряжен моей искренней поддержкой ❤️
С 9 по 15 августа в Болгарии пройдет первая Международная олимпиада по искусственному интеллекту (IOAI). В ней примут участие российские старшеклассники и среди них сотрудник AIRI — Андрей Громыко, занимающийся исследованием мультимодальных архитектур. Подготовкой ребят активно занимается квалифицированная команда преподавателей Центрального Университета — верю в то, что получится крутой dream team!
Андрей, желаю тебе победы, сил и удачи! И всем российским ребятам.
Мотивацию надо поднять 💪
❤71👍19🏆12🙊2👎1😁1🆒1
⚡️Топ конференция в области NLP — ACL 2024 началась сегодня в Бангкоке
Acceptance rate = 21.3%(на конференции принимается 1/5 поданных работ)
Мы представляем на конференции работу об исследованиях особенностей трансформеров:
https://huggingface.co/papers/2405.12250
Acceptance rate = 21.3%
Мы представляем на конференции работу об исследованиях особенностей трансформеров:
https://huggingface.co/papers/2405.12250
🔥27👍6👏2💯1
LG выпустили в open source свою языковую модель с 7.8B параметрами. Чат версия доступна на hf. Учили сами “from scratch”, особое внимание уделили инициализации.
Показывают на своем стенде на ACL
https://arxiv.org/abs/2408.03541
Показывают на своем стенде на ACL
https://arxiv.org/abs/2408.03541
arXiv.org
EXAONE 3.0 7.8B Instruction Tuned Language Model
We introduce EXAONE 3.0 instruction-tuned language model, the first open model in the family of Large Language Models (LLMs) developed by LG AI Research. Among different model sizes, we publicly...
🔥13👏3👍1🎉1💯1
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
❤19🔥10👍4🙏2
⚡️Основная часть конференции ACL 2024 торжественно завершилась
🎉Конференция приняла 550 онлайн и 3250 очных участников
Топ-конференция в области NLP переходит в фазу воркшопов (14-15 августа), а также 22 августа будет онлайн мероприятие, на котором будет ряд постеров и выступления обладателей наград за лучшие работы
Три продуктивных дня конференции подошли к концу, за которые я обзавёлся новыми контактами, которые, надеюсь, приведут к плодотворному сотрудничеству, познакомился с интересными проектами и решениями различных задач, а также мы представили несколько постеров. Следует отметить, что такого рода конференции также являются отличным катализатором мыслительного процесса, поэтому мы возвращаемся с идеями для новых исследований и крутых публикаций💪
🎉Конференция приняла 550 онлайн и 3250 очных участников
Топ-конференция в области NLP переходит в фазу воркшопов (14-15 августа), а также 22 августа будет онлайн мероприятие, на котором будет ряд постеров и выступления обладателей наград за лучшие работы
Три продуктивных дня конференции подошли к концу, за которые я обзавёлся новыми контактами, которые, надеюсь, приведут к плодотворному сотрудничеству, познакомился с интересными проектами и решениями различных задач, а также мы представили несколько постеров. Следует отметить, что такого рода конференции также являются отличным катализатором мыслительного процесса, поэтому мы возвращаемся с идеями для новых исследований и крутых публикаций💪
🔥22❤🔥9👏8👍1
⚡В продолжение темы мультимодальной модели Qwen2-VL, авторы выложили на Hugging Face демку Max версии — можно пообщаться в чат режиме, загружая картинки и видео, а далее вести диалог про содержание. При этом никакого нового тех репорта от них не выпущено — только то, что я выкладывал в посте выше 😊
Демо Qwen2-VL-Max
https://huggingface.co/spaces/Qwen/Qwen2-VL
Демо Qwen2-VL-Max
https://huggingface.co/spaces/Qwen/Qwen2-VL
Telegram
Complete AI
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
👍6🔥3💯1
Всем привет!
☝️Недавно я писал про сотрудника Лаборатории FusionBrain в AIRI, который принимал участие в первой Международной олимпиаде по искусственному интеллекту — Андрей Громыко. Подготовкой команды занималась команда преподавателей Центрального Университета.
🥇 Так вот, команда ребят взяла золото! Более того, они стали не просто победителями, а абсолютными победителями🎉🎉🎉
Поздравляю ребят, желаю успехов в учебе и новых побед! Команде тренеров отдельная благодарность🤝
☝️Недавно я писал про сотрудника Лаборатории FusionBrain в AIRI, который принимал участие в первой Международной олимпиаде по искусственному интеллекту — Андрей Громыко. Подготовкой команды занималась команда преподавателей Центрального Университета.
Поздравляю ребят, желаю успехов в учебе и новых побед! Команде тренеров отдельная благодарность🤝
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥75🎉29❤14👏5💯1
На просторах интернета нашел забавный тест, который позволяет посоревноваться с современными языковыми моделями в навыке предсказывания следующего слова в тексте💪
Если знаете инглиш, то можете посоревноваться 🥊
👉В бой
Я набрал4/15 баллов. Пишите свои результаты в комментариях😏
Если знаете инглиш, то можете посоревноваться 🥊
👉В бой
Я набрал
🔥15👍5💯2
⚡⚡⚡Свежайший крутой апдейт от OpenAI
Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/
Файнтюнинг GPT-4o обойдётся в 25$ за 1М токенов, а инференс — в 3.75$ за 1М входных токенов и 15$ за 1М выходных токенов. Как сказано выше, файнтюн GPT-4o-mini будет бесплатным до 23 сентября.
Конечно же, обещают безопасность ваших данных😉
Побежали скорее что-нибудь тюнить🏃
Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/
Today, we’re launching fine-tuning for GPT-4o, one of the most requested features from developers. We are also offering 1M training tokens per day for free for every organization through September 23.
Файнтюнинг GPT-4o обойдётся в 25$ за 1М токенов, а инференс — в 3.75$ за 1М входных токенов и 15$ за 1М выходных токенов. Как сказано выше, файнтюн GPT-4o-mini будет бесплатным до 23 сентября.
Конечно же, обещают безопасность ваших данных😉
Fine-tuned models remain entirely under your control, with full ownership of your business data, including all inputs and outputs. This ensures your data is never shared or used to train other models
Побежали скорее что-нибудь тюнить
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16❤9👍4⚡1
ℹ️Делюсь интересным мероприятием на тему RAG, где будет участвовать мой хороший знакомый и отличный специалист в области NLP — Валентин Малых.
Кому интересно послушать про RAG, и с чем его едят — советую сходить послушать Валю и других спикеров.
Информация о событии👇
https://t.iss.one/valuableai/53
Кому интересно послушать про RAG, и с чем его едят — советую сходить послушать Валю и других спикеров.
Информация о событии👇
https://t.iss.one/valuableai/53
Telegram
Valuable AI
небольшой анонс мероприятия с моим участием, приходите, кому интересно послушать про RAG
детали мероприятия можно посмотреть здесь (нужна регистрация): https://t.iss.one/compressaai/6
детали мероприятия можно посмотреть здесь (нужна регистрация): https://t.iss.one/compressaai/6
👍23❤4🔥2
Forwarded from Уставший техдир
Разгоняют новость, что во Франции Дурова приняли, с формулировкой "создатель сервиса зашифрованных сообщений", чтож запасаемся попкорном)
UPD: Его там серьезно набутыливают на 20 лет 😞
UPD: Его там серьезно набутыливают на 20 лет 😞
😱36🤨7🌚3🤓2👎1
👋Всем привет!
В моей команде работает много талантливых молодых учёных и скрывать их — настоящее преступление. Я горжусь ребятами и буду знакомить вас с ними ❤️
В этом году к лаборатории FusionBrain AIRI присоединилась крутая команда
🟢 все статьи можно почитать тут
🟢 избранные свежие работы: StyleDomain на ICCV 2023 и StyleFeatureEditor на CVPR 2024
Разные подходы по персонализированной генерации изображений, стилизация картинок различными способами, объяснение сложных вещей простыми словами и многое другое — это всё к нему😉
👉Недавно он создал свой тг-канал AI Brain, где будет делиться мыслями и материалами для погружения в Gen AI, разбирать научные статьи, а заодно рассказывать о команде и последних исследованиях! Очень рекомендую подписаться 💯
В моей команде работает много талантливых молодых учёных и скрывать их — настоящее преступление. Я горжусь ребятами и буду знакомить вас с ними ❤️
В этом году к лаборатории FusionBrain AIRI присоединилась крутая команда
Controllable Generative AI под началом Айбека Аланова, которая нацелена усилить генеративное направление 💪 (между прочим он руководит ещё и Центром глубинного обучения и байесовских методов в НИУ ВШЭ). Айбек занимается исследованиями в области генеративных моделей и публикуется вместе с командой на топовых международных конференциях:Разные подходы по персонализированной генерации изображений, стилизация картинок различными способами, объяснение сложных вещей простыми словами и многое другое — это всё к нему😉
👉Недавно он создал свой тг-канал AI Brain, где будет делиться мыслями и материалами для погружения в Gen AI, разбирать научные статьи, а заодно рассказывать о команде и последних исследованиях! Очень рекомендую подписаться 💯
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43❤9💯4❤🔥2
Complete AI
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL. Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
⚡⚡⚡Вот и пожаловал релиз Qwen2-VL
https://qwenlm.github.io/blog/qwen2-vl/
Две ключевых фишки подсветили, как и на выступлении на ACL:
1) работа с динамическим разрешением входных изображений (без даунсэмплинга картинок по умолчанию), а энкодер ViT-600M работает как для картинок, так и для видео на входе
2) мультимодальные ROPE, чтобы можно было работать с пространсовенно-временной информацией
UPD: Статью с деталями обещают скоро
https://qwenlm.github.io/blog/qwen2-vl/
Две ключевых фишки подсветили, как и на выступлении на ACL:
1) работа с динамическим разрешением входных изображений (без даунсэмплинга картинок по умолчанию), а энкодер ViT-600M работает как для картинок, так и для видео на входе
2) мультимодальные ROPE, чтобы можно было работать с пространсовенно-временной информацией
We opensource Qwen2-VL-2B and Qwen2-VL-7B with Apache 2.0 license, and we release the API of Qwen2-VL-72B
UPD: Статью с деталями обещают скоро
Qwen
Qwen2-VL: To See the World More Clearly
DEMO GITHUB HUGGING FACE MODELSCOPE API DISCORD
After a year’s relentless efforts, today we are thrilled to release Qwen2-VL! Qwen2-VL is the latest version of the vision language models based on Qwen2 in the Qwen model familities. Compared with Qwen-VL,…
After a year’s relentless efforts, today we are thrilled to release Qwen2-VL! Qwen2-VL is the latest version of the vision language models based on Qwen2 in the Qwen model familities. Compared with Qwen-VL,…
❤🔥10🔥5❤1🏆1