⚡️Субботние новости!
AI-Центр Т-Банка открыл доступ к своей языковой модели T-lite 7-8B. С точки зрения качества по замерам модель обгоняет многие открытые, а в некоторых задачах и проприетарные модели. Например, на независимом бенчмарке MERA T-lite обгоняет Llama3-8b-iInstruct, Mistral-7b-Instruct-v0.3. На внутренних задачах типа суммаризации и банковских кейсов модель тоже показывает себя лучше, чем Llama3 и ChatGPT-3.5.
В релизе также отмечают, что для обучения потребовалось достаточно мало вычислительных ресурсов (3% от обычно используемых для задач обучения). В целом это лишний раз подтверждает, что решать вариативные задачи можно без гигантских мощностей в наличии.
Приятно, что на рынке растёт количество игроков на арене LLM: Сбер, Яндекс, Т-Банк, МТС, и что несмотря на выбиваемые регулярно новые показатели, всегда есть запас для улучшения качества.
Модель T-lite доступна по ссылке
UPD: смотрите инструктивные веса тут
AI-Центр Т-Банка открыл доступ к своей языковой модели T-lite 7-8B. С точки зрения качества по замерам модель обгоняет многие открытые, а в некоторых задачах и проприетарные модели. Например, на независимом бенчмарке MERA T-lite обгоняет Llama3-8b-iInstruct, Mistral-7b-Instruct-v0.3. На внутренних задачах типа суммаризации и банковских кейсов модель тоже показывает себя лучше, чем Llama3 и ChatGPT-3.5.
В релизе также отмечают, что для обучения потребовалось достаточно мало вычислительных ресурсов (3% от обычно используемых для задач обучения). В целом это лишний раз подтверждает, что решать вариативные задачи можно без гигантских мощностей в наличии.
Приятно, что на рынке растёт количество игроков на арене LLM: Сбер, Яндекс, Т-Банк, МТС, и что несмотря на выбиваемые регулярно новые показатели, всегда есть запас для улучшения качества.
Модель T-lite доступна по ссылке
UPD: смотрите инструктивные веса тут
💯20🔥15👍11❤2
Complete AI
⚡️Субботние новости! AI-Центр Т-Банка открыл доступ к своей языковой модели T-lite 7-8B. С точки зрения качества по замерам модель обгоняет многие открытые, а в некоторых задачах и проприетарные модели. Например, на независимом бенчмарке MERA T-lite обгоняет…
Ещё выложили чекпоинт T-lite-instruct-0.1 без цензуры, что в современном мире alignment очень интересно потестировать😉
https://huggingface.co/IlyaGusev/T-lite-instruct-0.1-abliterated
https://huggingface.co/IlyaGusev/T-lite-instruct-0.1-abliterated
huggingface.co
AnatoliiPotapov/T-lite-instruct-0.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥20👍3👏1
👉Кому интересно почитать про то, как сделать LLM более сговорчивой на разные темы (abliteration = ablated + obliterated), предлагаю посмотреть в материале тут
Грубо говоря, имея некоторый harmful датасет, его прогоняют через модель, определяют активации, которые сигнализируют об отказах модели отвечать на какие-то вопросы, а потом ортогонализируют соответствующие тензоры. Так модель сохраняет основную часть своих весов нетронутыми, а refusal direction за счёт ортогонализации меняется. Конечно, речь не идёт об устранении 100% отказов отвечать на вопросы, но тем не менее позволяет «ослабить» LLM
Грубо говоря, имея некоторый harmful датасет, его прогоняют через модель, определяют активации, которые сигнализируют об отказах модели отвечать на какие-то вопросы, а потом ортогонализируют соответствующие тензоры. Так модель сохраняет основную часть своих весов нетронутыми, а refusal direction за счёт ортогонализации меняется. Конечно, речь не идёт об устранении 100% отказов отвечать на вопросы, но тем не менее позволяет «ослабить» LLM
huggingface.co
Uncensor any LLM with abliteration
A Blog post by Maxime Labonne on Hugging Face
👍13🔥8💯2
🎬Сегодня вышел выпуск на канале Основа
Получилось довольно круто на мой взгляд! Поговорили с Борисом про современные тренды в ИИ, подискутировали про будущее и возможности современных технологий.
Приглашаю всех посмотреть, выходной как раз этому способствует! Заранее спасибо за просмотр🙏
👉Подкаст
Получилось довольно круто на мой взгляд! Поговорили с Борисом про современные тренды в ИИ, подискутировали про будущее и возможности современных технологий.
Приглашаю всех посмотреть, выходной как раз этому способствует! Заранее спасибо за просмотр🙏
👉Подкаст
YouTube
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: УГРОЗА или НАДЕЖДА?
😎 Подпишись на канал: https://t.ly/Ae5k
Поддержите нас:
На Boosty (российская карта): https://boosty.to/osnovachannel
На Patreon (иностранная карта): https://patreon.com/osnovachannel
Искусственный интеллект схож с мозгом человека? Робот может думать сам?…
Поддержите нас:
На Boosty (российская карта): https://boosty.to/osnovachannel
На Patreon (иностранная карта): https://patreon.com/osnovachannel
Искусственный интеллект схож с мозгом человека? Робот может думать сам?…
👍41⚡12🔥10🏆4❤3
👋 Мои коллеги из ИТМО AI Talent Hub набирают новых магистрантов
В этом году открывается LLM-трек
🌠 Учебный трек фокусируется на актуальных топиках в развитии LLM. Каждый месяц – обновление и актуализация данных.
И разработан совместно с экспертами из AIRI, Raft, Napoleon IT, Университета ИТМО, а также приглашенных экспертов-разработчиков YandexGPT и GigaChat.
Также в магистратуре:
🔛 Гибкая система выбора траектории обучения позволяет собрать индивидуальный трек.
🔛 Занятия проходят онлайн в вечернее время, вы можете подключаться из любой точки мира (льготы при этом как у «очников»: отсрочка от армии, диплом очной магистратуры)
🔛 Сильное комьюнити. Менторы, преподаватели и авторы курсов — действующие специалисты топовых AI-компаний — всегда готовы поделиться своим опытом и помочь советом.
❗️ Чтобы успеть пройти на бюджет, подайте заявку до 25 июля
👉Подробнее про LLM -трек
👉Подать заявку в магистратуру AI Talent Hub
В этом году открывается LLM-трек
И разработан совместно с экспертами из AIRI, Raft, Napoleon IT, Университета ИТМО, а также приглашенных экспертов-разработчиков YandexGPT и GigaChat.
Также в магистратуре:
👉Подробнее про LLM -трек
👉Подать заявку в магистратуру AI Talent Hub
Please open Telegram to view this post
VIEW IN TELEGRAM
❤22🔥20👍19
⚡️⚡️⚡️Рабочая неделя подошла к концу — я с новостями
Команда Айбека Аланова «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI разработала фреймворк StyleFeatureEditor, который позволяет быстро редактировать фотографии как по текстовому описанию, так и по набору стилей. Особенность ключевая в том, что при редактировании сохраняется качество реконструкции, а вносимые изменения выглядят при подборе параметра очень реалистично.
Научная фишка в том, что обучение энкодера делится на две фазы. Сначала просто учим понимать представления в F‑пространстве (модуль Inverter). После инверсии теряется редактируемость и чтобы её восстановить на втором этапе мы встраиваем и обучаем новый модуль Feature Editor, чья задача — модифицировать F‑тензор таким образом, чтобы добиться желаемого изменения стиля.
🔥Научная статья про данный подход была принята на самую цитируемую конференцию по компьютерному зрению CVPR-2024.
🟢 Все детали на Хабре
🟢 Протестировать модель можно в демке на Hugging Face👇. Она пока работает только с изображениями лиц, но скоро раскатаем и на другие домены😉
Предлагаю в комментариях размещать самые интересные результаты редактирования (каких стилей там только нет🤫)
Хабр
Демо
Всем хороших выходных👋
Команда Айбека Аланова «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI разработала фреймворк StyleFeatureEditor, который позволяет быстро редактировать фотографии как по текстовому описанию, так и по набору стилей. Особенность ключевая в том, что при редактировании сохраняется качество реконструкции, а вносимые изменения выглядят при подборе параметра очень реалистично.
Научная фишка в том, что обучение энкодера делится на две фазы. Сначала просто учим понимать представления в F‑пространстве (модуль Inverter). После инверсии теряется редактируемость и чтобы её восстановить на втором этапе мы встраиваем и обучаем новый модуль Feature Editor, чья задача — модифицировать F‑тензор таким образом, чтобы добиться желаемого изменения стиля.
🔥Научная статья про данный подход была принята на самую цитируемую конференцию по компьютерному зрению CVPR-2024.
Предлагаю в комментариях размещать самые интересные результаты редактирования (каких стилей там только нет🤫)
Хабр
Демо
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥40🏆9❤6💯5👏1
Всем привет 👐
Этот пост заряжен моей искренней поддержкой ❤️
С 9 по 15 августа в Болгарии пройдет первая Международная олимпиада по искусственному интеллекту (IOAI). В ней примут участие российские старшеклассники и среди них сотрудник AIRI — Андрей Громыко, занимающийся исследованием мультимодальных архитектур. Подготовкой ребят активно занимается квалифицированная команда преподавателей Центрального Университета — верю в то, что получится крутой dream team!
Андрей, желаю тебе победы, сил и удачи! И всем российским ребятам.
Мотивацию надо поднять 💪
Этот пост заряжен моей искренней поддержкой ❤️
С 9 по 15 августа в Болгарии пройдет первая Международная олимпиада по искусственному интеллекту (IOAI). В ней примут участие российские старшеклассники и среди них сотрудник AIRI — Андрей Громыко, занимающийся исследованием мультимодальных архитектур. Подготовкой ребят активно занимается квалифицированная команда преподавателей Центрального Университета — верю в то, что получится крутой dream team!
Андрей, желаю тебе победы, сил и удачи! И всем российским ребятам.
Мотивацию надо поднять 💪
❤71👍19🏆12🙊2👎1😁1🆒1
⚡️Топ конференция в области NLP — ACL 2024 началась сегодня в Бангкоке
Acceptance rate = 21.3%(на конференции принимается 1/5 поданных работ)
Мы представляем на конференции работу об исследованиях особенностей трансформеров:
https://huggingface.co/papers/2405.12250
Acceptance rate = 21.3%
Мы представляем на конференции работу об исследованиях особенностей трансформеров:
https://huggingface.co/papers/2405.12250
🔥27👍6👏2💯1
LG выпустили в open source свою языковую модель с 7.8B параметрами. Чат версия доступна на hf. Учили сами “from scratch”, особое внимание уделили инициализации.
Показывают на своем стенде на ACL
https://arxiv.org/abs/2408.03541
Показывают на своем стенде на ACL
https://arxiv.org/abs/2408.03541
arXiv.org
EXAONE 3.0 7.8B Instruction Tuned Language Model
We introduce EXAONE 3.0 instruction-tuned language model, the first open model in the family of Large Language Models (LLMs) developed by LG AI Research. Among different model sizes, we publicly...
🔥13👏3👍1🎉1💯1
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
❤19🔥10👍4🙏2
⚡️Основная часть конференции ACL 2024 торжественно завершилась
🎉Конференция приняла 550 онлайн и 3250 очных участников
Топ-конференция в области NLP переходит в фазу воркшопов (14-15 августа), а также 22 августа будет онлайн мероприятие, на котором будет ряд постеров и выступления обладателей наград за лучшие работы
Три продуктивных дня конференции подошли к концу, за которые я обзавёлся новыми контактами, которые, надеюсь, приведут к плодотворному сотрудничеству, познакомился с интересными проектами и решениями различных задач, а также мы представили несколько постеров. Следует отметить, что такого рода конференции также являются отличным катализатором мыслительного процесса, поэтому мы возвращаемся с идеями для новых исследований и крутых публикаций💪
🎉Конференция приняла 550 онлайн и 3250 очных участников
Топ-конференция в области NLP переходит в фазу воркшопов (14-15 августа), а также 22 августа будет онлайн мероприятие, на котором будет ряд постеров и выступления обладателей наград за лучшие работы
Три продуктивных дня конференции подошли к концу, за которые я обзавёлся новыми контактами, которые, надеюсь, приведут к плодотворному сотрудничеству, познакомился с интересными проектами и решениями различных задач, а также мы представили несколько постеров. Следует отметить, что такого рода конференции также являются отличным катализатором мыслительного процесса, поэтому мы возвращаемся с идеями для новых исследований и крутых публикаций💪
🔥22❤🔥9👏8👍1
⚡В продолжение темы мультимодальной модели Qwen2-VL, авторы выложили на Hugging Face демку Max версии — можно пообщаться в чат режиме, загружая картинки и видео, а далее вести диалог про содержание. При этом никакого нового тех репорта от них не выпущено — только то, что я выкладывал в посте выше 😊
Демо Qwen2-VL-Max
https://huggingface.co/spaces/Qwen/Qwen2-VL
Демо Qwen2-VL-Max
https://huggingface.co/spaces/Qwen/Qwen2-VL
Telegram
Complete AI
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
👍6🔥3💯1
Всем привет!
☝️Недавно я писал про сотрудника Лаборатории FusionBrain в AIRI, который принимал участие в первой Международной олимпиаде по искусственному интеллекту — Андрей Громыко. Подготовкой команды занималась команда преподавателей Центрального Университета.
🥇 Так вот, команда ребят взяла золото! Более того, они стали не просто победителями, а абсолютными победителями🎉🎉🎉
Поздравляю ребят, желаю успехов в учебе и новых побед! Команде тренеров отдельная благодарность🤝
☝️Недавно я писал про сотрудника Лаборатории FusionBrain в AIRI, который принимал участие в первой Международной олимпиаде по искусственному интеллекту — Андрей Громыко. Подготовкой команды занималась команда преподавателей Центрального Университета.
Поздравляю ребят, желаю успехов в учебе и новых побед! Команде тренеров отдельная благодарность🤝
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥75🎉29❤14👏5💯1
На просторах интернета нашел забавный тест, который позволяет посоревноваться с современными языковыми моделями в навыке предсказывания следующего слова в тексте💪
Если знаете инглиш, то можете посоревноваться 🥊
👉В бой
Я набрал4/15 баллов. Пишите свои результаты в комментариях😏
Если знаете инглиш, то можете посоревноваться 🥊
👉В бой
Я набрал
🔥15👍5💯2
⚡⚡⚡Свежайший крутой апдейт от OpenAI
Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/
Файнтюнинг GPT-4o обойдётся в 25$ за 1М токенов, а инференс — в 3.75$ за 1М входных токенов и 15$ за 1М выходных токенов. Как сказано выше, файнтюн GPT-4o-mini будет бесплатным до 23 сентября.
Конечно же, обещают безопасность ваших данных😉
Побежали скорее что-нибудь тюнить🏃
Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/
Today, we’re launching fine-tuning for GPT-4o, one of the most requested features from developers. We are also offering 1M training tokens per day for free for every organization through September 23.
Файнтюнинг GPT-4o обойдётся в 25$ за 1М токенов, а инференс — в 3.75$ за 1М входных токенов и 15$ за 1М выходных токенов. Как сказано выше, файнтюн GPT-4o-mini будет бесплатным до 23 сентября.
Конечно же, обещают безопасность ваших данных😉
Fine-tuned models remain entirely under your control, with full ownership of your business data, including all inputs and outputs. This ensures your data is never shared or used to train other models
Побежали скорее что-нибудь тюнить
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16❤9👍4⚡1