Тяжелые модели становятся легче💻
Если вы запускаете большую LLM у себя на ноутбуке и она работает — это благодаря квантизации (Quantization-Aware Training). Она позволяет модели сохранять производительность при вычислительных ресурсах меньше тех, на которые та была рассчитана при создании. Это становится возможным за счёт того, что она изначально привыкает работать с менее точными числами (весами), которые занимают меньше памяти.
Скачать квантизованные модели можно на Hugging Face или Kaggle.
Если вы запускаете большую LLM у себя на ноутбуке и она работает — это благодаря квантизации (Quantization-Aware Training). Она позволяет модели сохранять производительность при вычислительных ресурсах меньше тех, на которые та была рассчитана при создании. Это становится возможным за счёт того, что она изначально привыкает работать с менее точными числами (весами), которые занимают меньше памяти.
Скачать квантизованные модели можно на Hugging Face или Kaggle.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8
Приём заявок на «Лето с AIRI» продлён! 🔥
Помните, мы писали, что AIRI проводит летнюю школу по AI? Отличная новость — дедлайн на подачу заявок продлили до 7 мая включительно!
С 30 июня по 10 июля вас ждут занятия по искусственному интеллекту, работа над проектами, постерные сессии и яркая внеучебная программа.
Все подробности — в официальном канале Института AIRI💻
Помните, мы писали, что AIRI проводит летнюю школу по AI? Отличная новость — дедлайн на подачу заявок продлили до 7 мая включительно!
С 30 июня по 10 июля вас ждут занятия по искусственному интеллекту, работа над проектами, постерные сессии и яркая внеучебная программа.
Все подробности — в официальном канале Института AIRI
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Институт AIRI
Продлеваем дедлайн подачи заявок на «Лето с AIRI» до 7 мая включительно ⚡️
В этом году программа пройдёт в Томске — городе студентов, науки и белых ночей. С 30 июня по 10 июля вас ждут лекции и семинары по ИИ, проектная работа, постерная сессия и внеучебные…
В этом году программа пройдёт в Томске — городе студентов, науки и белых ночей. С 30 июня по 10 июля вас ждут лекции и семинары по ИИ, проектная работа, постерная сессия и внеучебные…
👍4❤3🔥3
Сбер на конференции ICLR 🏆
На крупнейшей мировой конференции по Data Science Сбер совместно с международными партнёрами представил MMTEB (Massive Multilingual Text Embedding Benchmark) — масштабный мультиязычный бенчмарк для оценки текстовых эмбеддеров.
Наши исследователи добавили в MMTEB русскоязычную часть — ruMTEB. Теперь можно полноценно и честно оценивать модели на русском языке🔥
Кратко о ruMTEB в составе MMTEB:
Пожелаем коллегам ещё больше научных побед🔥
На крупнейшей мировой конференции по Data Science Сбер совместно с международными партнёрами представил MMTEB (Massive Multilingual Text Embedding Benchmark) — масштабный мультиязычный бенчмарк для оценки текстовых эмбеддеров.
Наши исследователи добавили в MMTEB русскоязычную часть — ruMTEB. Теперь можно полноценно и честно оценивать модели на русском языке
Кратко о ruMTEB в составе MMTEB:
🔘 7 категорий и 23 задания🔘 Открытый код и датасеты на HuggingFace🔘 Интеграция в международный бенчмарк MMTEB
Пожелаем коллегам ещё больше научных побед
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2❤1
Главные AI-тренды 2025
AI-технологии развиваются стремительно: появляются новые модели, формируются подходы к их обучению и применению. Способность моделей рассуждать растет невероятными темпами, а стоимость постепенно падает. Благодаря этому AI все чаще применяется в корпоративных и исследовательских задачах.
Что нас ждёт в ближайшие 5 лет? Это можно спрогнозировать по кривой Гартнера, которую также называют Hype Cycle. Рассказываем в карточках — от reasoning-моделей и локального fine-tuning до RAG-подходов и AI-агентов 👆
AI-технологии развиваются стремительно: появляются новые модели, формируются подходы к их обучению и применению. Способность моделей рассуждать растет невероятными темпами, а стоимость постепенно падает. Благодаря этому AI все чаще применяется в корпоративных и исследовательских задачах.
Что нас ждёт в ближайшие 5 лет? Это можно спрогнозировать по кривой Гартнера, которую также называют Hype Cycle. Рассказываем в карточках — от reasoning-моделей и локального fine-tuning до RAG-подходов и AI-агентов 👆
👍7❤1👏1
Ваш бэкап AI-знаний: от микросервисов до составления резюме
🟢 Искусственный интеллект. Современный подход — это полноценное полевое руководство разработчика! Подойдёт как новичкам, так и опытным специалистам. Охватывает машинное обучение, NLP, мультиагентные системы и робототехнику. Алгоритмы даны в псевдокоде, а их реализации на Python, Java, Lisp и JavaScript доступны на GitHub
🟢 Создание микросервисов — книга рассматривает ключевые архитектурные принципы, API-интеграцию, CI/CD и тестирование. Идеально для бэкенд-специалистов, работающих с Docker, Kubernetes и облачными технологиями
🟢 Прикладное машинное обучение — полное руководство для AI-инженеров, которое включает регрессию, SVM, деревья решений, нейросети, CNN, трансформеры и GAN, с практическими примерами на Scikit-Learn, TensorFlow и Keras
🟢 Какого цвета Ваш парашют? — путеводитель по карьерному росту, проверенный временем. Научит подсвечивать ваши сильные стороны, выстраивать полезные связи и проходить собеседования. Внутри — практические упражнения, тактики нетворкинга и советы по составлению резюме
🟢 Карьера программиста — хотите попасть в FAANG? Книга содержит 189 задач по алгоритмам, структурам данных и анализу сложности Big O. Поможет подготовиться к техническим интервью в ведущие IT-компании
✅ Сохраните, чтобы не потерять!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥3
Новый стандарт для NLP?
В марте вышла NeoBERT — модель, уже показавшая себя как state-of-the-art в задачах обработки естественного языка.
В отличие от генеративных моделей, энкодеры почти не развивались последние 5 лет. И, хотя архитектура и контекстное окно моделей вроде BERT и RoBERTa когда-то были революционными, за современными требованиями они не поспевают.
Что нового в NeoBERT:
🔍 Контекст в 4096 токенов (у BERT — 512): для энкодеров это прорыв;
🔍 Активация SwiGLU: быстрее и стабильнее GELU;
🔍 Относительные эмбеддинги RoPE: работают с длинными последовательностями лучше, чем старые абсолютные;
🔍 Нормализация Pre-RMSNorm: проще и надёжнее, чем LayerNorm.
Модель обучена на 2.8 ТБ текстов из интернета RefinedWeb — в 18 раз больше корпуса RoBERTa. Такой объём и разнообразие выборки делают NeoBERT значительно «умнее» на старте. На момент своего выхода она заняла первое место среди открытых энкодеров в большинстве задач бенчмарка MTEB (Massive Text Embedding Benchmark).
Почему это важно?
MTEB оценивает, насколько точно модель превращает текст в вектора — основу поиска, рекомендаций и многих чат-систем. Победа в MTEB = лучшая готовность к реальным задачам. Поэтому NeoBERT на первом месте — очень весомый аргумент для сообщества, чтобы начать использовать его для разработки LLM.
🔧 Подробнее о модели — тут, а попробовать её можно здесь.
В марте вышла NeoBERT — модель, уже показавшая себя как state-of-the-art в задачах обработки естественного языка.
В отличие от генеративных моделей, энкодеры почти не развивались последние 5 лет. И, хотя архитектура и контекстное окно моделей вроде BERT и RoBERTa когда-то были революционными, за современными требованиями они не поспевают.
Что нового в NeoBERT:
🔍 Контекст в 4096 токенов (у BERT — 512): для энкодеров это прорыв;
🔍 Активация SwiGLU: быстрее и стабильнее GELU;
🔍 Относительные эмбеддинги RoPE: работают с длинными последовательностями лучше, чем старые абсолютные;
🔍 Нормализация Pre-RMSNorm: проще и надёжнее, чем LayerNorm.
Модель обучена на 2.8 ТБ текстов из интернета RefinedWeb — в 18 раз больше корпуса RoBERTa. Такой объём и разнообразие выборки делают NeoBERT значительно «умнее» на старте. На момент своего выхода она заняла первое место среди открытых энкодеров в большинстве задач бенчмарка MTEB (Massive Text Embedding Benchmark).
Почему это важно?
MTEB оценивает, насколько точно модель превращает текст в вектора — основу поиска, рекомендаций и многих чат-систем. Победа в MTEB = лучшая готовность к реальным задачам. Поэтому NeoBERT на первом месте — очень весомый аргумент для сообщества, чтобы начать использовать его для разработки LLM.
🔧 Подробнее о модели — тут, а попробовать её можно здесь.
❤3🔥3👍2
Новые ассистенты, «периодическая таблица» для алгоритмов, AI в биомеде взлетает — собрали всё самое интересное 🤖
Видео и графика
1️⃣ В Adobe представили Firefly Image Model 4 с новыми AI-функциями. Сильно упростили настройки при генерации изображений и видео. Cтало проще менять стили, форматы и ракурсы. Создавать картинки можно даже в 2K. Новинки доступны в Photoshop, Premiere Pro и других продуктах компании.
Ассистенты и мультимодальные решения
2️⃣ Meta* запустила персонального AI-ассистента на базе LLaMa 4. Новый помощник Meta AI живёт в Facebook*, Instagram* и очках Ray-Ban Meta. Может общаться голосом, генерировать изображения и персональные ответы.
3️⃣ Виртуальный AI-агент получил награду за клиентский сервис. Продуктами 2025 года назвали Wave iX Translate и AI Virtual Agent от ibex. Они настраиваются под специфику конкретного бизнеса и полностью автоматизируют общение с клиентами.
Наука и медицина
4️⃣ Исследователи MIT разработали «периодическую таблицу» алгоритмов машинного обучения. Ученые составили уравнение, описывающее то, как 20 классических алгоритмов строят взаимосвязи в данных. И на основе этого уравнения классифицировали каждый из них. С помощью таблицы можно комбинировать методы и создавать новые модели.
5️⃣ Питтсбургский университет и Amazon Web Services открыли центр AI в спортивной аналитике. Студенты будут разрабатывать модели для предотвращения травм и анализа результатов спортсменов.
6️⃣ Китайские компании Anhui Conch Cement и Huawei создали AI-модель для производства цемента. В систему заложены более 200 сценариев, которые упрощают расчёты на всём производственном цикле: от карьера до доставки продукта клиенту.
Бизнес и инвестиции
7️⃣ Биомедицинские AI-проекты получат больше финансирования. Ожидается, что инвестиции в фарм-проекты с AI вырастут с $4 миллиардов в 2025 году до $25 миллиардов к 2030 году.
* экстремистские организации, деятельность которых запрещена на территории РФ
Видео и графика
1️⃣ В Adobe представили Firefly Image Model 4 с новыми AI-функциями. Сильно упростили настройки при генерации изображений и видео. Cтало проще менять стили, форматы и ракурсы. Создавать картинки можно даже в 2K. Новинки доступны в Photoshop, Premiere Pro и других продуктах компании.
Ассистенты и мультимодальные решения
2️⃣ Meta* запустила персонального AI-ассистента на базе LLaMa 4. Новый помощник Meta AI живёт в Facebook*, Instagram* и очках Ray-Ban Meta. Может общаться голосом, генерировать изображения и персональные ответы.
3️⃣ Виртуальный AI-агент получил награду за клиентский сервис. Продуктами 2025 года назвали Wave iX Translate и AI Virtual Agent от ibex. Они настраиваются под специфику конкретного бизнеса и полностью автоматизируют общение с клиентами.
Наука и медицина
4️⃣ Исследователи MIT разработали «периодическую таблицу» алгоритмов машинного обучения. Ученые составили уравнение, описывающее то, как 20 классических алгоритмов строят взаимосвязи в данных. И на основе этого уравнения классифицировали каждый из них. С помощью таблицы можно комбинировать методы и создавать новые модели.
5️⃣ Питтсбургский университет и Amazon Web Services открыли центр AI в спортивной аналитике. Студенты будут разрабатывать модели для предотвращения травм и анализа результатов спортсменов.
6️⃣ Китайские компании Anhui Conch Cement и Huawei создали AI-модель для производства цемента. В систему заложены более 200 сценариев, которые упрощают расчёты на всём производственном цикле: от карьера до доставки продукта клиенту.
Бизнес и инвестиции
7️⃣ Биомедицинские AI-проекты получат больше финансирования. Ожидается, что инвестиции в фарм-проекты с AI вырастут с $4 миллиардов в 2025 году до $25 миллиардов к 2030 году.
* экстремистские организации, деятельность которых запрещена на территории РФ
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥4👏2