Интегрируй ML-модель в продакшн без боли и ошибок!
Практикум для разработчиков и ML-инженеров, которые устали от «экспериментов в Jupyter» и хотят переходить к реальным решениям! 16 сентября в 19:00 приглашаем на встречу по интеграции моделей с внешним миром и написанию API вместе с экспертом Игорем Стурейко — разработчиком модели прогнозирования технического состояния газотранспортной системы ПАО Газпром.
На практикуме вы:
👨💻перенесёте модель из Jupyter notebook в полноценный Python-класс
👨💻создадите API и подготовите эндпоинты
👨💻напишете валидатор для входящих параметров
👨💻протестируете работу модели как отдельного сервиса.
Все участники получают 7% скидку на любой курс OTUS + бонус: карьерные треки для ML-специалистов
Записывайся на практикум: https://tglink.io/24afcf22dd36
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFJPzD7E
Практикум для разработчиков и ML-инженеров, которые устали от «экспериментов в Jupyter» и хотят переходить к реальным решениям! 16 сентября в 19:00 приглашаем на встречу по интеграции моделей с внешним миром и написанию API вместе с экспертом Игорем Стурейко — разработчиком модели прогнозирования технического состояния газотранспортной системы ПАО Газпром.
На практикуме вы:
👨💻перенесёте модель из Jupyter notebook в полноценный Python-класс
👨💻создадите API и подготовите эндпоинты
👨💻напишете валидатор для входящих параметров
👨💻протестируете работу модели как отдельного сервиса.
Все участники получают 7% скидку на любой курс OTUS + бонус: карьерные треки для ML-специалистов
Записывайся на практикум: https://tglink.io/24afcf22dd36
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFJPzD7E
❤2🤮2
Введение. Собеседования на позиции, связанные с данными (аналитики, инженеры, ученые данных), всё чаще включают нестандартные и продвинутые вопросы по SQL.
Большие технологические компании (Google, Amazon и др.) предъявляют высокие требования: важна не только правильность запроса, но и умение оптимизировать его и разбираться в реальных бизнес-данных.
В этом гайде мы разберем категории наиболее распространенных сложных SQL-задач с реальных собеседований – от платформ вроде DataLemur, LeetCode, StrataScratch – и подробно поясним решения.
Каждая задача сопровождена анализом: условие, оптимальный подход, используемые SQL-конструкции, возможные ошибки и финальное решение (для PostgreSQL и MySQL, с указанием различий где необходимо).
В конце добавлен отдельный раздел о современных базах данных, включая векторные БД (Pinecone, Weaviate, Milvus и др.), с примерами того, что могут спросить про них на собеседовании и как выглядят SQL-подобные запросы для работы с векторами.
📌 Читать гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥2👍1
Раньше методы улучшали либо построение графа, либо поиск по нему — но не оба сразу. Здесь же оба этапа связаны: они корректируют друг друга и устраняют лишние затраты.
Как это работает:
- Всё начинается со схемы — набора правил с допустимыми типами сущностей, связей и атрибутов. Благодаря этому извлекается только релевантная информация без шума.
- Факты сохраняются в виде триплетов (сущность → связь → сущность). Если новые паттерны повторяются часто, схема расширяется.
- Чтобы граф не разрастался в хаотичную сеть, система группирует связанные узлы в сообщества, формируя 4-уровневое дерево знаний: от атрибутов внизу до сообществ наверху.
- Для запросов агент разбивает вопрос на подзапросы в рамках схемы, применяет разные методы поиска параллельно и корректирует ошибки до получения согласованного ответа.
Главное преимущество: одна и та же схема используется и для извлечения знаний, и для разбора вопросов. Это делает рассуждения чище, снижает расход токенов и повышает точность.
Результаты: на бенчмарках — до 90,7% меньше токенов и +16,6% к точности по сравнению с сильными базовыми методами.
Статья: https://arxiv.org/abs/2508.19855
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍4🔥1🥰1
“Does Language Model Understand Language?” (*«А понимает ли языковая модель язык?»*) поднимает важный вопрос: действительно ли LLM понимают язык.
Авторы показывают, что даже самые большие модели остаются уязвимыми к тонким особенностям речи:
- некорректно обрабатывают отрицания
- путаются при смене времён
- испытывают трудности с низкоресурсными языками, например бенгали
Авторы предлагают метрикауHCE accuracy, которая показывает, насколько часто предсказание модели укладывается в рамки вариации человеческой оценки (т.е. не требует абсолютной точности, но близкости человеческому восприятию).
Некоторые системы работают надёжнее, но в целом разрыв остаётся значительным. Вывод ясен: масштабирование моделей не решает фундаментальных проблем понимания языка.
arxiv.org/abs/2509.12459
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍5🔥3
🤖 Исследование показывает: влияние генеративного ИИ на рынок труда нельзя свести к «увольняет или создает рабочие места». Реакция проходит в три стадии:
1️⃣ Вытеснение — сразу после внедрения ИИ растут увольнения в сферах, где автоматизация заменяет людей.
2️⃣ Пауза и неопределённость — меньше вакансий и меньше увольнений по собственному. Работодатели не знают, какие навыки нужны, а сотрудники боятся менять работу без ясных перспектив.
3️⃣ Медленное восстановление — только через 12–18 месяцев найм начинает расти, но гораздо скромнее, чем были потери. Это связано с тем, что компаниям нужно время перестроить процессы и встроить ИИ в работу.
📊 Такой трёхшаговый паттерн — вытеснение, сбой координации и задержка восстановления — и есть главный вывод работы.
🔗 Подробнее: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5367192
1️⃣ Вытеснение — сразу после внедрения ИИ растут увольнения в сферах, где автоматизация заменяет людей.
2️⃣ Пауза и неопределённость — меньше вакансий и меньше увольнений по собственному. Работодатели не знают, какие навыки нужны, а сотрудники боятся менять работу без ясных перспектив.
3️⃣ Медленное восстановление — только через 12–18 месяцев найм начинает расти, но гораздо скромнее, чем были потери. Это связано с тем, что компаниям нужно время перестроить процессы и встроить ИИ в работу.
📊 Такой трёхшаговый паттерн — вытеснение, сбой координации и задержка восстановления — и есть главный вывод работы.
🔗 Подробнее: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5367192
❤3😁1
💻 На открытом уроке разберём:
- идею метода и функцию потерь;
- как работает попеременная оптимизация;
- почему ALS выигрывает у SVD;
- практику: от подготовки данных до получения реальных рекомендаций.
Урок будет полезен дата саентистам, ML-инженерам, разработчикам и аналитикам, которые хотят углубить знания и научиться создавать эффективные рекомендательные системы, способные реально влиять на бизнес-метрики.
Запишитесь прямо сейчас и сделайте шаг к профессиональному росту: https://otus.pw/D8Bs/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Это vision-language модель, которая умеет управлять графическими интерфейсами, писать код, строить диаграммы в Draw.io по макетам и распознавать объекты в самых разных областях - от повседневной жизни до узкоспециализированных сфер. Среди ключевых возможностей: точное определение событий в видео продолжительностью до двух часов, расширение поддержки OCR с 19 до 32 языков с улучшением качества на редких символах и наклонном тексте, работа с контекстом длиной 256 тысяч токенов с возможностью увеличения до миллиона, а также высокая точность в задачах обнаружения рисков в реальных условиях.
HF
Исследователи показали, что foundation-модели могут обучаться в стиле few-shot, то есть адаптироваться к новой задаче прямо «на лету», без отдельного переобучения.
В основе подхода лежит TimesFM, расширенный методом in-context fine-tuning (TimesFM-ICF). Модель получает несколько примеров вместе с историей данных и учится делать прогнозы более точно. В экспериментах на 23 датасетах точность выросла на 6,8% по сравнению с базовой моделью, при этом качество оказалось сопоставимо с версиями, обученными специально под каждый набор данных.
Теперь модели временных рядов можно использовать как LLM: им достаточно нескольких примеров в контексте, чтобы подстроиться под задачу. Это открывает путь к более гибкому и простому применению таких систем в бизнесе, финансах, энергетике и других областях.
Главная идея в том, что вместо ручного конструирования симуляций теперь можно задавать цель в виде текста, а модель будет находить или создавать такие системы, где возникают жизнеподобные явления.
ASAL работает на разных субстратах - от классических Boids и Game of Life до Lenia, Particle Life и нейронных клеточных автоматов. В ходе экспериментов метод открыл новые формы поведения в Lenia и Boids, а также клеточные автоматы, способные демонстрировать открытое и сложное развитие, сравнимое с «Жизнью» Конвея.
Это открывает путь к ускоренному исследованию искусственной жизни и автоматическому открытию новых «жизнеподобных» систем, которые раньше приходилось искать вручную.
По результатам тестов Qwen3-Max выходит на уровень топовых моделей на таких бенчмарках, как SWE-Bench, Tau2-Bench, SuperGPQA, LiveCodeBench и AIME25. Модель построена на масштабном датасете и опирается на значительные вычислительные мощности как в предобучении, так и в RL.
Компания позиционирует Qwen3-Max как новый флагман и открывает доступ сразу на нескольких платформах: в Qwen Chat, через API Alibaba Cloud и в блоге разработчиков.
X
Доверие остаётся ограниченным: 46% доверяют «отчасти», 23% — «немного», и только 20% - «сильно». Это объясняется частыми мелкими исправлениями после автогенерации. Влияние на качество кода оценивается сдержанно: 31% видят лёгкое улучшение, 30% — «без изменений». Зато ощутим рост скорости за счёт снижения рутины.
На рынке труда обстановка сложнее: вакансии для новичков сократились на 71% с 2022 года, а кандидаты подают сотни заявок, прежде чем получить работу.
Report
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍1
📢 Команда Amazon рассказала, как трансформер с Mixture-of-Experts меняет рекомендации фильмов
Решение сфокусировано на трёх ключевых вызовах в рекомендациях:
• Учет взаимодействий пользователей
• Корректная генерация негативных примеров
• Мультизадачное обучение
Подробнее о том, как Amazon модифицировала классическую коллаборативную фильтрацию и встроила её в архитектуру в разборе статьи с RecSys 2025 от AI VK Hub.
Ну а полный обзор можно посмотреть у ребят из AI VK Hub.
Решение сфокусировано на трёх ключевых вызовах в рекомендациях:
• Учет взаимодействий пользователей
• Корректная генерация негативных примеров
• Мультизадачное обучение
Подробнее о том, как Amazon модифицировала классическую коллаборативную фильтрацию и встроила её в архитектуру в разборе статьи с RecSys 2025 от AI VK Hub.
Ну а полный обзор можно посмотреть у ребят из AI VK Hub.
Telegram
AI VK Hub
Всем привет!
Сегодня рассмотрим статью про модель рекомендаций фильмов на основе трансформеров с Mixture of Experts с RecSys 2025.
Несмотря на значительный прогресс в рекомендательных технологиях за последние десятилетия, остаются нерешённые вопросы: как…
Сегодня рассмотрим статью про модель рекомендаций фильмов на основе трансформеров с Mixture of Experts с RecSys 2025.
Несмотря на значительный прогресс в рекомендательных технологиях за последние десятилетия, остаются нерешённые вопросы: как…
❤4👍2
🚀 Новое исследование: Reinforcement Learning on Pre-training Data (RLPT)
Этот метод решает главную проблему масштабирования LLM — ограниченность размеченного текста.
🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.
Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.
Результаты:
✅ На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
✅ Чем больше вычислений, тем сильнее рост.
✅ Технология создаёт базу для дальнейших улучшений в RLVR.
📄 Подробнее: https://arxiv.org/pdf/2509.19249
#AI #RLPT #LLM #MachineLearning #NLP
Этот метод решает главную проблему масштабирования LLM — ограниченность размеченного текста.
🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.
Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.
Результаты:
✅ На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
✅ Чем больше вычислений, тем сильнее рост.
✅ Технология создаёт базу для дальнейших улучшений в RLVR.
📄 Подробнее: https://arxiv.org/pdf/2509.19249
#AI #RLPT #LLM #MachineLearning #NLP
❤3👍3🔥1
🔧 LoRA или полный fine-tuning?
LoRA — это способ дообучать модели быстрее и дешевле. Вопрос в том, насколько результаты хуже, чем при полном fine-tuning.
📊 Оказалось, что во многих задачах качество почти одинаковое — разрыв меньше, чем многие думают.
В блоге Connectionism показали эксперименты и дали практические советы, когда стоит выбрать LoRA.
https://thinkingmachines.ai/blog/lora/
LoRA — это способ дообучать модели быстрее и дешевле. Вопрос в том, насколько результаты хуже, чем при полном fine-tuning.
📊 Оказалось, что во многих задачах качество почти одинаковое — разрыв меньше, чем многие думают.
В блоге Connectionism показали эксперименты и дали практические советы, когда стоит выбрать LoRA.
https://thinkingmachines.ai/blog/lora/
❤7👍4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Офер в VK для бэкендеров и ML-щиков — станьте частью команды за выходные.
4–5 октября пройдёт VK Weekend Offer. Всего за 2 дня вы сможете пройти весь путь от знакомства с командами до приглашения на работу: пройти техническое собеседование, встретиться с лидами и получить офер.
Требования для бекэндеров – три года опыта коммерческой разработки, знание Java, Go, Python, C++.
Для ML-щиков – те же три года опыта + знания Classic ML, RecSys, NLP/LLM, CV, Speech.
Читайте подробности на сайте и подавайте заявку до 2 октября!
Реклама: ООО «ВК» ИНН 7743001840
4–5 октября пройдёт VK Weekend Offer. Всего за 2 дня вы сможете пройти весь путь от знакомства с командами до приглашения на работу: пройти техническое собеседование, встретиться с лидами и получить офер.
Требования для бекэндеров – три года опыта коммерческой разработки, знание Java, Go, Python, C++.
Для ML-щиков – те же три года опыта + знания Classic ML, RecSys, NLP/LLM, CV, Speech.
Читайте подробности на сайте и подавайте заявку до 2 октября!
Реклама: ООО «ВК» ИНН 7743001840
🤡5❤1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Новая флагманская модель получила заметные улучшения: поддержка длинного контекста до 200K токенов, сильные возможности в рассуждении, генерации кода, поиска и агентных задачах.
Hf | Api | Попробовать
Newton - это открытый физический движок с GPU-ускорением, созданный на базе NVIDIA Warp и OpenUSD и выпущенный под лицензией Apache 2.0. Он показывает огромный прирост скорости: в задачах движения до 152× быстрее, а при манипуляции объектами — до 313× быстрее по сравнению с MJX на RTX 4090.
Isaac Lab позволяет запускать тысячи параллельных симуляций для ускоренного обучения с подкреплением. Среди демонстраций — робот ANYmal, осваивающий ходьбу, и симуляция складывания одежды с реалистичной мультифизикой.
NVIDIA Blog
Главная идея - контекст не равен простому prompt’у: это весь набор информации (инструкции, история сообщений, память, внешние данные), который агент использует для принятия решений.
Контекст - ограниченный ресурс, длинные цепочки приводят к «context rot» - постепенной потере качества.
Нужно уметь структурировать и минимизировать инструкции, оставляя только важное.
Важно грамотно управлять вызовами инструментов: они должны возвращать релевантные и компактные данные.
Историю лучше периодически сжимать, сохраняя факты, а не «сырые токены».
Для сложных случаев полезно делить задачи между суб-агентами, а затем агрегировать их результаты.
Эффективная контекстная инженерия делает агентов точнее, дешевле и устойчивее при работе с длинными
Подробнее
Новая 15B reasoning-модель с открытыми весами набрала 52 балла в Artificial Analysis Intelligence Index - уровень моделей в сотни миллиардов параметров. Отличается сильным instruction following, многошаговыми диалогами и поддержкой 128k контекста. Доступна на Hugging Face под MIT-лицензией для свободного коммерческого использования.
HF
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
💎Приглашаем вас на 3 бесплатных урока курса: «Reinforcement Learning»
💠Урок №1: «Обучение с подкреплением — гибкий подход для сложных задач. Создаем собственные окружения»
⏰9.10 в 20:00 мск
📍На уроке:
1. Введение в обучение с подкреплением
2. Обзор существующих сред: Gymnasium, FinRL. Переход к созданию собственного RL-окружения на Python
3. На практике напишем свою среду на gym.Env и подключим к ней обучающегося агента
💠Урок №2: «Q-Learning — базовый алгоритм обучения с подкреплением»
⏰15.10 в 20:00 мск
📍На уроке:
1. Что такое Q-learning и почему она важна для обучения агента
2. Как агент принимает решения и обучается с помощью таблицы Q-значений
3. Создадим среду на python и обучим агента самостоятельно
💠Урок №3: «Фреймворки для обучения с подкреплением — обзор, настройка и применение»
⏰23.10 в 20:00 мск
📍На уроке:
1. Обзор популярных RL-фреймворков: Stable-Baselines3, FinRL, CleanRL и другие
2. Настройка и запуск эксперимента с использованием одного из фреймворков: Stable-Baselines3 или CleanRL
3. Интеграция с пользовательскими и стандартными окружениями: OpenAI Gym, Gymnasium
🎁 Участникам уроков доступна скидка 5% на курс по промо-коду: RL_10 до 10.11.2025г.
Записывайтесь https://otus.pw/RYbL/?erid=2W5zFJNQWwi
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
💠Урок №1: «Обучение с подкреплением — гибкий подход для сложных задач. Создаем собственные окружения»
⏰9.10 в 20:00 мск
📍На уроке:
1. Введение в обучение с подкреплением
2. Обзор существующих сред: Gymnasium, FinRL. Переход к созданию собственного RL-окружения на Python
3. На практике напишем свою среду на gym.Env и подключим к ней обучающегося агента
💠Урок №2: «Q-Learning — базовый алгоритм обучения с подкреплением»
⏰15.10 в 20:00 мск
📍На уроке:
1. Что такое Q-learning и почему она важна для обучения агента
2. Как агент принимает решения и обучается с помощью таблицы Q-значений
3. Создадим среду на python и обучим агента самостоятельно
💠Урок №3: «Фреймворки для обучения с подкреплением — обзор, настройка и применение»
⏰23.10 в 20:00 мск
📍На уроке:
1. Обзор популярных RL-фреймворков: Stable-Baselines3, FinRL, CleanRL и другие
2. Настройка и запуск эксперимента с использованием одного из фреймворков: Stable-Baselines3 или CleanRL
3. Интеграция с пользовательскими и стандартными окружениями: OpenAI Gym, Gymnasium
🎁 Участникам уроков доступна скидка 5% на курс по промо-коду: RL_10 до 10.11.2025г.
Записывайтесь https://otus.pw/RYbL/?erid=2W5zFJNQWwi
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
❤2
⚡ Новая работа про ускорение видео-диффузии — представляют SLA (Selective Linear Attention), обучаемый гибридный механизм внимания.
🎯 В чём идея:
- Обычное Attention растёт квадратично по длине — для длинных видео это огромные затраты.
- SLA делит внимание на три типа: критическое, несущественное и промежуточное.
- Критическое обрабатывается через FlashAttention, несущественное — пропускается, промежуточное — через линейное внимание.
- Быстрый шаг mean pooling заранее помечает блоки, экономя вычисления.
📈 Результаты:
- Снижение вычислений в attention на 95%.
- Генерация стала в 2.2 раза быстрее на 1.3B видеомодели.
- Достаточно короткого fine-tuning — полное переобучение не нужно.
- Качество при этом не падает — линейное внимание в роли вспомогательного сохраняет точность, а высокие веса ведут себя как многомерные паттерны, низкие — хорошо сжимаются.
📄 Paper: https://arxiv.org/abs/2509.24006
#AI #diffusion #video #deeplearning
🎯 В чём идея:
- Обычное Attention растёт квадратично по длине — для длинных видео это огромные затраты.
- SLA делит внимание на три типа: критическое, несущественное и промежуточное.
- Критическое обрабатывается через FlashAttention, несущественное — пропускается, промежуточное — через линейное внимание.
- Быстрый шаг mean pooling заранее помечает блоки, экономя вычисления.
📈 Результаты:
- Снижение вычислений в attention на 95%.
- Генерация стала в 2.2 раза быстрее на 1.3B видеомодели.
- Достаточно короткого fine-tuning — полное переобучение не нужно.
- Качество при этом не падает — линейное внимание в роли вспомогательного сохраняет точность, а высокие веса ведут себя как многомерные паттерны, низкие — хорошо сжимаются.
📄 Paper: https://arxiv.org/abs/2509.24006
#AI #diffusion #video #deeplearning
❤3
Media is too big
VIEW IN TELEGRAM
GigaChat Vision Team — ваша будущая команда! 😉
Если вы зарегистрируетесь на One Day Offer для NLP- и CV-инженеров и пройдёте все этапы отбора, то уже совсем скоро будете:
✔️ Обучать Vision, 3D/CAD и омни-модальные модели на тысячах A100/H100.
✔️ Создавать live-ассистента на edge-устройствах, а также базовые модели VLA для промышленных проектов: автоматизированных фабрик, автопилотов и роботов.
✔️ Работать с документами: Document Intelligence и разработка VLM OCR.
✔️ Развивать мультимодальную инфраструктуру: от инференса генеративных моделей до создания и авторазметки синтетических данных
Дублируем ссылку на регистрацию — до встречи 4 октября!
Если вы зарегистрируетесь на One Day Offer для NLP- и CV-инженеров и пройдёте все этапы отбора, то уже совсем скоро будете:
✔️ Обучать Vision, 3D/CAD и омни-модальные модели на тысячах A100/H100.
✔️ Создавать live-ассистента на edge-устройствах, а также базовые модели VLA для промышленных проектов: автоматизированных фабрик, автопилотов и роботов.
✔️ Работать с документами: Document Intelligence и разработка VLM OCR.
✔️ Развивать мультимодальную инфраструктуру: от инференса генеративных моделей до создания и авторазметки синтетических данных
Дублируем ссылку на регистрацию — до встречи 4 октября!
❤3