Машиннное обучение | Наука о данных Библиотека
16.9K subscribers
810 photos
15 videos
21 files
694 links
админ - @workakkk

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram - 🔥лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

№ 5037635661
Download Telegram
⚡️ Tencent представили Youtu-GraphRAG — систему, которая объединяет построение графов знаний и их поиск в единую архитектуру.

Раньше методы улучшали либо построение графа, либо поиск по нему — но не оба сразу. Здесь же оба этапа связаны: они корректируют друг друга и устраняют лишние затраты.

Как это работает:
- Всё начинается со схемы — набора правил с допустимыми типами сущностей, связей и атрибутов. Благодаря этому извлекается только релевантная информация без шума.
- Факты сохраняются в виде триплетов (сущность → связь → сущность). Если новые паттерны повторяются часто, схема расширяется.
- Чтобы граф не разрастался в хаотичную сеть, система группирует связанные узлы в сообщества, формируя 4-уровневое дерево знаний: от атрибутов внизу до сообществ наверху.
- Для запросов агент разбивает вопрос на подзапросы в рамках схемы, применяет разные методы поиска параллельно и корректирует ошибки до получения согласованного ответа.

Главное преимущество: одна и та же схема используется и для извлечения знаний, и для разбора вопросов. Это делает рассуждения чище, снижает расход токенов и повышает точность.

Результаты: на бенчмарках — до 90,7% меньше токенов и +16,6% к точности по сравнению с сильными базовыми методами.

Статья: https://arxiv.org/abs/2508.19855
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🥰2🔥1
📈 Название это статьи просто топ

“Does Language Model Understand Language?” (*«А понимает ли языковая модель язык?»*) поднимает важный вопрос: действительно ли LLM понимают язык.

Авторы показывают, что даже самые большие модели остаются уязвимыми к тонким особенностям речи:
- некорректно обрабатывают отрицания
- путаются при смене времён
- испытывают трудности с низкоресурсными языками, например бенгали

Авторы предлагают метрикауHCE accuracy, которая показывает, насколько часто предсказание модели укладывается в рамки вариации человеческой оценки (т.е. не требует абсолютной точности, но близкости человеческому восприятию).

Некоторые системы работают надёжнее, но в целом разрыв остаётся значительным. Вывод ясен: масштабирование моделей не решает фундаментальных проблем понимания языка.

arxiv.org/abs/2509.12459
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍5🔥3
🤖 Исследование показывает: влияние генеративного ИИ на рынок труда нельзя свести к «увольняет или создает рабочие места». Реакция проходит в три стадии:

1️⃣ Вытеснение — сразу после внедрения ИИ растут увольнения в сферах, где автоматизация заменяет людей.

2️⃣ Пауза и неопределённость — меньше вакансий и меньше увольнений по собственному. Работодатели не знают, какие навыки нужны, а сотрудники боятся менять работу без ясных перспектив.

3️⃣ Медленное восстановление — только через 12–18 месяцев найм начинает расти, но гораздо скромнее, чем были потери. Это связано с тем, что компаниям нужно время перестроить процессы и встроить ИИ в работу.

📊 Такой трёхшаговый паттерн — вытеснение, сбой координации и задержка восстановления — и есть главный вывод работы.

🔗 Подробнее: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5367192
3😁1
Startup technical guide

📕 Read

@machinelearning_books
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍2🔥1
Хотите разобраться, как устроены рекомендательные системы «под капотом»?

💻 На открытом уроке разберём:

- идею метода и функцию потерь;
- как работает попеременная оптимизация;
- почему ALS выигрывает у SVD;
- практику: от подготовки данных до получения реальных рекомендаций.

Урок будет полезен дата саентистам, ML-инженерам, разработчикам и аналитикам, которые хотят углубить знания и научиться создавать эффективные рекомендательные системы, способные реально влиять на бизнес-метрики.

Встречаемся 2 октября в 20:00 МСК. Открытый урок пройдёт в преддверие старта курса «Рекомендательные системы», и все участники получат скидку на обучение.

Запишитесь прямо сейчас и сделайте шаг к профессиональному росту: https://otus.pw/D8Bs/


Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Alibaba открыла исходный код модели Qwen3-VL.

Это vision-language модель, которая умеет управлять графическими интерфейсами, писать код, строить диаграммы в Draw.io по макетам и распознавать объекты в самых разных областях - от повседневной жизни до узкоспециализированных сфер. Среди ключевых возможностей: точное определение событий в видео продолжительностью до двух часов, расширение поддержки OCR с 19 до 32 языков с улучшением качества на редких символах и наклонном тексте, работа с контекстом длиной 256 тысяч токенов с возможностью увеличения до миллиона, а также высокая точность в задачах обнаружения рисков в реальных условиях.
HF

✔️ Google Research представил новую работу о моделях для временных рядов.

Исследователи показали, что foundation-модели могут обучаться в стиле few-shot, то есть адаптироваться к новой задаче прямо «на лету», без отдельного переобучения.

В основе подхода лежит TimesFM, расширенный методом in-context fine-tuning (TimesFM-ICF). Модель получает несколько примеров вместе с историей данных и учится делать прогнозы более точно. В экспериментах на 23 датасетах точность выросла на 6,8% по сравнению с базовой моделью, при этом качество оказалось сопоставимо с версиями, обученными специально под каждый набор данных.

Теперь модели временных рядов можно использовать как LLM: им достаточно нескольких примеров в контексте, чтобы подстроиться под задачу. Это открывает путь к более гибкому и простому применению таких систем в бизнесе, финансах, энергетике и других областях.
Google

✔️ Исследователи из MIT, OpenAI и Sakana AI предложили новый метод ASAL (Automated Search for Artificial Life), который автоматизирует поиск «искусственной жизни» с помощью foundation-моделей.

Главная идея в том, что вместо ручного конструирования симуляций теперь можно задавать цель в виде текста, а модель будет находить или создавать такие системы, где возникают жизнеподобные явления.

ASAL работает на разных субстратах - от классических Boids и Game of Life до Lenia, Particle Life и нейронных клеточных автоматов. В ходе экспериментов метод открыл новые формы поведения в Lenia и Boids, а также клеточные автоматы, способные демонстрировать открытое и сложное развитие, сравнимое с «Жизнью» Конвея.

Это открывает путь к ускоренному исследованию искусственной жизни и автоматическому открытию новых «жизнеподобных» систем, которые раньше приходилось искать вручную.

✔️ Еще Qwen представила свою новую флагманскую модель Qwen3-Max, сразу доступную без ограниченного превью. Линейка включает две версии: Qwen3-Max-Instruct, ориентированную на кодинг и агентные задачи, и Qwen3-Max-Thinking, оснащённую инструментальным использованием и «heavy mode» для сложных сценариев.

По результатам тестов Qwen3-Max выходит на уровень топовых моделей на таких бенчмарках, как SWE-Bench, Tau2-Bench, SuperGPQA, LiveCodeBench и AIME25. Модель построена на масштабном датасете и опирается на значительные вычислительные мощности как в предобучении, так и в RL.

Компания позиционирует Qwen3-Max как новый флагман и открывает доступ сразу на нескольких платформах: в Qwen Chat, через API Alibaba Cloud и в блоге разработчиков.
X

✔️ Отчёт Google DORA показал: 90% IT-специалистов уже используют ИИ в работе, что на 14% больше, чем год назад. В опросе участвовало почти 5 тысяч разработчиков, и в среднем они тратят около двух часов в день на взаимодействие с AI-инструментами.

Доверие остаётся ограниченным: 46% доверяют «отчасти», 23% — «немного», и только 20% - «сильно». Это объясняется частыми мелкими исправлениями после автогенерации. Влияние на качество кода оценивается сдержанно: 31% видят лёгкое улучшение, 30% — «без изменений». Зато ощутим рост скорости за счёт снижения рутины.

На рынке труда обстановка сложнее: вакансии для новичков сократились на 71% с 2022 года, а кандидаты подают сотни заявок, прежде чем получить работу.
Report

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍1
📢 Команда Amazon рассказала, как трансформер с Mixture-of-Experts меняет рекомендации фильмов

Решение сфокусировано на трёх ключевых вызовах в рекомендациях:
• Учет взаимодействий пользователей
• Корректная генерация негативных примеров
• Мультизадачное обучение

Подробнее о том, как Amazon модифицировала классическую коллаборативную фильтрацию и встроила её в архитектуру в разборе статьи с RecSys 2025 от AI VK Hub.

Ну а полный обзор можно посмотреть у ребят из AI VK Hub.
4👍2
🚀 Новое исследование: Reinforcement Learning on Pre-training Data (RLPT)
Этот метод решает главную проблему масштабирования LLM — ограниченность размеченного текста.

🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.

Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.

Результаты:
На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
Чем больше вычислений, тем сильнее рост.
Технология создаёт базу для дальнейших улучшений в RLVR.

📄 Подробнее: https://arxiv.org/pdf/2509.19249

#AI #RLPT #LLM #MachineLearning #NLP
3👍3🔥1
🔧 LoRA или полный fine-tuning?

LoRA — это способ дообучать модели быстрее и дешевле. Вопрос в том, насколько результаты хуже, чем при полном fine-tuning.

📊 Оказалось, что во многих задачах качество почти одинаковое — разрыв меньше, чем многие думают.

В блоге Connectionism показали эксперименты и дали практические советы, когда стоит выбрать LoRA.

https://thinkingmachines.ai/blog/lora/
8👍4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Офер в VK для бэкендеров и ML-щиков — станьте частью команды за выходные.

4–5 октября пройдёт VK Weekend Offer. Всего за 2 дня вы сможете пройти весь путь от знакомства с командами до приглашения на работу: пройти техническое собеседование, встретиться с лидами и получить офер.

Требования для бекэндеров – три года опыта коммерческой разработки, знание Java, Go, Python, C++.
Для ML-щиков – те же три года опыта + знания Classic ML, RecSys, NLP/LLM, CV, Speech.

Читайте подробности на сайте и подавайте заявку до 2 октября!

Реклама: ООО «ВК» ИНН 7743001840
🤡51
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Zai представили GLM-4.6
Новая флагманская модель получила заметные улучшения: поддержка длинного контекста до 200K токенов, сильные возможности в рассуждении, генерации кода, поиска и агентных задачах.
Hf | Api | Попробовать

✔️ NVIDIA анонсировала новые возможности для робототехники и симуляции.
Newton - это открытый физический движок с GPU-ускорением, созданный на базе NVIDIA Warp и OpenUSD и выпущенный под лицензией Apache 2.0. Он показывает огромный прирост скорости: в задачах движения до 152× быстрее, а при манипуляции объектами — до 313× быстрее по сравнению с MJX на RTX 4090.

Isaac Lab позволяет запускать тысячи параллельных симуляций для ускоренного обучения с подкреплением. Среди демонстраций — робот ANYmal, осваивающий ходьбу, и симуляция складывания одежды с реалистичной мультифизикой.
NVIDIA Blog

✔️ Anthropic опубликовала статью о том, как правильно работать с контекстом при создании LLM-агентов.
Главная идея - контекст не равен простому prompt’у: это весь набор информации (инструкции, история сообщений, память, внешние данные), который агент использует для принятия решений.

Контекст - ограниченный ресурс, длинные цепочки приводят к «context rot» - постепенной потере качества.
Нужно уметь структурировать и минимизировать инструкции, оставляя только важное.

Важно грамотно управлять вызовами инструментов: они должны возвращать релевантные и компактные данные.
Историю лучше периодически сжимать, сохраняя факты, а не «сырые токены».

Для сложных случаев полезно делить задачи между суб-агентами, а затем агрегировать их результаты.
Эффективная контекстная инженерия делает агентов точнее, дешевле и устойчивее при работе с длинными
Подробнее

✔️ServiceNow выпустила Apriel-v1.5-15B-Thinker

Новая 15B reasoning-модель с открытыми весами набрала 52 балла в Artificial Analysis Intelligence Index - уровень моделей в сотни миллиардов параметров. Отличается сильным instruction following, многошаговыми диалогами и поддержкой 128k контекста. Доступна на Hugging Face под MIT-лицензией для свободного коммерческого использования.
HF

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
2
💎Приглашаем вас на 3 бесплатных урока курса: «Reinforcement Learning»

💠Урок №1: «Обучение с подкреплением — гибкий подход для сложных задач. Создаем собственные окружения»

9.10 в 20:00 мск

📍На уроке:
1. Введение в обучение с подкреплением
2. Обзор существующих сред: Gymnasium, FinRL. Переход к созданию собственного RL-окружения на Python
3. На практике напишем свою среду на gym.Env и подключим к ней обучающегося агента

💠Урок №2: «Q-Learning — базовый алгоритм обучения с подкреплением»

15.10 в 20:00 мск

📍На уроке:
1. Что такое Q-learning и почему она важна для обучения агента
2. Как агент принимает решения и обучается с помощью таблицы Q-значений
3. Создадим среду на python и обучим агента самостоятельно

💠Урок №3: «Фреймворки для обучения с подкреплением — обзор, настройка и применение»

23.10 в 20:00 мск

📍На уроке:
1. Обзор популярных RL-фреймворков: Stable-Baselines3, FinRL, CleanRL и другие
2. Настройка и запуск эксперимента с использованием одного из фреймворков: Stable-Baselines3 или CleanRL
3. Интеграция с пользовательскими и стандартными окружениями: OpenAI Gym, Gymnasium

🎁 Участникам уроков доступна скидка 5% на курс по промо-коду: RL_10 до 10.11.2025г.

Записывайтесь https://otus.pw/RYbL/?erid=2W5zFJNQWwi

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
2
Новая работа про ускорение видео-диффузии — представляют SLA (Selective Linear Attention), обучаемый гибридный механизм внимания.

🎯 В чём идея:
- Обычное Attention растёт квадратично по длине — для длинных видео это огромные затраты.
- SLA делит внимание на три типа: критическое, несущественное и промежуточное.
- Критическое обрабатывается через FlashAttention, несущественное — пропускается, промежуточное — через линейное внимание.
- Быстрый шаг mean pooling заранее помечает блоки, экономя вычисления.

📈 Результаты:
- Снижение вычислений в attention на 95%.
- Генерация стала в 2.2 раза быстрее на 1.3B видеомодели.
- Достаточно короткого fine-tuning — полное переобучение не нужно.
- Качество при этом не падает — линейное внимание в роли вспомогательного сохраняет точность, а высокие веса ведут себя как многомерные паттерны, низкие — хорошо сжимаются.

📄 Paper: https://arxiv.org/abs/2509.24006

#AI #diffusion #video #deeplearning
3
Media is too big
VIEW IN TELEGRAM
GigaChat Vision Team — ваша будущая команда! 😉

Если вы зарегистрируетесь на One Day Offer для NLP- и CV-инженеров и пройдёте все этапы отбора, то уже совсем скоро будете:

✔️ Обучать Vision, 3D/CAD и омни-модальные модели на тысячах A100/H100.
✔️ Создавать live-ассистента на edge-устройствах, а также базовые модели VLA для промышленных проектов: автоматизированных фабрик, автопилотов и роботов.
✔️ Работать с документами: Document Intelligence и разработка VLM OCR.
✔️ Развивать мультимодальную инфраструктуру: от инференса генеративных моделей до создания и авторазметки синтетических данных

Дублируем ссылку на регистрацию — до встречи 4 октября!
3
Wink AI Challenge — хакатон на стыке IT и кино. Участников ждут задачи, которые ускорят производство фильмов и сериалов за счёт прикладных AI-решений. Призовой фонд — 1 125 000 рублей.

Регистрация до 31 октября: https://cnrlink.com/winkaichallengemlbooks

Приглашаем на первый в России хакатон, посвящённый применению ИИ в кинопроизводстве, ML-инженеров, backend- и frontend-разработчиков, специалистов в DevOps, MLOps, а также инженеров в сфере мультимедиа.

🔸 Трек 1. Разработайте решение, которое на основе сценария проведет анализ каждой сцены, определит место действия, персонажей, реквизит и поможет оптимизировать планирование съемок.
🔸 Трек 2. Обучите модель определять возрастную категорию контента и выделять ключевые сцены, влияющие на рейтинг. Решение облегчит адаптацию контента для разных медиа.  
🔸 Трек 3. Создайте систему, которая превращает текст сценария в превиз с эскизами, ключевыми кадрами, анимацией и возможностью командного редактирования. 

Зарегистрируйтесь и создайте ИИ-ассистента для кинопроизводства: https://cnrlink.com/winkaichallengemlbooks
2
🔥 Разбор того, как Mixture-of-Experts (MoE) LLM можно сделать реально дешёвыми, если подогнать архитектуру под железо.

В чём проблема
- MoE включает только часть экспертов на токен → экономия compute.
- Но при больших batch size растут коммуникации и память:
- больше экспертов грузится,
- KV-кэш раздувается,
- узким местом становится память и сеть.

Решение - expert parallelism
- Эксперты размазаны по многим GPU.
- Токен идёт к top-N экспертам + shared-эксперт.
- В DeepSeek: 8 экспертов из 256 на слой × 58 слоёв.

Чтобы справиться с коммуникациями:
- внимание остаётся data parallel (кэш сидит на одном GPU),
- гоняются только маленькие вектора активаций,
- два микробатча: один считает, другой общается,
- горячие эксперты дублируются,
- токены стараются держать экспертов в пределах одного узла.

Оптимизации
- multi-head latent attention → сжатие KV-кэша до ~70KB вместо сотен KB.
- перестройка математики внимания → меньше вычислений при длинных контекстах.
- prefill и decode разделены, кэш даёт ~56% хитов → меньше затрат.

Экономика
- Стоимость = $/GPU-час ÷ токены/час.
- Дешевле при больших batch size, быстрых interconnect, большем числе GPU.
- Но если сервис обещает 20 токенов/сек на юзера → батчи меньше, цена выше.

Практика
- NVLink кластеры масштабируются отлично.
- InfiniBand между DGX - bottleneck.
- 72 GPU при batch 64 → миллиарды токенов в день за ~$0.40 / 1M токенов.

Итог
MoE становятся дёшевыми при:
- больших батчах,
- сжатом KV-кэше,
- грамотном роутинге,
- разделении префилла и декода,
- быстрых interconnect.

Это даёт гибкость: быстрый чат продаётся дороже, а bulk-генерация (синтетика, fine-tune) идёт почти по себестоимости.

https://www.tensoreconomics.com/p/moe-inference-economics-from-first
👍31