Машиннное обучение | Наука о данных Библиотека
16.9K subscribers
808 photos
15 videos
21 files
692 links
админ - @workakkk

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram - 🔥лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

№ 5037635661
Download Telegram
Интегрируй ML-модель в продакшн без боли и ошибок!

Практикум для разработчиков и ML-инженеров, которые устали от «экспериментов в Jupyter» и хотят переходить к реальным решениям! 16 сентября в 19:00 приглашаем на встречу по интеграции моделей с внешним миром и написанию API вместе с экспертом Игорем Стурейко — разработчиком модели прогнозирования технического состояния газотранспортной системы ПАО Газпром.

На практикуме вы:
👨‍💻перенесёте модель из Jupyter notebook в полноценный Python-класс
👨‍💻создадите API и подготовите эндпоинты
👨‍💻напишете валидатор для входящих параметров
👨‍💻протестируете работу модели как отдельного сервиса.

Все участники получают 7% скидку на любой курс OTUS + бонус: карьерные треки для ML-специалистов

Записывайся на практикум: https://tglink.io/24afcf22dd36

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFJPzD7E
2🤮2
🖥 Полный гайд по реальным SQL-вопросам с собеседований

Введение. Собеседования на позиции, связанные с данными (аналитики, инженеры, ученые данных), всё чаще включают нестандартные и продвинутые вопросы по SQL.

Большие технологические компании (Google, Amazon и др.) предъявляют высокие требования: важна не только правильность запроса, но и умение оптимизировать его и разбираться в реальных бизнес-данных.

В этом гайде мы разберем категории наиболее распространенных сложных SQL-задач с реальных собеседований – от платформ вроде DataLemur, LeetCode, StrataScratch – и подробно поясним решения.

Каждая задача сопровождена анализом: условие, оптимальный подход, используемые SQL-конструкции, возможные ошибки и финальное решение (для PostgreSQL и MySQL, с указанием различий где необходимо).

В конце добавлен отдельный раздел о современных базах данных, включая векторные БД (Pinecone, Weaviate, Milvus и др.), с примерами того, что могут спросить про них на собеседовании и как выглядят SQL-подобные запросы для работы с векторами.

📌 Читать гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥2👍1
⚡️ Tencent представили Youtu-GraphRAG — систему, которая объединяет построение графов знаний и их поиск в единую архитектуру.

Раньше методы улучшали либо построение графа, либо поиск по нему — но не оба сразу. Здесь же оба этапа связаны: они корректируют друг друга и устраняют лишние затраты.

Как это работает:
- Всё начинается со схемы — набора правил с допустимыми типами сущностей, связей и атрибутов. Благодаря этому извлекается только релевантная информация без шума.
- Факты сохраняются в виде триплетов (сущность → связь → сущность). Если новые паттерны повторяются часто, схема расширяется.
- Чтобы граф не разрастался в хаотичную сеть, система группирует связанные узлы в сообщества, формируя 4-уровневое дерево знаний: от атрибутов внизу до сообществ наверху.
- Для запросов агент разбивает вопрос на подзапросы в рамках схемы, применяет разные методы поиска параллельно и корректирует ошибки до получения согласованного ответа.

Главное преимущество: одна и та же схема используется и для извлечения знаний, и для разбора вопросов. Это делает рассуждения чище, снижает расход токенов и повышает точность.

Результаты: на бенчмарках — до 90,7% меньше токенов и +16,6% к точности по сравнению с сильными базовыми методами.

Статья: https://arxiv.org/abs/2508.19855
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🔥1🥰1
📈 Название это статьи просто топ

“Does Language Model Understand Language?” (*«А понимает ли языковая модель язык?»*) поднимает важный вопрос: действительно ли LLM понимают язык.

Авторы показывают, что даже самые большие модели остаются уязвимыми к тонким особенностям речи:
- некорректно обрабатывают отрицания
- путаются при смене времён
- испытывают трудности с низкоресурсными языками, например бенгали

Авторы предлагают метрикауHCE accuracy, которая показывает, насколько часто предсказание модели укладывается в рамки вариации человеческой оценки (т.е. не требует абсолютной точности, но близкости человеческому восприятию).

Некоторые системы работают надёжнее, но в целом разрыв остаётся значительным. Вывод ясен: масштабирование моделей не решает фундаментальных проблем понимания языка.

arxiv.org/abs/2509.12459
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍5🔥3
🤖 Исследование показывает: влияние генеративного ИИ на рынок труда нельзя свести к «увольняет или создает рабочие места». Реакция проходит в три стадии:

1️⃣ Вытеснение — сразу после внедрения ИИ растут увольнения в сферах, где автоматизация заменяет людей.

2️⃣ Пауза и неопределённость — меньше вакансий и меньше увольнений по собственному. Работодатели не знают, какие навыки нужны, а сотрудники боятся менять работу без ясных перспектив.

3️⃣ Медленное восстановление — только через 12–18 месяцев найм начинает расти, но гораздо скромнее, чем были потери. Это связано с тем, что компаниям нужно время перестроить процессы и встроить ИИ в работу.

📊 Такой трёхшаговый паттерн — вытеснение, сбой координации и задержка восстановления — и есть главный вывод работы.

🔗 Подробнее: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5367192
3😁1
Startup technical guide

📕 Read

@machinelearning_books
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍2🔥1
Хотите разобраться, как устроены рекомендательные системы «под капотом»?

💻 На открытом уроке разберём:

- идею метода и функцию потерь;
- как работает попеременная оптимизация;
- почему ALS выигрывает у SVD;
- практику: от подготовки данных до получения реальных рекомендаций.

Урок будет полезен дата саентистам, ML-инженерам, разработчикам и аналитикам, которые хотят углубить знания и научиться создавать эффективные рекомендательные системы, способные реально влиять на бизнес-метрики.

Встречаемся 2 октября в 20:00 МСК. Открытый урок пройдёт в преддверие старта курса «Рекомендательные системы», и все участники получат скидку на обучение.

Запишитесь прямо сейчас и сделайте шаг к профессиональному росту: https://otus.pw/D8Bs/


Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Alibaba открыла исходный код модели Qwen3-VL.

Это vision-language модель, которая умеет управлять графическими интерфейсами, писать код, строить диаграммы в Draw.io по макетам и распознавать объекты в самых разных областях - от повседневной жизни до узкоспециализированных сфер. Среди ключевых возможностей: точное определение событий в видео продолжительностью до двух часов, расширение поддержки OCR с 19 до 32 языков с улучшением качества на редких символах и наклонном тексте, работа с контекстом длиной 256 тысяч токенов с возможностью увеличения до миллиона, а также высокая точность в задачах обнаружения рисков в реальных условиях.
HF

✔️ Google Research представил новую работу о моделях для временных рядов.

Исследователи показали, что foundation-модели могут обучаться в стиле few-shot, то есть адаптироваться к новой задаче прямо «на лету», без отдельного переобучения.

В основе подхода лежит TimesFM, расширенный методом in-context fine-tuning (TimesFM-ICF). Модель получает несколько примеров вместе с историей данных и учится делать прогнозы более точно. В экспериментах на 23 датасетах точность выросла на 6,8% по сравнению с базовой моделью, при этом качество оказалось сопоставимо с версиями, обученными специально под каждый набор данных.

Теперь модели временных рядов можно использовать как LLM: им достаточно нескольких примеров в контексте, чтобы подстроиться под задачу. Это открывает путь к более гибкому и простому применению таких систем в бизнесе, финансах, энергетике и других областях.
Google

✔️ Исследователи из MIT, OpenAI и Sakana AI предложили новый метод ASAL (Automated Search for Artificial Life), который автоматизирует поиск «искусственной жизни» с помощью foundation-моделей.

Главная идея в том, что вместо ручного конструирования симуляций теперь можно задавать цель в виде текста, а модель будет находить или создавать такие системы, где возникают жизнеподобные явления.

ASAL работает на разных субстратах - от классических Boids и Game of Life до Lenia, Particle Life и нейронных клеточных автоматов. В ходе экспериментов метод открыл новые формы поведения в Lenia и Boids, а также клеточные автоматы, способные демонстрировать открытое и сложное развитие, сравнимое с «Жизнью» Конвея.

Это открывает путь к ускоренному исследованию искусственной жизни и автоматическому открытию новых «жизнеподобных» систем, которые раньше приходилось искать вручную.

✔️ Еще Qwen представила свою новую флагманскую модель Qwen3-Max, сразу доступную без ограниченного превью. Линейка включает две версии: Qwen3-Max-Instruct, ориентированную на кодинг и агентные задачи, и Qwen3-Max-Thinking, оснащённую инструментальным использованием и «heavy mode» для сложных сценариев.

По результатам тестов Qwen3-Max выходит на уровень топовых моделей на таких бенчмарках, как SWE-Bench, Tau2-Bench, SuperGPQA, LiveCodeBench и AIME25. Модель построена на масштабном датасете и опирается на значительные вычислительные мощности как в предобучении, так и в RL.

Компания позиционирует Qwen3-Max как новый флагман и открывает доступ сразу на нескольких платформах: в Qwen Chat, через API Alibaba Cloud и в блоге разработчиков.
X

✔️ Отчёт Google DORA показал: 90% IT-специалистов уже используют ИИ в работе, что на 14% больше, чем год назад. В опросе участвовало почти 5 тысяч разработчиков, и в среднем они тратят около двух часов в день на взаимодействие с AI-инструментами.

Доверие остаётся ограниченным: 46% доверяют «отчасти», 23% — «немного», и только 20% - «сильно». Это объясняется частыми мелкими исправлениями после автогенерации. Влияние на качество кода оценивается сдержанно: 31% видят лёгкое улучшение, 30% — «без изменений». Зато ощутим рост скорости за счёт снижения рутины.

На рынке труда обстановка сложнее: вакансии для новичков сократились на 71% с 2022 года, а кандидаты подают сотни заявок, прежде чем получить работу.
Report

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍1
📢 Команда Amazon рассказала, как трансформер с Mixture-of-Experts меняет рекомендации фильмов

Решение сфокусировано на трёх ключевых вызовах в рекомендациях:
• Учет взаимодействий пользователей
• Корректная генерация негативных примеров
• Мультизадачное обучение

Подробнее о том, как Amazon модифицировала классическую коллаборативную фильтрацию и встроила её в архитектуру в разборе статьи с RecSys 2025 от AI VK Hub.

Ну а полный обзор можно посмотреть у ребят из AI VK Hub.
4👍2
🚀 Новое исследование: Reinforcement Learning on Pre-training Data (RLPT)
Этот метод решает главную проблему масштабирования LLM — ограниченность размеченного текста.

🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.

Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.

Результаты:
На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
Чем больше вычислений, тем сильнее рост.
Технология создаёт базу для дальнейших улучшений в RLVR.

📄 Подробнее: https://arxiv.org/pdf/2509.19249

#AI #RLPT #LLM #MachineLearning #NLP
3👍3🔥1
🔧 LoRA или полный fine-tuning?

LoRA — это способ дообучать модели быстрее и дешевле. Вопрос в том, насколько результаты хуже, чем при полном fine-tuning.

📊 Оказалось, что во многих задачах качество почти одинаковое — разрыв меньше, чем многие думают.

В блоге Connectionism показали эксперименты и дали практические советы, когда стоит выбрать LoRA.

https://thinkingmachines.ai/blog/lora/
7👍4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Офер в VK для бэкендеров и ML-щиков — станьте частью команды за выходные.

4–5 октября пройдёт VK Weekend Offer. Всего за 2 дня вы сможете пройти весь путь от знакомства с командами до приглашения на работу: пройти техническое собеседование, встретиться с лидами и получить офер.

Требования для бекэндеров – три года опыта коммерческой разработки, знание Java, Go, Python, C++.
Для ML-щиков – те же три года опыта + знания Classic ML, RecSys, NLP/LLM, CV, Speech.

Читайте подробности на сайте и подавайте заявку до 2 октября!

Реклама: ООО «ВК» ИНН 7743001840
🤡51
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Zai представили GLM-4.6
Новая флагманская модель получила заметные улучшения: поддержка длинного контекста до 200K токенов, сильные возможности в рассуждении, генерации кода, поиска и агентных задачах.
Hf | Api | Попробовать

✔️ NVIDIA анонсировала новые возможности для робототехники и симуляции.
Newton - это открытый физический движок с GPU-ускорением, созданный на базе NVIDIA Warp и OpenUSD и выпущенный под лицензией Apache 2.0. Он показывает огромный прирост скорости: в задачах движения до 152× быстрее, а при манипуляции объектами — до 313× быстрее по сравнению с MJX на RTX 4090.

Isaac Lab позволяет запускать тысячи параллельных симуляций для ускоренного обучения с подкреплением. Среди демонстраций — робот ANYmal, осваивающий ходьбу, и симуляция складывания одежды с реалистичной мультифизикой.
NVIDIA Blog

✔️ Anthropic опубликовала статью о том, как правильно работать с контекстом при создании LLM-агентов.
Главная идея - контекст не равен простому prompt’у: это весь набор информации (инструкции, история сообщений, память, внешние данные), который агент использует для принятия решений.

Контекст - ограниченный ресурс, длинные цепочки приводят к «context rot» - постепенной потере качества.
Нужно уметь структурировать и минимизировать инструкции, оставляя только важное.

Важно грамотно управлять вызовами инструментов: они должны возвращать релевантные и компактные данные.
Историю лучше периодически сжимать, сохраняя факты, а не «сырые токены».

Для сложных случаев полезно делить задачи между суб-агентами, а затем агрегировать их результаты.
Эффективная контекстная инженерия делает агентов точнее, дешевле и устойчивее при работе с длинными
Подробнее

✔️ServiceNow выпустила Apriel-v1.5-15B-Thinker

Новая 15B reasoning-модель с открытыми весами набрала 52 балла в Artificial Analysis Intelligence Index - уровень моделей в сотни миллиардов параметров. Отличается сильным instruction following, многошаговыми диалогами и поддержкой 128k контекста. Доступна на Hugging Face под MIT-лицензией для свободного коммерческого использования.
HF

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
2
💎Приглашаем вас на 3 бесплатных урока курса: «Reinforcement Learning»

💠Урок №1: «Обучение с подкреплением — гибкий подход для сложных задач. Создаем собственные окружения»

9.10 в 20:00 мск

📍На уроке:
1. Введение в обучение с подкреплением
2. Обзор существующих сред: Gymnasium, FinRL. Переход к созданию собственного RL-окружения на Python
3. На практике напишем свою среду на gym.Env и подключим к ней обучающегося агента

💠Урок №2: «Q-Learning — базовый алгоритм обучения с подкреплением»

15.10 в 20:00 мск

📍На уроке:
1. Что такое Q-learning и почему она важна для обучения агента
2. Как агент принимает решения и обучается с помощью таблицы Q-значений
3. Создадим среду на python и обучим агента самостоятельно

💠Урок №3: «Фреймворки для обучения с подкреплением — обзор, настройка и применение»

23.10 в 20:00 мск

📍На уроке:
1. Обзор популярных RL-фреймворков: Stable-Baselines3, FinRL, CleanRL и другие
2. Настройка и запуск эксперимента с использованием одного из фреймворков: Stable-Baselines3 или CleanRL
3. Интеграция с пользовательскими и стандартными окружениями: OpenAI Gym, Gymnasium

🎁 Участникам уроков доступна скидка 5% на курс по промо-коду: RL_10 до 10.11.2025г.

Записывайтесь https://otus.pw/RYbL/?erid=2W5zFJNQWwi

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
2
Новая работа про ускорение видео-диффузии — представляют SLA (Selective Linear Attention), обучаемый гибридный механизм внимания.

🎯 В чём идея:
- Обычное Attention растёт квадратично по длине — для длинных видео это огромные затраты.
- SLA делит внимание на три типа: критическое, несущественное и промежуточное.
- Критическое обрабатывается через FlashAttention, несущественное — пропускается, промежуточное — через линейное внимание.
- Быстрый шаг mean pooling заранее помечает блоки, экономя вычисления.

📈 Результаты:
- Снижение вычислений в attention на 95%.
- Генерация стала в 2.2 раза быстрее на 1.3B видеомодели.
- Достаточно короткого fine-tuning — полное переобучение не нужно.
- Качество при этом не падает — линейное внимание в роли вспомогательного сохраняет точность, а высокие веса ведут себя как многомерные паттерны, низкие — хорошо сжимаются.

📄 Paper: https://arxiv.org/abs/2509.24006

#AI #diffusion #video #deeplearning
3
Media is too big
VIEW IN TELEGRAM
GigaChat Vision Team — ваша будущая команда! 😉

Если вы зарегистрируетесь на One Day Offer для NLP- и CV-инженеров и пройдёте все этапы отбора, то уже совсем скоро будете:

✔️ Обучать Vision, 3D/CAD и омни-модальные модели на тысячах A100/H100.
✔️ Создавать live-ассистента на edge-устройствах, а также базовые модели VLA для промышленных проектов: автоматизированных фабрик, автопилотов и роботов.
✔️ Работать с документами: Document Intelligence и разработка VLM OCR.
✔️ Развивать мультимодальную инфраструктуру: от инференса генеративных моделей до создания и авторазметки синтетических данных

Дублируем ссылку на регистрацию — до встречи 4 октября!
3