Машинное обучение RU
18.3K subscribers
1.85K photos
263 videos
11 files
2.27K links
Все о машинном обучении

админ - @workakkk

@data_analysis_ml - анализ даннных

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram -лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python 📚

@datascienceiot - 📚

РКН: clck.ru/3FmrUw
Download Telegram
Разделять стоит задачи, а не код

Когда одна рекомендательная система решает разные задачи, не обязательно создавать для каждой отдельный сервис или дублировать код. В AI VK для этого используют стримы — отдельные пайплайны со своими настройками, собранные из общих компонентов подбора кандидатов, фильтрации и вычисления признаков.

Так можно развивать разные механики независимо, не дублируя код и вычисления. В статье на Хабре  — как устроены стримы, почему они ускоряют разработку и как растят метрики.
❤3👏1
Spark-X2.6-4B - открытая модель на 4 млрд параметров с контекстом до 1 млн токенов для локальных ИИ-агентов.

В тестах команды средний результат составил 63,3 балла против 52,1 у Spark-X2.5-4B и 49,1 у Qwen3.5-9B. Это сравнение на выбранном разработчиками наборе задач.

Что внутри:

- Три режима рассуждений: none, low и high — можно выбирать баланс между качеством ответа, скоростью и затратами.
- Форматы для локального запуска: FP8, INT8, INT4 и GGUF.
- Две версии: Instruct для диалогов и агентных задач, Base — для дальнейшего обучения.
- Поддержка популярных инструментов: Transformers, SGLang, vLLM, llama.cpp, Ollama, MLX и LM Studio.

Модель рассчитана на работу с кодом, инструментами и многошаговыми задачами. Для использования полного контекста в 1 млн токенов потребуется достаточно памяти.

https://github.com/XHToken/Spark-X2.6
❤3👍3🔥1
5 GitHub-репозиториев для дообучения ИИ-моделей под свои задачи

Научить модель соблюдать нужный формат, отвечать в вашем стиле или выполнять специализированные инструкции — для этого пригодятся:

1. LLaMA-Factory - удобный старт
Дообучение языковых и мультимодальных моделей через веб-интерфейс или CLI. Поддерживает полное обучение, LoRA и QLoRA.
https://github.com/hiyouga/LlamaFactory

2. Unsloth - когда ограничена видеопамять
Оптимизирует обучение поддерживаемых моделей, снижая расход памяти и ускоряя вычисления. Есть готовые ноутбуки для первых экспериментов.
https://github.com/unslothai/unsloth

3. Axolotl - обучение через конфиги
Позволяет описать модель, датасет и параметры обучения в YAML. Подходит для воспроизводимых экспериментов и запуска на нескольких GPU.
https://github.com/axolotl-ai-cloud/axolotl

4. PEFT - обучать небольшую часть параметров
Библиотека Hugging Face для LoRA и других экономных методов адаптации. Помогает уменьшить требования к памяти и размер сохраняемых адаптеров.
https://github.com/huggingface/peft

5. TRL - обучение на примерах, предпочтениях и наградах
Инструменты для SFT, DPO и обучения с подкреплением. Пригодится, когда нужно улучшать ответы по выбранным критериям качества.
https://github.com/huggingface/trl

Эти инструменты можно комбинировать: например, использовать TRL для процесса обучения, а PEFT — для LoRA-адаптации.
🔥4👍3❤2
Алгоритм знает, где вы будете 7-го ноября 😎

RecSys-митап в Москве для тех, кто уже строит рекомендательные системы и хочет делать это еще лучше.

В программе — доклады от топовых экспертов Сбера с разбором кейсов, свежих подходов и неочевидных решений.

После официальной части — нетворкинг. Время в узком кругу профессионалов и сообщества Зеленый RecSys.

Участие бесплатное, но количество мест ограничено.

Москва. Суббота. 7 ноября. RecSys!
➡️ регистрируйтесь
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍5🔥4🤩2
От первого мотора до робота, который учится по демонстрациям: открытая дорожная карта по робототехнике на русском.

Robotics Roadmap 2026 предлагает план на 24 недели при занятиях по 2–3 часа в день. Обучение начинается с электроники и постепенно переходит к управлению и машинному обучению.

Внутри шесть модулей:

- Электроника, Python и Git - базовые схемы и инструменты.
- Arduino и ESP32 — моторы, датчики, линейный робот и балансир.
- CAD и 3D-печать — сборка робота-манипулятора.
- ROS 2 — симуляция, построение карты и автономная навигация.
- Управление и компьютерное зрение — регуляторы, кинематика, работа с камерой.
- LeRobot — сбор демонстраций и обучение робота.

Есть схемы подключения, примеры кода, списки компонентов, справочник по отладке и 30 идей проектов.

Начать можно без покупки железа — в симуляторах. Дальше предлагается оформлять проекты в портфолио: видео, схема, код и разбор того, что сломалось и как удалось исправить.

Полезная отправная точка для программиста, который хочет заставить свой код двигаться в физическом мире.

https://github.com/justxor/robotics-roadmap-2026/
❤4🔥3👍2
😁19😢14🔥3❤2👏2
ИИ-агент умеет отвечать на другом языке. Но сможет ли он на нём работать?

Команда Qwen представила BabelArena – бенчмарк для проверки агентов на 23 языках и задачах из 13 предметных областей.

Переводят не только запрос пользователя, но и инструкции, описания инструментов и содержимое рабочей среды. Это позволяет сравнивать выполнение одинаковых задач на разных языках.

Выводы исследования:

- Единого лидера нет: разные модели сильнее в разных группах задач.
- На языках с небольшим объёмом обучающих данных чаще возникают ошибки вызова инструментов и последовательности действий.
- Объём входных токенов может быть примерно вдвое выше, чем на английском, без сопоставимого роста числа шагов.
- В задачах со структурированным выводом агенты чаще сбиваются с выбранного языка, преимущественно переходя на английский.

https://arxiv.org/abs/2609.23490

https://github.com/QwenLM/BabelArena
❤3👍3👏1
Atria Dawn вышла с открытыми весами и контекстом 512K – модель для исследовательских и инженерных ИИ-агентов.

Разработка Shanghai AI Laboratory построена на GLM-5.2 MoE с 744 млрд параметров. Контекст увеличен вдвое относительно Preview.

Модель рассчитана на многошаговую работу с инструментами:

- Исследования: поиск и систематизация источников, подготовка исполняемых планов экспериментов.
- Разработка: создание программ, интерактивных приложений, визуализаций и ML-систем.
- Документы: подготовка отчётов и презентаций из данных и требований.
- Безопасность: проверка уязвимостей, исправления и повторное тестирование в разрешённых средах.

В сравнении, опубликованном командой, Atria Dawn опережает участвующие модели на AutomationBench, CyberGym, SkillsBench и WideSearch. Например, на AutomationBench она набирает 54,7, а на CyberGym – 86,8.

Доступны полные и FP8-веса, самостоятельное развёртывание через SGLang и vLLM. Код и веса распространяются под MIT.

Модель принимает только текст.

https://huggingface.co/internlm/Atria-Dawn
❤4👍2🤯1
👍8😁7❤3🥰2👏1
Как сравнивать распределения, когда случайный объект – целая функция, а не набор чисел?

Этому посвящена работа Франка Нильсена и Ха Куанг Миня о геометрической дивергенции Йенсена–Шеннона для гауссовских мер в гильбертовом пространстве.

В привычном случае гауссовское распределение описывает случайные векторы. В бесконечномерном пространстве аналогичный подход позволяет рассматривать случайные функции.

Авторы исследуют геометрическую версию дивергенции Йенсена–Шеннона: она использует геометрическое среднее вероятностных мер для оценки их различия.

Два основных результата:

- Явная формула для гауссовских мер, эквивалентных одной фиксированной мере. Она обобщает конечномерный случай.
- Регуляризованная версия, определённая для любой пары гауссовских мер. Для эквивалентных мер при стремлении параметра регуляризации к нулю она восстанавливает исходную дивергенцию.

Это теоретическая работа на пересечении теории вероятностей, информации и машинного обучения. По сообщению Нильсена, журнальная версия опубликована в IEEE Transactions on Information Theory.

Препринт – 44 страницы:

https://arxiv.org/abs/2506.10494
👍3❤2🤩2🔥1
Forwarded from Machinelearning
📌 EPFL показала имплантируемый чип, который следит за связью между участками мозга

Лаборатория нейротехнологий Федеральной политехнической школы Лозанны под руководством Махсы Шоаран сделала LogSync, имплантируемый чип размером примерно 4 на 2 мм, который целиком держит на себе машинное обучение.

Он записывает активность мозга, считает силу ритмов и согласованность сигналов между его областями, по этим признакам различает состояния внимания и эмоционального возбуждения и сам выдаёт команду на стимуляцию, когда распознал нужное состояние.

Весь этот путь, от анализа связей между областями до классификации, укладывается в один кристалл и меньше 200 микроватт.

Добились этого переводом вычислений в логарифмический вид, который упрощает нужные операции, причём алгоритмы и схему разрабатывали сразу с оглядкой на ограничения имплантата.

Такой чип нужен для глубокой стимуляции мозга при психиатрических расстройствах.

Большинство приборов работает по заранее заданным настройкам, без обратной связи, а те, что подстраиваются, обычно опираются на сигнал одного участка.

Шоаран исходит из того, что психиатрические расстройства связаны скорее со сбоями в связности между областями мозга, поэтому классификатор смотрит именно на их согласованность.


Проверка чипа прошла успешно на двух материалах - на записях мозга людей из прежних психиатрических экспериментов и на крысах в Университете Миннесоты.

В людей чип пока не вживляли, поэтому реальной точности распознавания и задержки EPFL не приводит.


Модельную часть лаборатория развивает отдельно. На ICML 2026 Шоаран представил RECTOR, способ самообучения на записях ЭЭГ и внутричерепной ЭЭГ, где модель учится на замаскированных фрагментах сразу по трём осям - областям мозга, каналам и времени.

В работе заявляют лучшие результаты в распознавании эмоций и вовлечённости, а также устойчивость к потере отдельных каналов, но конкретных цифр в аннотации нет.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤3🔥1
Apex-35B: открытая модель для кода, агентов и исследовательских задач

Apex Intelligence выпустила Apex-35B-V1.0 на базе Qwen3.6-35B-A3B. Веса доступны под Apache 2.0.

Внутри - 35 млрд параметров, около 3 млрд активных на токен и контекст 262 тысячи токенов. Модель сама определяет, нужны ли развёрнутые рассуждения на текущем шаге.

Помимо программирования, поиска и вызова инструментов, её обучали исследовательским сценариям: планировать вычисления, писать и запускать код, корректировать подход по результатам экспериментов.

По оценке команды, Apex набрала:

- 84,0 на BFCL V4 - проверке вызова инструментов.
- 60,9 на PaperBench против 45,8 у базовой Qwen.
- 69,4 на BrowseComp против 42,1 у базовой модели.

В разработке участвовала Apex Research - автоматизированная система, которая помогала создавать обучающие данные, проводить эксперименты и оптимизировать GPU-ядра. Проверенные результаты использовали в следующих итерациях.

Результаты опубликованы разработчиками и требуют независимой проверки.

Модель:
https://huggingface.co/Apexintelligence-AI/Apex-35B-V1.0

Технический разбор:
https://apexin.com/apex-35b/
👍4❤2🔥1
F-GRPO и ESSA — методы для повышения эффективности дообучения языковых моделей с подкреплением

Исследователи Т-Банка представили работы на EMNLP — международной конференции уровня A* по обработке естественного языка

Что внутри:

- F-GRPO сохраняет разнообразие правильных решений: слабее меняет параметры на простых задачах, которые модель уже часто решает правильно, помогая не вытеснять редкие корректные стратегии.
- Меньше генераций: на Qwen2.5-7B метод с 8 ответами показал качество выше, чем GRPO с 32, на математических задачах и задачах вне обучающей выборки.
- ESSA дообучает без вычисления градиентов: оценивает слегка различающиеся версии модели и строит следующее поколение на основе лучших. Изменяется небольшой набор параметров LoRA-адаптеров.
- Сопоставимое качество при меньшем числе настраиваемых параметров: на математических задачах ESSA сравнялась с GRPO, обучающим всю модель, хотя настраивает примерно в миллион раз меньше параметров
- Ускорение до 7,8 раза: такой результат получили относительно GRPO на 128 GPU при дообучении Qwen2.5-32B до точности 83,5% на математическом тесте.

Методы рассчитаны на адаптацию LLM под математику, генерацию кода и выполнение инструкций. F-GRPO можно применять поверх GRPO, DAPO и CISPO, а преимущество ESSA в скорости растет с размером кластера.

https://arxiv.org/pdf/2602.06717
https://arxiv.org/pdf/2507.04453
👍15❤11🔥5
AI Journey 2026: заглядываем в будущее ИИ 🤖
 
Хочешь узнать, что происходит в мире нейросетей, послушать российских и зарубежных экспертов и найти единомышленников? Залетай на AI Journey — ежегодную международную конференцию по искусственному интеллекту. Тебя ждёт три дня погружения в мир ИИ!
 
👉 27 ноября — день Бизнеса: реальные ИИ-кейсы и продукты
👉 28 ноября — день Науки: свежие исследования и открытия
 
В программе — выступления лидеров индустрии, выставочные зоны с разработками и нетворкинг с теми, кто тоже горит ИИ

📍 27–28 ноября 2026 года
Москва, Кутузовский проспект, 32, корп. 1, штаб-квартира Сбера

Регистрируйся на сайте и попади в центр событий мира ИИ! 💚
 
А 26 ноября смотри прямую трансляцию дня «Общество» на сайте aij.ru — увлекательная программа, интересные герои, актуальные темы!
❤1👍1
Forwarded from Machinelearning
🌟 Inclusion AI предложила метод спекулятивного декодирования с параллельной сборкой дерева черновиков

Метод UBTree ускоряет вывод больших языковых моделей.

Спекулятивное декодирование поручает черновик небольшой модели, а целевая проверяет сразу несколько предложенных токенов одним проходом и принимает их до первой ошибки.

UBTree относится к той же семье параллельных драфтеров, что DFlash и DSpark, и закрывает их недостаток - они предлагают весь блок токенов одновременно и потому работают быстро, но на размытых распределениях целевой модели, где несколько продолжений близки по вероятности, угадывают хуже.

Черновик в UBTree собирается двумя параллельными проходами:

🟢первый делает модель DFlash, которая подбирает по 64 варианта токена на каждую из шестнадцати позиций блока, причём каждую позицию считает независимо от соседних;

🟢биграммный селектор оценивает, насколько один вариант годится в продолжение другому: пару соседей он прогоняет через два небольших перцептрона поверх замороженных эмбеддингов целевой модели, отдельно для предшественника и для последователя, и добавляет полученную оценку к оценке DFlash с весом, зависящим от глубины.

Все пары считаются одновременно, из оценок переходов набирается дерево на 64 узла, и целевая модель проверяет его целиком за один проход.

Селектор обучали на откликах, перегенерированных при высокой температуре, с перенормированной KL-функцией потерь - так в разметку попадают не только самые вероятные продолжения, но и правдоподобные альтернативы, за счёт которых дерево чаще совпадает с выбором целевой модели.

Вместе с методом выложены две черновые модели - Ling3-Tiny-UBTree на 183 млн параметров работает в паре с Ling-3.0-tiny (8 млрд параметров, 1 млрд активных), Ling3-Flash-UBTree на 482 млн - с Ling-3.0-flash (124 млрд, 5 млрд активных).

Они ничего не генерируют и нужны только как драфтеры к своей целевой модели.


🟡 Тесты

На семи тестах, от GSM8K и AIME до LiveCodeBench и MT-Bench, UBTree даёт среднее ускорение 6,88× на Qwen3-4B и 6,94× на Qwen3-8B и опережает ближайший древовидный метод DARTree во всех 28 сравнениях, в среднем на 7,4-13,4%.

В SGLang на Ling3-Flash-124B выходит 3,27× против 2,73× у DSpark и 2,80× у DFlash, на Qwen3.8-27B - 4,78× против 4,32× у DSpark.

На длинном контексте LongBench-v2 число принятых за раунд токенов выше, чем у сильнейшего из конкурентов, на 31,0-39,7%.

Поддержка UBTree для Ling3 в SGLang пока не опубликована. Команда обещает дополнительные черновые модели в течение месяца.


📌Лицензирование: MIT


🟡Страница проекта
🟡Набор моделей
🟡Техотчет


@ai_machinelearning_big_data

#AI #ML #LLM #Decoding #UBTree #InclusionAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2👏1
10 GitHub-репозиториев, чтобы собрать AI-ассистента, который реально работает за вас

Не просто чат-бота, а агента, который открывает сайты, пишет код, работает с документами, запоминает контекст и выполняет задачи.

1. OpenHands - AI-разработчик, который пишет код, исправляет ошибки и автоматизирует инженерные задачи.

https://github.com/OpenHands/OpenHands

2. Browser Use - управление браузером через AI: переходы по страницам, заполнение форм и автоматизация сайтов.

https://github.com/browser-use/browser-use

3. Mem0 - долговременная память для агентов. Сохранение контекста между разговорами.

https://github.com/mem0ai/mem0

4. Composio - подключение AI-агентов к сотням сервисов и инструментов через готовые интеграции.

https://github.com/ComposioHQ/composio

5. E2B - изолированные песочницы, где AI безопаснее запускает код и выполняет команды.

https://github.com/e2b-dev/E2B

6. LangGraph - создание сложных агентов с состоянием, ветвлениями и многошаговыми процессами.

https://github.com/langchain-ai/langgraph

7. n8n - визуальная автоматизация процессов с AI, API и внешними сервисами.

https://github.com/n8n-io/n8n

8. Docling - извлечение структурированных данных из PDF, таблиц и других документов для AI.

https://github.com/docling-project/docling

9. LiveKit Agents - голосовые AI-ассистенты, которые слушают и отвечают в реальном времени.

https://github.com/livekit/agents

10. Open Interpreter - выполнение кода и работа с локальным компьютером через естественный язык.

https://github.com/openinterpreter/openinterpreter

Из этих компонентов можно собрать полноценную агентную систему: с памятью, браузером, голосом, доступом к инструментам и возможностью самостоятельно выполнять многошаговые задачи.
👍6❤4
SpaceX станет новой NVIDIA? Ставка на ИИ

У SpaceX появился ещё один амбициозный сценарий будущего: резкий рост на инфраструктуре искусственного интеллекта. Партнёр Sequoia Capital Шон Магуайр сравнивает возможную динамику её выручки с рывком NVIDIA. Он сразу раскрывает конфликт интересов: фонд вложился в компанию, а сам автор считает свою оценку пристрастной.

В публикации Магуайр связывает перспективы SpaceX с инженерной командой, Starship и экономикой Starlink. Отдельный тезис касается вычислений для ИИ: он считает компанию потенциально сильным игроком благодаря способности решать сложные инфраструктурные задачи. Это позиция инвестора, а не независимо подтверждённое лидерство по стоимости вычислений.

Почему разговор об ИИ упирается в электростанции

Для наглядности возьмём условный дата-центр мощностью один гигаватт. При непрерывной работе за сутки он потребит 24 миллиона киловатт-часов. Такой масштаб заставляет обсуждать генерацию, подключение к сети, охлаждение и сроки поставок оборудования ещё до выбора модели для обучения. GPU, ожидающий электричества, не приносит полезных вычислений.

оэтому сравнивать инфраструктурные проекты только по количеству ускорителей неудобно. Два одинаковых кластера могут давать разный экономический результат: один простаивает, другой загружен; один ограничен сетью, другой тратит меньше времени на обмен данными. Стоимость полезной работы зависит от всей системы.

Где заканчивается прогноз

Магуайр ожидает, что Direct to Cell обгонит Starlink по выручке в 2029 или 2030 году. Орбитальные вычисления он относит к более поздней части сценария. Оба утверждения следует читать как прогнозы автора.

Для проверки тезиса о дешёвых вычислениях потребовались бы сопоставимые измерения: одинаковая задача, качество результата, загрузка оборудования, затраты на питание и полная стоимость владения. Одной оценки капитальных расходов на гигаватт для такого вывода недостаточно.

У космического дата-центра к этому добавляются вопросы обслуживания и отвода тепла. В вакууме нельзя рассчитывать на обычное воздушное охлаждение. Даже привлекательная стоимость запуска сама по себе не отвечает на вопрос, сколько будет стоить готовый результат вычисления.

Сравнение с NVIDIA звучит громко. Проверять его придётся по введённым мощностям, платящим клиентам и экономике эксплуатации. Пока перед нами инвестиционная гипотеза с большим набором инженерных условий.

По публикации Шона Магуайра, партнёра Sequoia Capital.

https://uproger.com/spacex-stanet-novoj-nvidia-stavka-na-ii/
👍3❤2🥰1🤩1
when I say "we" in emails, this is who I mean:
❤11👍2👎2🔥1