🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.

Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.

Главная фишка обучения:

• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.

Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.

Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.

По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.

Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert

Статья:
https://arxiv.org/abs/2610.15028

@machinelearning_interview

С вас идея, а Т-Банк за нее заплатит

В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября. 

Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.

Успейте подать заявку до 11 ноября

🤖 600 млрд параметров и миллион токенов контекста: StepFun открыла веса Step-5-Preview.

Модель заточена под длинные агентные задачи: искать информацию, разбирать данные, писать и исправлять код, собирать готовые отчёты, таблицы и сайты.

Что внутри:

• MoE-архитектура: 600 млрд параметров, из которых на каждый токен активируются 27 млрд.
• Контекст 1 млн токенов, поддержка изображений и сценариев с тысячами взаимодействий.
• 49% на StepCodeBench: первое место среди открытых моделей в сравнении разработчиков. Тест охватывает генерацию кода, исправление багов, рефакторинг и оптимизацию.
• Веса доступны под StepFun Community License.

Главный интерес здесь в том, насколько уверенно модель доводит длинную задачу до готового результата.

https://www.modelscope.cn/models/stepfun-ai/Step-5-Preview

🔥 Модель на 125 млрд параметров на игровой видеокарте с 12 ГБ памяти.

Strata позволяет запускать Qwen3.8-Flash-Next локально на обычном ПК.

По замерам разработчиков, RTX 5070 выдаёт:

• 94 токена/с с квантизацией Q2_0.
• 53 токена/с с IQ3_S.

Есть нюанс: тестировали на компьютере с 64 ГБ оперативной памяти. Минимальные требования проекта начинаются с 32 ГБ, но доступные варианты модели зависят от объёма RAM.

И ещё: Q2 сильно сжимает веса, поэтому скорость стоит оценивать вместе с качеством ответов на своих задачах.

Поддерживаются Windows и Linux, есть локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов.

https://github.com/Niko1221/Strata

🦥 816 млрд параметров на Mac Studio: Unsloth выпустила GGUF для Muse Spark Open

Модель получила динамическую 2-битную квантизацию, с которой её можно запускать локально на машине с 256 ГБ памяти.

Что внутри:

• 816 млрд параметров, около 42,7 млрд активны на токен.
• Вход: текст, изображения, видео и аудио. Выход: текст.
• Контекст до 1 млн токенов.
• Обучение на длинных задачах программирования, работе с инструментами и исследованиях.

256 ГБ хватает для самой компактной 2-битной версии, а увеличение контекста требует дополнительной памяти. Для агентных задач Unsloth рекомендует квантизацию не ниже UD-IQ2_S: самые маленькие варианты заметнее теряют качество.

GGUF: https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B-GGUF

Гайд: https://unsloth.ai/docs/models/muse-spark-open

🔥 Полный гайд по локальному запуску DeepSeek на русском: от домашнего ПК до сервера с 8 GPU

В открытом доступе появился репозиторий с руководством из 18 частей о том, как запустить DeepSeek V4, R1 и дистилляты у себя, без облака и интернета. Бесплатно, приватно и офлайн.

Внутри весь путь: выбор модели и расчёт железа, установка и настройка Ollama, llama.cpp, LM Studio, Open WebUI, vLLM и SGLang, работа через API и Python, подключение к IDE. Дальше промптинг, ускорение, RAG, агенты и fine-tuning, а в конце топ-30 приёмов, разбор ошибок, FAQ и готовые конфиги.

Для домашнего ПК основной вариант это R1-дистилляты от 1.5B до 70B. Запуск одной командой: ollama run deepseek-r1:8b. По таблицам гайда в кванте Q4 модель на 8B занимает 5-6 ГБ памяти, на 14B около 9-10 ГБ, на 32B около 20 ГБ, на 70B около 43 ГБ.

Старшие модели уже про серверное железо. DeepSeek-V4-Flash на 284B параметров, из них 13B активных, с контекстом 1M требует около 103 ГБ в 3-битном кванте. DeepSeek-V4-Pro на 1.6T параметров с 49B активными нужны 800 ГБ и больше, то есть сервер с 8 GPU.

Несколько практичных советов из гайда. Для русского языка брать модели от 14B, на меньших дистиллятах качество заметно проседает. Квант Q4_K_M считается стандартным выбором, а большая модель в низком кванте обычно лучше маленькой в высоком. Температура около 0.6 для R1 и 1.0 для V4. Проверять через ollama ps, что модель целиком на GPU. И не открывать порт Ollama 11434 в интернет: у API нет пароля.

Репозиторий: https://github.com/justxor/deepseek-local-guide-ru

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
DevOps: t.iss.one/DevOPSitsec
Docker: https://t.iss.one/+90Z5TAyfuNU5YmRi
Golang: t.iss.one/Golang_google
Rust: t.iss.one/rust_code
C++: t.iss.one/cpluspluc
C#: t.iss.one/csharp_ci
Java: t.iss.one/java_library
JavaScript: t.iss.one/javascriptv
React: t.iss.one/react_tg
Frontend: t.iss.one/front
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Мобильная разработка: t.iss.one/mobdevelop
Базы данных: t.iss.one/sqlhub
Data Science: t.iss.one/data_analysis_ml
Big Data: t.iss.one/bigdatai
Математика: t.iss.one/data_math
Физика: t.iss.one/fizmat
Kubernetes: t.iss.one/kubernetc
GameDev: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg

Собеседования и карьера:

DS собеседования: t.iss.one/machinelearning_interview
Python собеседования: t.iss.one/python_job_interview

Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.iss.one/memes_prog
Английский для программистов: t.iss.one/english_forprogrammers
ИИ и технологии: t.iss.one/vistehno
954 ГБ open-source курсов: https://t.iss.one/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

🤖 Маск: госдолг США спасут роботы и ИИ. Сэкономить не получилось

В интервью Уолтеру Айзексону Илон Маск признал, что работа DOGE не решила проблему бюджетного дефицита. По его словам, у президента, Конгресса и других ветвей власти нет достаточной готовности сокращать расходы.

Теперь предприниматель называет ИИ и роботизацию единственным выходом из долговой проблемы.

Масштаб задачи: в августе совокупный госдолг США впервые превысил $40 трлн. По прогнозу бюджетного управления Конгресса, долг в руках инвесторов, без внутригосударственных обязательств, достигнет 108% ВВП к 2030 году. Это разные показатели, которые важно не смешивать.

Ставка Маска понятна: автоматизация должна резко увеличить производство и доходы экономики. Но что этот рост окажется достаточным для решения долговой проблемы, ещё предстоит доказать.

https://www.axios.com/2026/10/17/elon-musk-doge-walter-isaacson-podcast

🛠 Claude Code забывает контекст и расходует токены? 5 репозиториев в закладки.

1. claude-mem
Сохраняет историю работы между сессиями, сжимает её и возвращает релевантные детали. Помогает продолжать работу без повторного объяснения проекта.
https://github.com/thedotmack/claude-mem

2. Context Mode
Обрабатывает большие ответы инструментов вне контекстного окна. Вместо целых логов и JSON модель получает отобранный результат.
https://github.com/mksglu/context-mode

3. XERJ
Индексирует код, документацию, логи и PDF. Агент может находить нужные фрагменты через поиск, сокращая чтение файлов целиком.
https://github.com/xerj-org/xerj

4. gstack
Набор инструментов от Гарри Тана для планирования, дизайна, ревью, тестирования и выпуска изменений. Помогает выстроить процесс разработки с Claude Code.
https://github.com/garrytan/gstack

5. Orca
Среда для управления несколькими coding-агентами с доступом с компьютера и телефона. Поддерживает работу через собственные подписки.
https://github.com/stablyai/orca

Для памяти, контекста и поиска присмотритесь к первым трём. gstack и Orca пригодятся для организации работы, но сами по себе экономию токенов не гарантируют.

DeepSeek V4.1 Flash 1017 теперь можно запустить у себя 🐳

Unsloth сжали модель до 1 бита: вес упал с 508 ГБ до 250 ГБ, почти вдвое. По их оценке, точность при этом сохранилась на уровне около 88,2%.

Для запуска нужно устройство с 128 ГБ+ оперативной памяти. Квантизованные GGUF-файлы уже лежат на Hugging Face, а в гайде от Unsloth расписано, как это всё поднять локально.

В Unsloth называют V4.1 Flash 1017 сильнейшей открытой моделью на сегодня. Это их оценка, независимых замеров рядом нет, так что цифры по точности лучше проверить на своих задачах.

Гайд: https://unsloth.ai/docs/models/deepseek-v4.1-flash

GGUF: https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF

🔬 ИИ на 27 млрд параметров предлагает научные гипотезы, которые совпадают с последующими исследованиями чаще, чем у GPT-6 и Claude Opus 5.

Авторы DiscoveryRSI сравнили гипотезы моделей с работами, опубликованными после даты отсечения обучающих данных. Доля совпадений:

• DiscoveryRSI-27B — 6,3%
• GPT-6 — 2,5%
• Claude Opus 5 — 2,3%.

Система развивает гипотезы, собирает доказательства, предлагает способы проверки и использует результаты предыдущих попыток, чтобы улучшать следующие. У каждой идеи должны быть план исследования, критерии проверки и альтернативные объяснения.

Совпадение с публикацией ещё не означает доказанное открытие. Но это интересная проверка того, способен ли ИИ предлагать направления, к которым позже приходят исследователи.

Модель и код доступны:

📄 https://arxiv.org/abs/2610.23839
💻 https://github.com/Gen-Verse/DiscoveryRSI
🔴 https://foundry-arena.rsi-arena.workers.dev/arena

Виртуальных агентов обсудят на митапе «Русское техно 2» от MWS 23 октября. ⚡ Успейте зарегистрироваться.

В программе доклады и дискуссии по темам:
— Как построить control plane для персональных ИИ-агентов на Kubernetes.
— Как построить агентный производственный процесс в связке с Harness.
— Подходы к управлению командами с ИИ-агентами. Как меняются метпроцессы внутри команды?
— Когда ИИ-агент становится экономически оправданным.

А также участников ждет битва промптов и нетворкинг.

Когда: 23 октября
Формат: офлайн в Москве и онлайн
Зарегистрироваться

🧰 281 AI-инструмент для разработчика - с описаниями на русском

Awesome AI DevTools RU - каталог для тех, кто хочет разобраться, что подключить к своей работе: от помощника в редакторе до агентов, тестирования и локальных моделей.

Что внутри:

• AI-IDE и терминальные агенты - Cursor, Claude Code, Codex, Cline, Aider и другие.
• Код-ревью, тестирование и безопасность.
• MCP, навыки, управление контекстом и оркестрация агентов.
• Локальные модели, LLMOps и контроль расходов.
• Отдельный раздел с российскими сервисами.

У инструментов есть метки: открытый код, бесплатный тариф, локальные модели, свой API-ключ и поддержка MCP.

Помимо каталога - сравнительные таблицы, схемы выбора и готовые стеки под разные задачи. А ещё четыре урока: как выбрать инструмент, запустить модели локально, настроить MCP и разобраться в устройстве кодирующих агентов.

Полезная закладка, когда хочется собрать рабочее окружение с ИИ, а не устанавливать всё подряд.

💻 https://github.com/justxor/awesome-ai-devtools-ru