Анализ данных (Data analysis)
50.2K subscribers
3.19K photos
404 videos
1 file
2.66K links
Data science, наука о данных.

@haarrp - админ

РКН: clck.ru/3FmyAp
Download Telegram
ModelScope добавили в EvalScope режим Agent Evaluation Mode. И это полезный сдвиг: теперь стандартные бенчмарки можно прогонять не только как «вопрос - ответ», а как полноценные агентные сценарии.

GSM8K, AIME, IFEval и SWE-Bench можно превратить в multi-turn задачи одной настройкой в конфиге. Дальше AgentLoop сам гоняет модель по циклу: сгенерировала шаг, вызвала инструмент, получила наблюдение, повторила.

Для оценки агентов это гораздо ближе к реальности. В проде модель редко просто отвечает текстом. Она вызывает функции, пишет код, запускает shell или Python, ошибается, читает вывод, чинит решение и идёт дальше.

В EvalScope теперь можно переключать стратегии: Function Calling, ReAct или SWE-Bench protocol. Можно сохранять полный trace: каждый шаг, ошибку, tool call и наблюдение. Потом всё это воспроизводится в Web Dashboard, что особенно полезно для дебага, а не только для красивой цифры в таблице.

Отдельно завезли безопасный sandbox через Docker и ms-enclave, чтобы shell и Python-инструменты запускались изолированно. Это важно, потому что агентные бенчмарки без sandbox быстро превращаются в рискованный запуск чужого кода.

Самое удобное - старые бенчмарки не надо переписывать. Включаешь Agent Mode в TaskConfig, и обычная проверка превращается в агентный прогон.

Судя по направлению, оценка AI-систем постепенно уходит от «какая модель умнее на статичном тесте» к более неприятному вопросу: как она ведёт себя в цикле, с инструментами, ошибками, ограничениями и реальным состоянием среды.

Вот это уже ближе к тому, что потом ломается в проде.

https://github.com/modelscope/evalscope
👍74🥰4🔥1🙏1
⚡️ Machine Learning Roadmap 2026: большая карта входа в ML без сказок про “нейросети за месяц

Большой русскоязычный roadmap по машинному обучению: от первого import numpy до LLM, RAG, fine-tuning, AI-агентов и MLOps и даже вабкодинга.

Внутри нормальная структура: что учить, в каком порядке, зачем это нужно и что должно получиться на практике после каждого этапа.

Roadmap разбит на 7 треков:

1. Фундамент: Python, математика, статистика, инструменты
2. Классический ML: scikit-learn, табличные данные, метрики, валидация
3. Deep Learning: PyTorch, CNN, RNN, training loop
4. LLM и трансформеры: attention, KV-cache, RAG, LoRA, агенты
5. Generative AI: изображения, видео, аудио, мультимодальность
6. MLOps и прод: Docker, Kubernetes, CI/CD, monitoring, serving
7. Специализация: CV, NLP, RecSys, RL, Safety

Roadmap не продаёт иллюзию “обучил модель - стал ML-инженером”.

В реальной работе много времени уходит на данные, метрики, деплой, мониторинг, воспроизводимость и разбор ошибок. Модель - только часть системы.

Хорошая мысль из roadmap: LLM не делает джуна сеньором. Она ускоряет того, кто уже понимает базу. Без базы человек просто становится оператором Copilot, который не может объяснить, почему всё сломалось.

По времени тоже без сказок:

1. 0-3 месяца: математика, классический ML
2. 3-6 месяцев: Deep Learning и PyTorch
3. 6-12 месяцев: LLM, RAG, fine-tuning, AI-агенты
4. 12+ месяцев: MLOps, прод, масштабирование, специализация

Тут же собрано 7 болших бесплатных курсов по машинному обучению, математике и вайбкодингу!

Если давно хотели зайти в ML системно, а не прыгать между роликами про ChatGPT, Stable Diffusion и “топ-10 библиотек”, это хороший ориентир.

https://github.com/justxor/MachineLearningRoadmap
Please open Telegram to view this post
VIEW IN TELEGRAM
17👍9🔥5❤‍🔥3
Anthropic выкатили первый апдейт по Project Glasswing и цифры там уже выглядят как начало нового этапа в кибербезе.

Claude Mythos Preview вместе с партнёрами нашёл больше 10 тысяч high и critical уязвимостей в системах, на которых держится интернет. У одного только Cloudflare модель накопала около 2000 багов, из них 400 критических. Mozilla за месяц закрыла 271 уязвимость в Firefox. Некоторые дыры сидели в коде больше 15 лет.

Anthropic прямо пишет, что поиск уязвимостей перестал быть узким местом. Теперь всё упирается в людей, которые должны успевать проверять отчёты, делать disclosure и выпускать патчи. Несколько maintainers open-source проектов уже попросили снизить поток репортов, потому что команды не справляются.

Отдельно впечатляет качество находок. Независимые исследователи подтвердили 90.6% true positive среди проверенных high/critical багов в open-source проектах. Для security tooling это уже не “интересный эксперимент”, а рабочий инструмент уровня топовых ресерчеров.

Anthropic при этом всё ещё не готова выпускать Mythos в паблик. Они прямо говорят, что индустрия пока не умеет контролировать модели такого уровня и не знает, как предотвращать их злоупотребление. Поэтому доступ пока только у ограниченного круга компаний и госструктур.

AI уже научился искать баги быстрее, чем индустрия успевает их чинить.

https://www.anthropic.com/research/glasswing-initial-update
25🔥9👍7🤣4
✔️ В Claude Code закрыли уязвимость, позволявшую красть токены разработчиков

Anthropic пропатчила уязвимость в песочнице Claude Code. Баг позволял извлекать токены и исходный код разработчиков через инъекцию нулевого байта в SOCKS5.

Внутренний фильтр считал строку с нулевым символом безопасной, после чего операционная система обрезала текст по байту и подключалась к заблокированному хосту. В связке с промпт-инъекцией через анализируемые моделью файлы механизм давал возможность выполнять код и отправлять данные на сторонние серверы.

Уязвимость присутствовала в релизах до версии 2.1.89. Патч вышел в сборке 2.1.90 без упоминания в чейнджлоге и регистрации CVE. По заявлению Anthropic, разработчики обнаружили и закрыли баг внутренними силами до публикации отчета исследователей.

https://www.theregister.com/security/2026/05/20/even-claude-agrees-hole-in-its-sandbox-was-real-and-dangerous/5243662
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍8🔥1
⚡️ В LLMs-from-scratch добавили реализацию DeepSeek Sparse Attention с нуля.

Это тот редкий случай, когда сложную архитектурную идею можно открыть не в виде сухой формулы из статьи, а в виде понятного кода, где видно, как именно модель выбирает, на какие токены смотреть.

Проблема обычного attention хорошо знакома всем, кто работал с длинным контекстом: чем больше последовательность, тем дороже становится вычисление. Каждый токен сравнивается со всеми предыдущими, и цена быстро улетает в квадрат. Sparse attention пытается убрать лишнюю работу без полного отказа от качества.

В реализации показан базовый механизм DSA: лёгкий индексатор оценивает важность прошлых токенов, затем выбираются top-K позиций, остальные маскируются, и attention считается только по релевантным участкам контекста. По сути, модель получает не весь контекст подряд, а отфильтрованное поле внимания.

В примере есть GPT-style модель, слой attention с DSA, optional KV cache, отдельный runnable-скрипт и тесты. Это не production-код уровня DeepSeek V3.2 с fused kernels, MLA и серверными оптимизациями. Зато это хороший учебный разбор, где архитектурная идея превращается в читаемую реализацию.

Sparse attention здесь разобрать пройти руками: от scoring до маскирования и выбора токенов.

https://github.com/rasbt/LLMs-from-scratch/tree/main/ch04/09_dsa
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥118👍7❤‍🔥3
Anthropic, кажется, снова спалилась раньше времени.

В интерфейсе Claude на короткое время засветилась модель claude-mythos-1-preview, а в коде нашли новые строки с упоминанием Mythos и фразой про «Access to the Claude Mythos».

По данным TestingCatalog, модель готовят к выпуску в Claude Code и Claude Security, то есть профиль явно кодерско-безопасностный.

Параллельно OpenAI выкатывает GPT-5.5-Cyber, но делает это тихо, через Trusted Access для верифицированных специалистов по защите.

То есть две компании идут в одну и ту же нишу (кибербез и автономный код), но с разной стилистикой: одни через закрытую программу для red/blue team, другие через утечку в проде и закончившиеся мощности сразу после показа.

Если Mythos действительно метит в Claude Code и Security, ждём заметного скачка по агентным сценариям: длинные цепочки рассуждений на кодовой базе, аудит, поиск уязвимостей, работа в репозиториях без постоянного присмотра человека. Под это же стыкуется и осторожность с релизом, у моделей такого уровня офенсивный потенциал растёт быстрее, чем хочется показывать в публичном API.

https://x.com/Machinelearrn/status/2058446877813510325
🔥177🥱4👍2
🔥 Полное внимание возвращается: 9× ускорение префилла на 1M токенов

Alibaba и Нанкинский университет показали метод RTPurbo. На контексте в миллион токенов префилл ускоряется до 9,36× относительно FlashAttention-2, декодинг - примерно вдвое. Качество на длинных бенчмарках остаётся близким к full attention, а адаптация лёгкая: переобучать модель с нуля не нужно.

Идея в том, что внутри уже обученной модели с full attention есть скрытая разреженность. Не все attention heads реально ходят за дальними токенами. Большинство работает локально, а за retrieval из далёкого контекста отвечает только небольшая часть голов.

RTPurbo считает полное внимание только для этих retrieval-голов. Остальным хватает соседнего окна.

Для поиска нужных токенов используется дешёвый 16-мерный индексатор. Он не заменяет настоящее внимание, а работает как разведчик: быстро отбирает кандидатов из прошлого контекста, после чего честное внимание считается уже на маленьком наборе токенов в полной размерности.

Длинный контекст стоит дорого не потому, что вся история одинаково важна, а потому что мы часто считаем внимание там, где оно почти ничего не меняет.

RTPurbo показывает, что значительную часть вычислений можно срезать инженерно, без полного переобучения модели и без заметной потери качества.

В full attention много лишней работы, и её можно убирать гораздо аккуратнее, чем просто резать контекст или надеяться на магию sparse attention.

arxiv.org/abs/2605.16928v1
15🔥8👍6🥴1
Системный аналитик помогает бизнесу и разработке говорить на одном языке: разбирает задачи компании, описывает требования, проектирует IT-решения и следит, чтобы система работала на реальные цели бизнеса.

Онлайн-магистратура СПбГУ и Нетологии «Системный анализ и интеллектуальные системы управления бизнес-процессами» готовит специалистов на стыке IT и управления.

В программе сочетаются академическая база СПбГУ и прикладные инструменты Нетологии. Студенты изучают математическое моделирование, алгоритмы, системный анализ, Python, BI-системы, no-code-инструменты, управление проектами и подходы к внедрению искусственного интеллекта.

Такой набор навыков помогает работать со сложными бизнес-процессами: находить узкие места, снижать риски при разработке, формулировать требования к системам и сопровождать внедрение IT-решений.

Обучение проходит полностью онлайн. После выпуска вы получаете диплом магистра СПбГУ очного образца по направлению «Прикладная информатика».

Подробнее о программе

Реклама. ООО “Нетология” ОГРН 1207700135884 Erid: 2VSb5xczaJE
2🔥2👍1
Huawei планирует создать эквивалент 1,4-нм чипов к 2031 году, несмотря на американские санкции

Концепцию развития технологии под названием «закон масштабирования Tau» представил президент полупроводникового подразделения компании Хэ Тинбо.

Её суть заключается в сокращении времени, за которое данные проходят через систему, поскольку, как считают в Huawei, больше нельзя полагаться только на уменьшение размеров транзисторов.

Технология позволит достигнуть желаемой мощности в обход американцев, которые ограничили для китайцев доступ к технологиям, необходимым для создания полупроводников.

Чипы Kirin, в которых будет использоваться родственная архитектура LogicFolding, выйдут уже осенью. В компании заявили, что на основе этой концепции уже выпустили 381 микросхему.
👍18🔥62🌚2🥴1
25🤣20💯14🔥3
Офер в Яндекс за выходные: 6–7 июня

Если вы продуктовый, дата-аналитик или датасаентист с опытом на Python от 3 лет, участвуйте в Weekend Offer Analytics*.

Как всё устроено:

🔵 до 27 мая — регистрация;

🔵 6 июня — две технические секции, вместо трёх в обычном найме;

🔵 7 июня — знакомство с командами и офер.

В мероприятии участвуют команды: R&D, Автономный транспорт, Алиса и Умные устройства, Поиск и Суперапп, Независимый Ecom и другие. Вы сможете пообщаться с нанимающими менеджерами и выбрать проект, который покажется самым интересным.

Все подробности и полезные ссылкина сайте. После регистрации с вами свяжется рекрутер и договорится об удобном времени для интервью.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣5🐳32
🔥 Huawei хочет обойти санкции не нанометрами, а задержками в чипе

Huawei представила Tau Scaling Law - подход, который должен ускорять чипы не только за счёт уменьшения транзисторов, а за счёт сокращения времени прохождения сигнала внутри схемы.

Идея простая: если нельзя быстро догнать TSMC и Intel по литографии, нужно выжимать больше из архитектуры, трассировки, памяти, interconnect и софта. Меньше лишнего пути для сигнала - меньше задержка, выше плотность и эффективность.

Ключевая техника называется LogicFolding. Связанные логические блоки размещают ближе друг к другу, укорачивают критические провода, снижают сопротивление и паразитную ёмкость. Это даёт прирост без полноценного скачка на новый техпроцесс.

Huawei утверждает, что за последние шесть лет уже спроектировала и массово выпустила 381 чип с этим подходом, а будущие Kirin осенью 2026 года станут первым крупным тестом LogicFolding.

Самая громкая заявка - к 2031 году выйти на плотность уровня 14Å, то есть примерно 1,4 нм, без прямой зависимости от классического shrink.

Звучит амбициозно, но контекст важен: после санкций Huawei фактически вынуждена искать обходные инженерные пути. Если доступ к лучшей литографии ограничен, приходится оптимизировать всё остальное - от транзистора и схемы до системной шины и планировщика.

Это не отменяет физику и не делает Huawei новым TSMC завтра. Но показывает, куда может сдвинуться гонка чипов: не только «у кого меньше нанометры», а «кто лучше сокращает задержки по всему стеку».

huawei.com/en/news/2026/5/ieee-iscas-tau-scaling
👍16🥱42🤔2🥴2😁1
🌟 Интуитивные голосовые интерфейсы с Moonshine Voice

Moonshine Voice — это открытый инструмент для разработчиков, позволяющий создавать голосовые приложения в реальном времени. Все работает на устройстве, обеспечивая высокую скорость и конфиденциальность без необходимости в учетных записях или API-ключах. Поддерживает множество языков и предлагает высокую точность распознавания речи.

🚀 Основные моменты:
- Оптимизирован для приложений с низкой задержкой.
- Поддержка множества платформ: от Python до IoT-устройств.
- Простые в использовании API для транскрипции и синтеза речи.
- Высокая точность моделей, превосходящая Whisper Large V3.
- Многоязычная поддержка для STT и TTS.

📌 GitHub: https://github.com/moonshine-ai/moonshine

#python
6👍3🔥2
Anthropic впервые обошла OpenAI по внедрению в бизнесе: 34,4% против 32,3%, согласно последнему AI Index от Ramp.

Но забавно, что тот же отчёт, который объявляет об этом лидерстве, большую часть текста объясняет, почему оно, вероятно, долго не продержится. Uber уже полностью израсходовал свой AI-бюджет на 2026 год. А недавнее обновление модели утроило стоимость любого промпта, где есть изображение.

Тем временем самые быстрорастущие AI-вендоры на платформе Ramp сейчас - это inference-платформы, которые продают доступ к дешёвым open-source моделям.

Anthropic выигрывает гонку внедрения ровно в тот момент, когда её продукт становится дороже в использовании. И вот это, честно говоря, самая интересная часть всей истории.
😁154👍4🔥3
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Спецслужбы США получат $9 млрд на чипы и доступ к модели Mythos

Белый дом одобрил выделение $9 млрд АНБ и ЦРУ на закупку ускорителей Nvidia Grace Blackwell. Цель - создание изолированной ИИ-инфраструктуры.

Спецслужбы закупят в обход Пентагона невыпущенную модель Mythos от Anthropic. Технические требования Mythos позволяют развернуть ее на серверах предыдущего поколения, пока строятся новые дата-центры.

Ранее Минобороны США настаивало на праве использовать алгоритмы для любых законных целей, против чего выступала Anthropic. В итоговом контракте этот пункт убрали. Вместо него прописан прямой запрет применять Mythos для анализа данных и слежки за гражданами США.

Ожидается, что документ станет юридическим шаблоном для будущих контрактов со всеми ИИ-разработчиками.
nytimes.com

✔️ OpenAI открыла вакансию исследователя рисков автономного ИИ

Команда Preparedness в OpenAI открыла вакансию исследователя рисков автономного развития ИИ с зарплатой $445 000.

В задачи специалиста войдет разработка инструментов интерпретируемости, защита от отравления данных и внедрение метрик для оценки скорости автоматизации труда инженеров.

По планам Сэма Альтмана, к сентябрю 2026 года компания запустит автоматизированного ИИ-стажера для исследований. Появление полностью автономных R&D-систем прогнозируется к 2028 году.
businessinsider.com

✔️ В преддверии WWDC Apple зарегистрировала портал Genai

Apple добавила поддомен genai.apple.com на свои DNS-серверы. Страница пока недоступна, назначение этого портала неизвестно.

Ожидается, что 8 июня на WWDC 2026 компания представит iOS 27, iPadOS 27 и macOS 27. В новых версиях Siri получит интерфейс чат-бота и функцию распознавания экранного контекста.

Apple Intelligence расширит функциональность базовых сервисов. Voice Control начнет распознавать команды на естественном языке без жестких шаблонов. Алгоритмы Visual Intelligence смогут напрямую парсить данные с визиток или сканировать состав продуктов, а Safari получит автогенерацию названий для групп вкладок.

Также заявлена поддержка создания быстрых команд с помощью ИИ и генерация автоматических субтитров для видео.
macrumors.com

✔️ Релиз Grok V9-Medium ожидается через 2-3 недели

xAI завершила претрейн модели Grok V9-Medium на 1.5T параметров. Публичный релиз ожидается через две-три недели.

Сейчас команда проводит файн-тюнинг, после чего перейдёт к этапу RL. По словам Илона Маска, первые внутренние тесты показали положительные результаты.

На этапе дополнительного обучения разработчики задействовали массив данных от редактора Cursor. xAI рассчитывает, что это улучшит показатели модели в кодинге по сравнению с предыдущей версией v8-small.
Elon Musk в сети Х

✔️ Команда LeRobot выпустила чертежи и ПО для сборки двуногого робота

LeRobot (подразделение Hugging Face) выпустила open-source проект двуногого робота. Детали корпуса печатаются на 3D-принтере, стоимость сборки со стандартными приводами составляет около $2500.

В релиз вошли инструменты симуляции, алгоритмы калибровки, sim-to-real пайплайны и базовые модели обучения ходьбе. Пока для сборки доступна только нижняя часть платформы. Интеграция плечевого пояса и обучение моторике всего тела заявлены в дорожной карте.

Использование 3D-печати позволяет самостоятельно перепечатывать сломанные детали и не прерывать исследования локомоции на время ожидания запчастей.
huggingface.co

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2
10 GitHub-репозиториев, чтобы собрать AI-агентов, которые будут отправлять pull request, пока вы спите.

Сохраняйте список, пока менеджер не узнал.

1. OpenHands

74K stars. Раньше проект назывался OpenDevin. Автономный coding agent, который читает GitHub issues, пишет фикс, открывает PR и ждёт ревью. Заявляют 77% на SWE-bench Verified.

Repo: https://github.com/All-Hands-AI/OpenHands

2. SWE-agent

Проект от Princeton и Stanford для автономного решения реальных GitHub issues. Подключаете к репозиторию - просыпаетесь с исправленными багами.

Repo: https://github.com/princeton-nlp/SWE-agent

3. Aider

Git-aware CLI-агент, который работает прямо с вашим репозиторием: делает чистые коммиты, стейджит diff, пишет commit messages и помогает мержить изменения.

Repo: https://github.com/paul-gauthier/aider

4. Cline

VS Code-агент для автономной разработки фич. Читает кодовую базу, редактирует файлы, запускает тесты и может работать через ваш API key.

Repo: https://github.com/cline/cline

5. claude-task-master

Оркестрация задач для multi-agent workflow. Один промпт превращается в набор задач для нескольких специализированных агентов, которые вместе тащат фичу.

Repo: https://github.com/eyaltoledano/claude-task-master

6. LangGraph

Оркестрационный слой для production AI-систем: состояние, устойчивое выполнение, наблюдаемость и контроль сложных agentic workflows.

Repo: https://github.com/langchain-ai/langgraph

7. CrewAI

Фреймворк для multi-agent workflows, где агенты делят роли, задачи и вместе выполняют работу по пайплайну.

Repo: https://github.com/crewAIInc/crewAI

8. awesome-mcp-servers

Каталог MCP-серверов, через которые агент может подключаться к инструментам: GitHub, Slack, Linear, Stripe, Postgres, Notion и другим сервисам.

Repo: https://github.com/punkpeye/awesome-mcp-servers

9. Browser Use

92K stars. Браузерная автоматизация через vision + DOM. Агент может ходить по сайтам, заполнять формы, собирать данные и возвращать результат.

Repo: https://github.com/browser-use/browser-use

10. n8n

Слой триггеров и автоматизации. Можно связать агента с GitHub webhooks, Slack-сообщениями, календарём, cron-задачами и внешними API. Можно self-host на дешёвом сервере.

Repo: https://github.com/n8n-io/n8n

Все эти инструменты бесплатные и open source. Они не спят, не выгорают и не ждут, пока кто-то вручную разложит задачу по полочкам.
😁95👍3🔥3