Data Secrets
88.2K subscribers
6.6K photos
695 videos
20 files
2.86K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
На t-sync инженеры обсудили как сделать данные управляемыми по модели SRE. В Т-Технологиях называли это DRE - Data Relibility Engineering.

В рамках инженерного контура Data T-Технологии показали как удалось внутри крупного бизнеса с террабайтами данных сделать данные SRE-продуктом с прозрачной ответственностью и измеримостью.

Когда речь идет о данных обычно акцентируют внимание на lakehouse, AI и ускорении пайплайнов. В T Data Platform инженеры формализовали критичность данных (BC+, BC и т.д.), задали SLO, допустимый простой и время реакции. Через Data Contracts c более 9000 контрактов и DQ Tools, которые реализуют свыше 34 000 проверок, считается кумулятивная критичность по data-графу, есть контракт с бизнесом на качество и актуальность. Инцидент теперь — не просто "упала таблица", а нарушение бизнес-ожидания, с возможностью эскалации до уровня data-продукта. Цена падения — не просто ошибка в DAG. Это потеря доверия, срыв SLA бизнеса, финансовые и репутационные риски. DRE позволяет считать и минимизировать эту цену.
Data Incident Management обеспечивает оповещения, прозрачность и аналитику по 985 дата-процессам от 38 бизнес-линий внутри Т-Технологий.

T Data Platform за 18 лет эволюционировала от ETL в полноценный продукт: Sources, Storage (LakeHouse на Spark/Trino+S3), Governance с observability. Подробный разбор как устроена T Data Platform
131👍11🗿9🔥6😁2🤯2
This media is not supported in your browser
VIEW IN TELEGRAM
Google представили Lyria 3 для генерации музыки

Самое интересное в модельке, – пожалуй, то, что она мультимодальная. Трек можно создать не только по промпту, но и из фото или видео.

То есть вы можете просто молча (или вместе с текстом) загрузить изображение или видео, и сгенерируется музыка, подходящая по атмосфере и смыслу.

Попробовать уже можно в Gemini app и на десктоп, скоро раскатят на всех. Длина треков – до 30 секунд.

Короче, новой волне ИИ-слопа – быть. Хотя, Google пишут, что каждая композиция генерируется с невидимым водяным знаком. Может это хоть немного спасет стриминги от «музыкантов».
9735👍12🤯8🤨5🔥3😁3
Яндекс Карты стали умнее за счет новой ML-модели ранжирования

Задача навигации – не только построить маршрут, но и выбрать, какой из нескольких разумных вариантов путей между А и Б показать пользователю первым. Раньше это работало просто по времени пути: кто быстрее, тот и выше.

Но те, кто передвигаются на машине, знают: самый быстрый маршрут – далеко не всегда самый логичный и удобный.

Так что теперь ранжирование в Картах устроено иначе. ML-модель учитывает не только время, но и то, по каким маршрутам водители доезжают до конца, а с каких сходят. Вот как это работает:

Каждый маршрут описывается вектором признаков (время, исторические данные о поведении пользователей на его участках, количество поворотов и тд);

По этим признакам модель выдает каждому маршруту скор, который отражает вероятность того, что пользователь успешно доедет по нему до конца;

В выдаче маршруты теперь сортируются не просто по времени, а именно по этому скору.

В итоге теперь первый маршрут на экране – тот, который действительно бы выбрал опытный водитель, и по которому вы вероятнее всего проедете от начала до конца. Подробности — на Хабре.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥142👍33🗿2516😁776🤔4👨‍💻1
OpenAI завершила первые коммитменты по новому мега-раунду финансирования

Ожидается, что в общей сложности компания получит 100 миллиардов долларов и по итогам раунда будет оцениваться примерно в $830 млрд.

Эта сделка станет крупнейшей в истории частного финансирования. При этом, напоминаем: OpenAI все еще зарабатывает ровным счетом 0 долларов в год и уходит в огромный убыток. Доходы превысят расходы компании только к 2029, и то – может быть.

Среди главных инвесторов – SoftBank, Nvidia, Amazon и Microsoft. Обратите внимание, что деньги (как это принято в ИИ-пузыре) в основном вернутся этим же компаниям, потому что OpenAI собирается закупать мощности именно у них.
55🤔3126🔥15👍6😁5🤯4🦄1
This media is not supported in your browser
VIEW IN TELEGRAM
Мем дня: Сэм Альтман и Дарио Амодеи отказались держаться за руки

Во время AI саммита в Дели премьер-министр Индии затеял так называемый Unity Raise: довольно распространенная «церемония», когда участники берутся за руки, поднимают их вверх и как бы демонстрируют солидарность.

За руки взялись все до одного, кроме… Сэма и Дарио, которые случайно оказались рядом.

Напоминаем, что раньше эти двое работали вместе и Дарио занимал пост вице-президента по исследованиям в OpenAI. Но из-за разногласий с руководством в 2020 году он покинул стартап и основал Anthropic. С тех пор они с Альтманом – прямые конкуренты, а окончательно отношения с Сэмом разладились, вероятно, после той самой рекламы про рекламу на Super Bowl
Please open Telegram to view this post
VIEW IN TELEGRAM
😁39548🏆15🤗10106🤯3😎3🦄2
Когда поставили на один проект с тем самым коллегой
😁45241💯209🫡31🔥1
Большой обзор того, как сегодня обучают фронтирные LLMы

djdumpling.github.io/2026/01/31/frontier_training.html

Вышел свежий материал от инженера из Prime Intellect (писали о них много раз). Автор берет несколько открытых или условно открытых проектов – вроде SmolLM3, Intellect 3, Kimi K2, DeepSeek‑R1, gpt‑oss‑120b и Hermes 4 – и на их примере проходит по всему жизненному циклу моделей.

Текст абсолютно не похож на блоги компаний и тех.репорты, а скорее представляет из себя очень плотную дистилляцию реальной практики.

Внутри есть как и база в оригинальной ультра-практической обработке:
– Сбор и очистка данных
– Как именно выглядит претрен, mid‑training и post‑training
– Как выбирают архитектуру, гиперпараметры и токенизаторы

... так и то, о чем на самом деле мало где пишут:
– Схемы безопасности, и где они ломаются
– Где компании экономят компьют, а где, наоборот, жгут его ради качественных сдвигов
– Как заводится RL и как добиться стабильности обучения в целом

Если вы в теме – это мастрид.

* Ссылку на отчет увидели у коллеги с канала @lovedeathtransformers
79🔥26👍16😁1🤯1👌1🗿1
Google выпустили Gemini 3.1 Pro

Обновленную модельку очень прилично качнули на кодинге, ризонинге и агентных задачках. Сравните:

– 77.1% на ARC-AGI-2 вместо 31.1 у Gemini 3
– 80.6% на SWE Verified против 76.2
– на BrowseComp (агентный поиск) выбили аж 85.9 вместо ранних 59.2 (ждем мега мощный Deep Research на базе этой модели)

Теперь Gemini снова полноценный игрок на кодинг-арене, это радует.

Пока моделька доступна в превью через Gemini API, Gemini app и в AI Studio (бесплатно тоже). Пробуем-пробуем-пробуем 🔥

blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-pro/
Please open Telegram to view this post
VIEW IN TELEGRAM
2132👍32🤯27🔥135👏3🦄3❤‍🔥1
Каждый день в 2026 такой типа
😁430💯10028🔥102
Есть здесь те, кто поступает в этом году в ШАД?

С каждым годом конкуренция туда все выше, и это значит, что готовиться нужно усерднее.

В этом году счет идет уже на месяцы, экзамены стартуют совсем скоро. Если хотите повысить свои шансы – этот пост для вас.

23 февраля у Shad Helper стартует интенсивный курс подготовки. Они готовят студентов к ШАДу и ML-магистратурам уже 6 лет, а ведут у них преподаватели из МГУ, МФТИ и ВШЭ.

Курс отлично вам подойдет, если вы учились на тех.специальности и изучали вышмат раньше, а сейчас нужно освежить и углубить знания. Также курс подойдет тем, кто уже пробовал поступать в ШАД, но не прошел.

Будет очень много практики и пробников. Курс заканчивается прямо перед экзаменами в ШАД 2026, чтобы вы подошли к ним в лучшей форме.

Смотрите программу и регистрируйтесь на курс вот здесь. Для наших подписчиков действует скидка 30% на первоначальный взнос: промокод DS30.

А 24 февраля у ребят будет бесплатный вебинар. Обязательно сходите:

На нем объяснят, какие подводные камни есть при подготовке и ответят на любые вопросы по поступлению в ШАД.
Также на встрече будут
выпускники интенсивного курса прошлых лет, которые поделятся опытом поступления.

Реклама. ООО "Школа Высшей Математики", ИНН 9728100991, erid 2VtzqwdxNi8
Please open Telegram to view this post
VIEW IN TELEGRAM
🤨6516👍10🤯10🗿8❤‍🔥4😁4🔥3
СММ-щик официального аккаунта ChatGPT в твиттере определенно заслуживает уважения
2😁4444018🔥97🫡6👍3💘1
В Microsoft придумали технологию хранения данных в стекле

Она основана на лазерной записи информации в виде трехмерных пикселей – вокселей – внутри прозрачного стекла. Идея не то чтобы совсем новая, но Microsoft первыми предложили полноценную end-to-end систему записи, хранения и считывания.

Для записи используется фемтосекундный лазер. Он испускает коротенькие импульсы и меняет структуру стекла, причем так, что среда в целом не страдает, а изменения видны только через оптику.

Прочитать данные можно с помощью микроскопа. Правда, на практике возникает нюанс: шумные световые сигналы. Так что для минимизации ошибок авторы предлагают использовать сверточные нейросетки.

В чем фишка такого хранения?

Во-первых, стекло может выдерживать экстремальные условия. Тесты показали, что таким образом данные можно хранить до 10 тысяч лет (!!!), тогда как обычные носители обычно выдерживают без обслуживания максимум 40-50 лет.

Во-вторых, плотность записи довольно презентабельная: ~4.8 ТБ на диск ~12 см². Не рекордные цифры, но вполне сопоставимо с современными средами хранения.

В-третьих, энергоэффективность: хранение, считай, получается бесплатным.

В общем, занятно. Статья в Nature: www.nature.com/articles/s41586-025-10042-w
176🔥73👍44😁7
Wake Up, Anthropic опять встряхнули рынок

1️⃣ Стартап выпустил Claude Code Security. Это агент, который умеет находить в больших кодовых базах сложные контекстные уязвимости. Он сканирует весь репозиторий и все изменения, выводит уязвимости в отдельный дашборд и сразу предлагает патчи для ревью.

От обычных SAST инструментов это отличается тем, что агент ориентируется не на готовые правила и паттерны, а буквально ризонит сквозь репозиторий с многошаговыми самопроверками, как это делал бы живой исследователь.

Anthropic пишут, что с помощью инстурмента им удалось найти более 500 уязвимостей в продовых опенсорс‑проектах, причем часть жила там десятилетиями и прошла через множество ревью.

2️⃣ Существенно прокачали Claude Code Desktop. Добавили Server Previews: агент сам запускает сервер и показывает превью приложения прямо в интерфейсе.

Кроме того, теперь Claude сам ловит и фиксит ошибки в console logs без вмешательства человека, и делает полное ревью перед пушем. И даже после создания PR агент продолжает его мониторить и при необходимости дочищать. Можно настроить auto‑merge (см скрин).

Выглядит прямо как неплохой автопилот, но будьте аккуратны: он может жрать очень много токенов.

* Оба обновления пока в превью. Подать заявку на доступ к CCS можно здесь, остальное доступно в Claude Code Desktop.
Please open Telegram to view this post
VIEW IN TELEGRAM
163👍61🔥38😁5🤨1👨‍💻1
Google тихо порезали доступ к подписке через OpenClaw

Прошло меньше недели со дня, когда OpenAI купили OpenClaw, и конкуренты уже реагируют вот такими жесткими мерами.

Суть в том, что если вы подключали Google Antigravity / Gemini / Ultra к OpenClaw по OAuth, то ваш аккаунт, скорее всего, или уже забанили, или скоро забанят. Причем без предупреждения.

Причина: нарушение ToS посредством использования токенов в стороннем продукте. Хотя, по факту, OpenClaw – просто прокси, то есть прослойка, инициирующая запросы в сам сервис.

Создатель OpenClaw назвал поведение Google «драконовским» и предупредил, что, скорее всего, удалит из сервиса поддержку Antigravity.

Никто не хочет держаться за ручки с Альтманом даже виртуально…
😁225🤯37👍201616🤨10🔥3🫡3👾3
Как AI изменил разработку и как управлять этими изменениями

За последний год случился серьезный прорыв в том, что ИИ может дать командам разработки. Мы начинали 25-ый горсткой энтузиастов с простым чатом и автокомплитом в Cursor, а 26-ой начинаем с командами агентов, которые начал внедрять даже энтерпрайз.

Может ли AI ускорять команды – уже не вопрос. Вопрос в том, как это организовать и этим управлять – ведь у отдельных команд еще не накопилось достаточно часов опыта и проверенных практик.

Более сложная задача – отфильтровать шум, когда все хотят прокатиться на хайп трейне. В таком ситуации стоит слушать только тех, кто уже сам провел эксперименты и сделал личные выводы.

Потому Стратоплан и Entropy Talk собрали известных экспертов с реальным опытом: Head of AI и СТО крупных банков, фаундер стартапов с оценкой в десятки $m, инвестор в ИИ-стартапы с чеками 1-10M $, ex-CТО Pure, VP of Product в Jetbrains

Для кого: senior engineers, тех- и тим-лидов, СТО и фаундеров

Участие – бесплатно, но есть и платное (предоставляем сертификат)

[ Регистрация ]
50👍29😁15🗿10🔥7👏6🤯211
Проект Stargate, кажется, понемногу распадается

Да, речь про тот самый Stargate, который год назад так амбициозно стартовал как манхэттенский проект для ИИ.

Несмотря на громкие анонсы (100 миллиардов сразу и до 500 дальше), инвесторы так и не обеспечили поток капитала. Сейчас продолжают идти затяжные переговоры, но ни одной официальной сделки (как и пол года назад) так и не заключено.

The Information и Wired пишут о разногласиях между партнерами. Более того, OpenAI, кажется, вообще раздумали строить собственные датацентры и фокусируются на облачных партнерствах.

Твит Маска годовой давности, что называется, интересно состарился ⬆️
Please open Telegram to view this post
VIEW IN TELEGRAM
😁171561610🤯7👍5🔥3
OpenClaw удалил более 200 писем сотрудницы из Meta*

И все бы ничего, но это была… глава отдела AI Safety & Alignment.

Ирония судьбы во всей красе: она тестировала агента для управления почтой и несколько недель настраивала процесс в тестовой среде (все прям как положено).

Но как только агент перешел на реальный Gmail, то вдруг сошел с ума и начал без разбора удалять письма одно за другим. Напрямую из чата процесс остановить не удалось, поэтому разработчице пришлось бежать прямо к MacMini и буквально вырывать агента из розетки.

Элаймент, так сказать, не удался

Позже агент извинился и признал ошибку. Ведь с кем не бывает, правда? 😇
Please open Telegram to view this post
VIEW IN TELEGRAM
3😁607993430👍8🤯7💯7🔥3👏2🤝2🆒2
OpenAI отменили SWE-bench Verified – главный современный бенчмарк по кодингу

Они выпустили целое исследование, основная мысль которого: SWE-bench Verified (который сделали, кстати, сами OpenAI в 2024) больше не измеряет реальные способности моделей в разработке, и пользоваться им не стоит.

Кстати, это выглядит как косвенный выпад в сторону Anthropic. Они там до сих пор делают ставку на SWE Verified, а OpenAI фактически приходят и заявляют, что этот бенч сломан и результаты на нем мало что значат. На фоне последних событий это вряд ли случайность 💀

В чем, собственно, проблема SWE-bench Verified:

1️⃣ Тесты часто отбрасывают корректные решения. OpenAI сделали ручной аудит сложных задач и выяснили, что в 59.4% этих задач есть проблемы тест-дизайна/описания, из-за которых задачу становится крайне трудно или вообще невозможно решить честно, даже человеку.

Например, тесты требуют конкретных деталей реализации, которые не обязательны для функционально верного решения. Или тесты проверяют дополнительную функциональность, которая не описана в задаче. В таких случаях эвал, очевидно, становится некорректным.

2️⃣ Классический contamination, то есть утечка задач в трейн моделей. Бенчмарк собран из опенсорс репозиториев, так что этого стоило ожидать. OpenAI пишут, что нашли признаки contamination у всех фронтирных моделей, которые они тестировали.

В частности, выяснилось, что GPT-5.2, Claude Opus 4.5 и Gemini 3 Flash Preview знают не только точный gold patch для решения, но и воспроизводят точные пути к файлам, цитируют комментарии из диффа или просто по ID могут вспомнить формулировку задачи.

Итого вывод OpenAI следующий: тесты часто неправильно устроены, так что нерешаемый хвост бенчмарка – это шум, сражаться за который не стоит. А если процент и растет, то это в основном узнавание, а не рост реальных навыков.

Вместо SWE-bench Verified они теперь советуют SWE-bench Pro (у него тоже все не идеально, но по их данным contamination там заметно слабее, и ни одна модель не смогла воспроизвести полный gold patch дословно). Фишка, правда, в том, что SWE-bench Pro открыт только частично, и чтобы получить на нем официальный результат, нужно проходить через организаторов. То есть, через OpenAI 🙂

openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
Please open Telegram to view this post
VIEW IN TELEGRAM
😁17039🔥22👍16142🤔2🤯2🗿2🤗1
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic публично обвинили несколько крупных китайских стартапов в массовой дистилляции Claude

Провинились DeepSeek, Moonshot AI (создатели Kimi K2) и MiniMax. DeepSeek – в довольно скромных масштабах (примерно 150k запросов), Moonshot – покрупнее (~3.4M), а MiniMax так и вовсе отправили >13M реквестов.

В общих масштабах сообщается, что "украдено" было около 16 млн запросов через ~24 000 фейковых аккаунтов.

У Anthropic подгорело не на шутку, конечно. Они обвиняют компании не только в нарушении ToS, но и в том, что те обходят экспортные ограничения США, а это уже серьезно.

Конечно, Anthropic делают вид, что беспокоятся в первую очередь о безопасности: мол, дистиллированные модели могут унаследовать способности, но не унаследуют защитные механизмы, а значит растет риск международных угроз от ИИ.

Полное расследование здесь: www.anthropic.com/news/detecting-and-preventing-distillation-attacks

А мы китайский опенсорс все равно будем любить...
197😁16330🤯247😎6👍5🔥42💯2
This media is not supported in your browser
VIEW IN TELEGRAM
О, в Claude Code добавили удаленный котроль

Документация

Сессию нельзя запустить прямо с телефона, так что это не совсем OpenClaw (хотя фича определенно им вдохновлена).

Сначала старт на пк -> потом выполняем в терминале claude remote-control -> по ссылке или QR-коду подключаемся с телефона в приложении Claude или в браузере. И тут уже можно мониторить и управлять процессом: дописывать промпты, отслеживать статус и изменения, прерывать и тд, все как в обычном чате.

Пока доступно в research preview для Max, скоро обещают добавить в Pro.
🔥1583125👍7😁32💯1