Вышел Airflow 3.0.0 🥳
Anywhere
Deploy workers to any environment while maintaining security isolation. Remote Execution lets you run tasks exactly where your data resides — optimizing for cost-efficiency, latency, and data sovereignty without sacrificing centralized control.
Any Time
Unlock new use cases with event-driven scheduling by integrating with message systems like Amazon SQS, so you can trigger your DAGs the moment data arrives – not just on a schedule. By removing the uniqueness constraint for logical dates, users can launch parallel inference runs easily, ideal for GenAI and on-demand ML workloads.
Any Language
Unify your data stack under a single orchestrator with multi-language task execution coming in future 3.x releases. Starting with Golang, Airflow 3 eliminates the need for code rewrites or Python wrappers — choose the right language for each task based on your specific requirements.
Anywhere
Deploy workers to any environment while maintaining security isolation. Remote Execution lets you run tasks exactly where your data resides — optimizing for cost-efficiency, latency, and data sovereignty without sacrificing centralized control.
Any Time
Unlock new use cases with event-driven scheduling by integrating with message systems like Amazon SQS, so you can trigger your DAGs the moment data arrives – not just on a schedule. By removing the uniqueness constraint for logical dates, users can launch parallel inference runs easily, ideal for GenAI and on-demand ML workloads.
Any Language
Unify your data stack under a single orchestrator with multi-language task execution coming in future 3.x releases. Starting with Golang, Airflow 3 eliminates the need for code rewrites or Python wrappers — choose the right language for each task based on your specific requirements.
Please open Telegram to view this post
VIEW IN TELEGRAM
Scheduler-driven backfills triggered straight from the UI.
Trigger, monitor, pause, or cancel backfills from the UI or API — no more fragile CLI-based backfills. Large-scale reprocessing jobs run reliably without session timeouts, ensuring consistent performance even for backfills spanning months of historical data.
Trigger, monitor, pause, or cancel backfills from the UI or API — no more fragile CLI-based backfills. Large-scale reprocessing jobs run reliably without session timeouts, ensuring consistent performance even for backfills spanning months of historical data.
Put your data assets at the center of orchestration.
Define data objects directly with the @asset decorator, simplifying pipeline creation while maintaining visibility into your data's journey. Write less boilerplate code, manage dependencies naturally, and align your pipelines with how you actually think about data.
Define data objects directly with the @asset decorator, simplifying pipeline creation while maintaining visibility into your data's journey. Write less boilerplate code, manage dependencies naturally, and align your pipelines with how you actually think about data.
dag-versioning.gif
74 KB
Track every DAG evolution with immutable snapshots tied to each run.
Never wonder which code version produced which outcome - teams can rapidly audit and debug, eliminating confusion and accelerating compliance checks. Troubleshooting now takes minutes instead of hours, giving you clear accountability and pipeline governance that satisfies even the most stringent regulatory requirements.
Never wonder which code version produced which outcome - teams can rapidly audit and debug, eliminating confusion and accelerating compliance checks. Troubleshooting now takes minutes instead of hours, giving you clear accountability and pipeline governance that satisfies even the most stringent regulatory requirements.
light-dark-mode.gif
307.4 KB
Navigate easily with an intuitive, modern UI.
Airflow’s UI has been rebuilt from the ground up, with new navigation and views to access to logs and task details quickly, making the experience ideal for both newcomers and power users. This future-focused redesign also opens the door for advanced React plugins and community-driven customizations in Airflow 3.x.
Airflow’s UI has been rebuilt from the ground up, with new navigation and views to access to logs and task details quickly, making the experience ideal for both newcomers and power users. This future-focused redesign also opens the door for advanced React plugins and community-driven customizations in Airflow 3.x.
Forwarded from Data Secrets
Там Стэнфорд выложили на YouTube свой свежий курс CS336: Language Modeling from Scratch
Это практический курс, в котором вся теория по LLM подается в процессе разработки собственной модели. Получается изучение end-to-end: от обработки данных и архитектуры трансформера до RL и эвала.
Ведет курс опытный профессор университета и сооснователь TogetherAI Перси Лианг.
Ну и главное: курс новый и вся информация актуальна на сегодняшний день. Он даже в самом Стэнфорде еще идет прямо сейчас, так что лекции и код продолжат выкладывать по ходу.
Репозиторий с дз и ноутбуками
Сайт курса
YouTube
Это практический курс, в котором вся теория по LLM подается в процессе разработки собственной модели. Получается изучение end-to-end: от обработки данных и архитектуры трансформера до RL и эвала.
Ведет курс опытный профессор университета и сооснователь TogetherAI Перси Лианг.
Ну и главное: курс новый и вся информация актуальна на сегодняшний день. Он даже в самом Стэнфорде еще идет прямо сейчас, так что лекции и код продолжат выкладывать по ходу.
Репозиторий с дз и ноутбуками
Сайт курса
YouTube
🔥20❤1
Forwarded from Helen
Как построить личный бренд в IT и зачем это нужно?
Центр непрерывного образования ФКН приглашает на вебинар, посвященный роли личного бренда разработчика и его эффективному развитию с использованием современных ИИ-инструментов.
На вебинаре обсудим:
〰️ 〰️ 〰️ 〰️
1️⃣ Зачем разработчику личный бренд и как он влияет на карьеру:
🟣 Почему в IT уже недостаточно только технических навыков и какую роль играет персональный бренд в продвижении по карьерной лестнице и укреплении профессиональной репутации.
2️⃣ Стратегии развития личного бренда в IT:
🟣 Разберем эффективные подходы к продвижению себя как специалиста: выступления на конференциях, написание профессиональных статей и создание технического контента. Обсудим, как правильно выбрать каналы и форматы коммуникации.
3️⃣ Как ИИ упрощает развитие бренда и в чем его ограничения:
🟣 Рассмотрим, какие задачи при построении бренда можно делегировать нейросетям и большим языковым моделям, а где по-прежнему необходимы человеческий подход.
🎙 Спикер: Михаил Попов, Developer Relations Partner в Яндекс Go, преподаватель программы «DevRel: работа с комьюнити как основа личного и HR-бренда».
📁 Дата: 30 апреля в 19:00 в онлайн-формате.
Регистрация
Центр непрерывного образования ФКН приглашает на вебинар, посвященный роли личного бренда разработчика и его эффективному развитию с использованием современных ИИ-инструментов.
На вебинаре обсудим:
Регистрация
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🔥1
Forwarded from CodeCamp
Внезапная годнота для VSCode — Microsoft выкатили полноценную IDE для PostgreSQL прямо внутри редактора кода.
При чём это не просто плагин (хотя это плагин), а мощнейшая станция управления базой данных с кучей инструментов.
— Полная визуализация схемы — таблицы, связи, поля. Всё прямо в редакторе;
— Подсветка синтаксиса и автокомплит;
— Под капотом Copilot, он сейчас работает на Claude 4 Sonnet;
— История запросов и быстрый доступ к часто используемым шаблонам.
Всё работает через агента @pgsql, который реально помогает работать с запросами, как будто у вас на проекте появился свой DBA.
Уже в маркетплейсе
При чём это не просто плагин (хотя это плагин), а мощнейшая станция управления базой данных с кучей инструментов.
— Полная визуализация схемы — таблицы, связи, поля. Всё прямо в редакторе;
— Подсветка синтаксиса и автокомплит;
— Под капотом Copilot, он сейчас работает на Claude 4 Sonnet;
— История запросов и быстрый доступ к часто используемым шаблонам.
Всё работает через агента @pgsql, который реально помогает работать с запросами, как будто у вас на проекте появился свой DBA.
Уже в маркетплейсе
👍6🔥3😁1
🔥 Исследователи Яндекса выложили в опенсорс один из самых больших в мире датасетов для RecSys
Речь про YaMBDa — Yandex Music Billion-interactions Dataset. Он создан на основе обезличенных данных Яндекс Музыки, крупнейшего подписного музыкального сервиса в России, а также «Моей волны», главного рекомендательного продукта сервиса. Датасет содержит обезличенные взаимодействия 1 миллиона пользователей Яндекс Музыки с 9 миллионами треков в течение 10 месяцев. Всего это 5 миллиардов событий.
https://habr.com/ru/companies/yandex/articles/913294/
Речь про YaMBDa — Yandex Music Billion-interactions Dataset. Он создан на основе обезличенных данных Яндекс Музыки, крупнейшего подписного музыкального сервиса в России, а также «Моей волны», главного рекомендательного продукта сервиса. Датасет содержит обезличенные взаимодействия 1 миллиона пользователей Яндекс Музыки с 9 миллионами треков в течение 10 месяцев. Всего это 5 миллиардов событий.
https://habr.com/ru/companies/yandex/articles/913294/
Хабр
Исследователи Яндекса выложили Yambda — один из крупнейших в мире датасетов для развития рекомендательных систем
Привет! Меня зовут Александр Плошкин, я руковожу группой развития качества персонализации в Яндексе. Сегодня мы открываем доступ к одному из крупнейших рекомендательных датасетов —...
🐳3🔥1
Forwarded from Data Secrets
pip install pyspark-connect
.NULL
или тихо обрезал значение. Это было удобно, но могло скрывать баги. Теперь включён режим ANSI SQL по умолчанию – как в классических базах данных. Если в запросе ошибка, Spark сразу об этом скажет и выбросит ошибку. Получается более надежно и предсказуемо. Официальный релиз
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
🚀 Новый курс по рекомендательным системам и RePlay — прокачай навыки персонализации данных!
В мире, где персонализация решает всё — от любимых фильмов до идеальных покупок — рекомендательные системы стали must-have инструментом. Хотите не просто понимать их, а создавать с нуля? Тогда этот курс для вас!
Sber AI Lab представляет курс по рекомендательным системам и open-source библиотеке RePlay!
🔘 Погружение в основы: от коллаборативной фильтрации до гибридных моделей
🔘 Практика на реальных кейсах, только работающие решения
🔘 Освоение RePlay — мощного инструмента для построения рекомендаций
🔘 Гибкий график — учитесь где угодно и когда удобно
🎁 Бонус: Сертификат от СберУниверситета для участников, кто успешно закроет все модули - для резюме и личной гордости
Зачем это вам?
Рынок рекомендательных систем растёт на 24,7% в год (Research Nester), и спрос на специалистов огромен. С этим курсом вы войдёте в топ востребованных профессионалов!
💻 Записаться на курс
#курс
❤ @sb_ai_lab
В мире, где персонализация решает всё — от любимых фильмов до идеальных покупок — рекомендательные системы стали must-have инструментом. Хотите не просто понимать их, а создавать с нуля? Тогда этот курс для вас!
Sber AI Lab представляет курс по рекомендательным системам и open-source библиотеке RePlay!
🔘 Погружение в основы: от коллаборативной фильтрации до гибридных моделей
🔘 Практика на реальных кейсах, только работающие решения
🔘 Освоение RePlay — мощного инструмента для построения рекомендаций
🔘 Гибкий график — учитесь где угодно и когда удобно
🎁 Бонус: Сертификат от СберУниверситета для участников, кто успешно закроет все модули - для резюме и личной гордости
Зачем это вам?
Рынок рекомендательных систем растёт на 24,7% в год (Research Nester), и спрос на специалистов огромен. С этим курсом вы войдёте в топ востребованных профессионалов!
💻 Записаться на курс
#курс
❤ @sb_ai_lab
❤7🔥3😁1👨💻1
Forwarded from Machinelearning
Идея «Манхэттенского проекта для ИИ», витавшая последние месяцы на самом высоком уровне в США, кажется, начинает обретать очертания. Но за громкими сравнениями обычно теряется суть: а что это значит на практике?
Аналитики из Epoch AI решили посчитать, какой вычислительный монстр может появиться, если американское правительство консолидирует ресурсы частного сектора и вложит в проект долю ВВП, сопоставимую с пиком лунной программы.
Epoch AI - некоммерческий исследовательский институт, который изучает траекторию развития искусственного интеллекта, анализирует тренды в вычислениях, данных и алгоритмах, чтобы прогнозировать влияние ИИ на экономику и общество.
Расчеты показывают, что к концу 2027 года такой проект мог бы обеспечить тренировочный прогон модели с вычислительной мощностью порядка 2 × 10²⁹ FLOP.
Чтобы понять масштаб: это примерно в 10 000 раз больше, чем потребовалось для обучения GPT-4. По сути, это рывок, который по текущим прогнозам должен был случиться на несколько лет позже.
Финансирование на уровне программы «Аполлон» (около 0.8% ВВП или 244 млрд. долларов сегодня) позволило бы закупить и объединить в один кластер эквивалент 27 миллионов NVIDIA H100. Эта цифра, кстати, совпадает с экстраполяцией текущих доходов NVIDIA от продаж в США.
27 миллионов GPU потребуют около 7.4 ГВт мощности - это больше, чем потребляет весь город Нью-Йорк. Оказывается, это не главная преграда. Аналитики говорят, что к 2027 году в США и так планируется ввод 8.8 ГВт за счет новых газовых электростанций, значительная часть которых уже предназначена для дата-центров.
При наличии политической воли и используя законодательные инструменты, правительство США сможет сконцентрировать эти мощности в одном месте, так что энергия не станет узким местом.
Геополитическая напряженность, например, вокруг Тайваня, может сорвать поставки чипов. Кроме того, нельзя просто так взять и увеличить масштаб в тысячи раз. Масштабирование требует времени на отладочные прогоны и эксперименты, но это скорее инженерное, а не ресурсное ограничение.
Тем не менее, анализ показывает: при должной координации и инвестициях технологический скачок в области ИИ может произойти гораздо быстрее, чем мы думаем. И это уже вполне просчитываемая возможность.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3🔥3✍1😁1
📣 Внимание! 17 июля (четверг) в 18:00 в Sberloga пройдет доклад на тему
GNN в рекомендациях OKKO
🎙️ Спикер - Никифоров Роман, Senior Data Scientist в отделе рекомендаций онлайн-кинотеатра Окко.
⭐ Роман поделится опытом использования графовой нейронной сети для создания персонализированных рекомендаций для пользователей. Узнайте об их экспериментах и достигнутых результатах.
🕕 Ждем вас в @Sberloga в 18:00!
(ссылку пришлю перед докладом в канал, подписывайтесь, чтобы не пропустить)
GNN в рекомендациях OKKO
🎙️ Спикер - Никифоров Роман, Senior Data Scientist в отделе рекомендаций онлайн-кинотеатра Окко.
⭐ Роман поделится опытом использования графовой нейронной сети для создания персонализированных рекомендаций для пользователей. Узнайте об их экспериментах и достигнутых результатах.
🕕 Ждем вас в @Sberloga в 18:00!
(ссылку пришлю перед докладом в канал, подписывайтесь, чтобы не пропустить)
🔥3
Forwarded from Дата канальи — про «специалистов» в данных / ML / AI
Media is too big
VIEW IN TELEGRAM
МТС True Tech и ComDS приглашают на Summer Data Science Night — вечерний open-air митап для специалистов по DS и ML. Встречаемся 29 июля в 19:00 во дворе бара «Стрелка», который на одну ночь превратится в летний кинотеатр для data-фанатов.
Обсудим:
⭐️ «Вызовы для DS 2025 в России».
Спикеры:
— Никита Зелинский, CDS & Head of ML Platforms МТС, автор канала Дата канальи – про „специалистов“ данных в ML/AI
— Евгений Смирнов, CDS & Head of ML Lab, Alfa-Bank, автор канала Нескучный Data Science
— Шамаев Юлий, начальник управления моделирования партнерств и ИТ-процессов, Банк ВТБ.
⭐️ «Наши RecSys-технологии: как мы завариваем вашу любимую музыку». — Дмитрий Берестнев, начальник управления машинного обучения, Hi-Fi стриминга Звук.
⭐️ «Трансформеры в кино. Как мы строим персональные рекомы в KION». — Даниил Пименов, Team Lead RecSys в KION, MWS Big Data.
⭐️ «Георекомендации: как мы подсказываем клиентам, где тратить деньги». — Алексей Пустынников, DS Team Lead команды GeoML Банка ВТБ.
⭐️ «Serving по-взрослому: ускорение NLP inference в 50 раз в Антиспаме» — Илья Денисов, ML Team Lead команды Антифрод MWS Big Data.
⭐️ «Практические кейсы внедрения Rag: помощник оператора и HelpDesk» — Александр Вавилкин, Middle Data Scientist, Альфа Банк.
Готовьте ваши вопросы спикерам, под попкорн будем выбирать лучшие!
🗓 29 июля
🕗 19:00–22:30
🔗 Офлайн. Количество мест ограничено. Регистрируйтесь по ссылке.
Обсудим:
Спикеры:
— Никита Зелинский, CDS & Head of ML Platforms МТС, автор канала Дата канальи – про „специалистов“ данных в ML/AI
— Евгений Смирнов, CDS & Head of ML Lab, Alfa-Bank, автор канала Нескучный Data Science
— Шамаев Юлий, начальник управления моделирования партнерств и ИТ-процессов, Банк ВТБ.
Готовьте ваши вопросы спикерам, под попкорн будем выбирать лучшие!
🗓 29 июля
🕗 19:00–22:30
🔗 Офлайн. Количество мест ограничено. Регистрируйтесь по ссылке.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤1
Sberloga
📣 Внимание! 17 июля (четверг) в 18:00 в Sberloga пройдет доклад на тему GNN в рекомендациях OKKO 🎙️ Спикер - Никифоров Роман, Senior Data Scientist в отделе рекомендаций онлайн-кинотеатра Окко. ⭐ Роман поделится опытом использования графовой нейронной сети…
Ребята, уже через полтора часа у нас начнется лекция Романа
GNN в рекомендациях OKKO
Начало в 18:00
Подключаться можно будет по ссылке:
https://mts.mts-link.ru/j/MTC/99464665
GNN в рекомендациях OKKO
Начало в 18:00
Подключаться можно будет по ссылке:
https://mts.mts-link.ru/j/MTC/99464665
Sberloga
📣 Внимание! 17 июля (четверг) в 18:00 в Sberloga пройдет доклад на тему GNN в рекомендациях OKKO 🎙️ Спикер - Никифоров Роман, Senior Data Scientist в отделе рекомендаций онлайн-кинотеатра Окко. ⭐ Роман поделится опытом использования графовой нейронной сети…
📖️ Видеопост прошедшей лекции, как обещал!
Отдельный респект Роману за его крутой доклад! Очень подробно раскрыл специфику построения моделей, тонкости и разные подходы. 👍️ Рекомендую к просмотру!
Кстати, для удобства выкладываю видео и в VK, и в YouTube, чтобы не мучиться с VPN из России:
🎬 VK: https://vkvideo.ru/video-231661716_456239017
🎬 YouTube: https://youtu.be/7vfsl9HV5_c
Смотрите и наслаждайтесь! 🎥
Отдельный респект Роману за его крутой доклад! Очень подробно раскрыл специфику построения моделей, тонкости и разные подходы. 👍️ Рекомендую к просмотру!
Кстати, для удобства выкладываю видео и в VK, и в YouTube, чтобы не мучиться с VPN из России:
🎬 VK: https://vkvideo.ru/video-231661716_456239017
🎬 YouTube: https://youtu.be/7vfsl9HV5_c
Смотрите и наслаждайтесь! 🎥
VK Видео
GNN в рекомендациях OKKO
GNN в рекомендациях OKKO 🎙️ Спикер - Никифоров Роман, Senior Data Scientist в отделе рекомендаций онлайн-кинотеатра Окко. ⭐ Роман поделится опытом использования графовой нейронной сети для создания персонализированных рекомендаций для пользователей. Узнайте…
👍7