Релиз Apache Airflow 2.10

Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?

— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task`
— появилась возможность задавать разный Executor для tasks в рамках одного DAG
— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused
— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=false

С полным списком изменений можно ознакомиться по ссылке.

Мудрые слова!

А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.

Наиболее популярные паттерны распределенных транзакций:

— Saga Pattern
— 2-Phase Commit

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.

Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил не включать модуль interpreters в stdlib, мотивировав тем, что модулю надо "настояться" в качестве отдельного PyPI пакета. Решение не осуждаю, поэтому пробуйте его на вкус через pip, правда работает только с 3.13+.

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.

Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

DuckCon #5

Плейлист с докладами из прошедшей конференции DuckCon #5:

— DuckDB – Overview and latest developments
— MotherDuck: Taking flight with interactive analytics
— Outliers are all you need
— Quack attack: Bringing DuckDB to the dart side
— A duck for your dashboard: Performant data apps in the browser with DuckDB
— Delighting users with RESTful APIs and DuckDB
— Aerodynamic data models: Flying fast at scale with DuckDB
— Double glazing: Two years of windowing improvements
— dbverse: Composable database libraries for larger-than-memory scientific analytics
— A quack at building scalable data pipelines with DuckDB

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep dive

Также в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI Platform
Пожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

Building and scaling Notion’s data lake

В июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

Релиз PostgreSQL 17

Уже и доклад есть на Ютубе о новшествах: https://www.youtube.com/watch?v=peLXtGorl8A

Postgres Hacking 101 by Andrey Borodin

Серия из 5 видео о том как написать патч для PostgreSQL. Контент годный, но просмотров очень мало.

— Walk-through of implementing simple Postgres patch. From sources to CI
— Postgres Hacking 101: Benchmarking a Patch
— Postgres Hacking 101: Buffer Page and its API
— Postgres Hacking 101: drop of caches (flushing shared buffers)
— Postgres Hacking 101: detailed buffers statistics in EXPLAIN BUFFERS

Python 3.13

Состоялся релиз Python 3.13: https://www.python.org/downloads/release/python-3130/

Видео Airflow Summit 2024

— Optimizing Airflow Performance: Strategies, Techniques, and Best Practices
— Airflow Datasets and Pub/Sub for Dynamic DAG Triggering
— Optimize Your DAGs: Embrace Dag Params for Efficiency and Simplicity
— Event-driven Data Pipelines with Apache Airflow
— LLMs for Software Development & Apache Airflow
— The road ahead: What’s coming in Airflow 3 and beyond?
— 10 years of Airflow: history, insights, and looking forward

Остальные доклады можно найти на официальном Ютуб-канале Apache Airflow

The Ultimate Guide to Apache Airflow® DAGs

E-book от ребят из Astronomer про Apache Airflow. 135 страниц концентрированной информации "без воды". Рекомендую! Заходит как справочник в самый раз 👍🏻

AI Agent Course

На следующей неделе (10 февраля) стартует бесплатный курс Hugging Face Agents. Курс рассчитан на обучение в течение 6 недель, новый материал будет публиковаться раз в две недели. Цель курса научить вас создавать и деплоить ИИ Агентов в продакшен.

Deep Dive into LLMs like ChatGPT

На канале Andrej Karpathy вышло 3-х часовое видео с разбором как работают LLM модели на примере ChatGPT. Более того, чуть больше года назад он уже выпускал часовой ролик Intro to Large Language Models, который уже набрал более 2.5 миллионов просмотров!