Продовжуємо серію постів про корисні інструменти, якими користуюся, і сьогодні розповім про Airflow.

Якщо коротко то Airflow це cron на максималках.
Якщо більш детально то це платформа для автоматизації, управління і моніторингу складних робочих процесів (workflows). Airflow дозволяє створювати складні пайплайни, враховуючи залежності між завданнями, їх повторення, а також надає можливість моніторити та керувати їх виконанням через веб-інтерфейс.

Типові сценарії використання:
* ETL-процеси (завантаження, перетворення та збереження даних).
* Автоматизація аналітичних та машинних алгоритмів.
* Інтеграція різних сервісів та обробка даних з кількох джерел.
* Регулярний запуск скриптів для моніторингу або обслуговування систем.

У мене він моніторить нові відосіки на ютуб каналі і скидає в телеграм чат, а також будує щотижневі звіти з бази даних для клієнта і закидає на гугл таблиці (це все звісно в докері 🌚)

#workflow #airflow #docker