Хватит использовать Pandas, пора переходить на Spark + Scala!

Почему data-специалистам стоит задуматься о переходе с Pandas на Spark и Scala? В чём преимущества этого дуэта и так ли сложно в итоге на него переучиться? Разбираем по полочкам.

https://nuancesprog.ru/p/8613

@nuancesprog #статьи #Apache #Scala #Spark

Динамические ссылки довольно часто можно встретить на сайтах, на которых выходит много материалов. Называть каждую страницу отдельным заголовком довольно времязатратно. Статические ссылки имеют ряд весомых преимуществ по сравнению с динамическими. Обсудим подробнее.

https://nuancesprog.ru/p/11534

@nuancesprog #статьи #Apache #SEO

Несмотря на то, что этот инструмент все еще далек от идеала, новый релиз Airflow 2.0 достиг довольно высокого уровня, позволяющего использовать его для больших производственных нагрузок. Такие обновления, как улучшение производительности планировщика и разделение кода на подпакеты, обеспечивают большую надежность и ускоряют цикл релизов. Рассмотрим все нововведения Airflow 2.0, а также разберемся, какие недостатки еще предстоит исправить.

https://nuancesprog.ru/p/11751

@nuancesprog #статьи #Apache

Обработка пакетных данных в режиме реального времени - одна из наиболее сложных задач. Каждый этап, от доставки и обработки данных до их анализа, занимает определенное время. К счастью, для устранения этих задержек есть такие инструменты, как Apache Kafka, Flink и Druid.

https://nsprg.ru/m00ELm

VK: https://nsprg.ru/ONLV0x

Дзен: https://nsprg.ru/mrpN8v

@nuancesprog #Apache #Kafka #Flink #Druid