Data Engineering with Databricks Lakehouse Cookbook: Hands-on recipes for building effective solutions using Apache Spark, Databricks, and Delta Lake

Чему вы научитесь:

• Созданию эффективных data pipeline на платформе Databricks Lakehouse;
• Работе с Apache Spark для обработки больших данных;
• Использованию Delta Lake для надежного хранения данных;
• Оптимизации производительности процессов обработки данных;
• Интеграции Databricks с другими инструментами экосистемы.

"Data Engineering with Databricks Lakehouse Cookbook" предоставит практические рецепты для построения эффективных решений в области инженерии данных с использованием современной платформы Databricks.

Книга в формате pdf👇

#курсы_книги

@python_practics

werf как альтернатива Kaniko для сборки образов в Kubernetes в вашей системе CI

Kaniko больше не поддерживается, поэтому авторы статьи предлагают обратить внимание на werf как современную альтернативу. Они подробно разобрали, чем werf отличается от других инструментов, почему он может быть удобнее для CI/CD в Kubernetes и как быстро начать его использовать в своих пайплайнах. Также рассмотрели примеры интеграции werf с популярными CI-системами.

Подробнее👇

#статьи

@python_practics

Внимание! - Вопрос!

Что такое MQ?

Очереди сообщений, по существу, являются связующим звеном между различными процессами в ваших приложениях и обеспечивают надежный и масштабируемый интерфейс взаимодействия с другими подключенными системами и устройствами. О́чередь — структура данных с дисциплиной доступа к элементам «первый пришёл — первый вышел». Добавление элемента возможно лишь в конец очереди, выборка — только из начала очереди, при этом выбранный элемент из очереди удаляется.

#вопросы_из_собеседований

@python_practics

Игра про зомби на Python

Полный код можно посмотреть по ссылке👇

#sandbox

@python_practics

Задача:

Напиши функцию, которая будет возвращать заданное число в развернутом виде.

Пример:

   12 --> "10 + 2"
   45 --> "40 + 5"
70304 --> "70000 + 300 + 4"

#задачник

@python_practics

Получение уникальных элементов списка с сохранением порядка

Используем множество для отслеживания уже добавленных элементов, чтобы сохранить порядок.

👍 - если было полезно

#полезные_сниппеты

@python_practics

Внимание! - Вопрос!

Что такое RPC?

Удалённый вызов процедур, реже Вызов удалённых процедур (от англ. Remote Procedure Call, RPC) — класс технологий, позволяющих компьютерным программам вызывать функции или процедуры в другом адресном пространстве (на удалённых компьютерах, либо в независимой сторонней системе на том же устройстве). Обычно реализация RPC-технологии включает в себя два компонента: сетевой протокол для обмена в режиме клиент-сервер и язык сериализации объектов (или структур, для необъектных RPC). На транспортном уровне RPC используют в основном протоколы TCP и UDP, однако, некоторые построены на основе HTTP (что нарушает архитектуру ISO/OSI, так как HTTP — изначально не транспортный протокол).

#вопросы_из_собеседований

@python_practics

SageMath

SageMath — достойная опенсорсная альтернатива таким вычислительным системам, как Magma, Maple, Mathematica и Matlab.

Особенности SageMath:

• Библиотека включает более 100 пакетов с открытым исходным кодом, таких как NumPy, SciPy, matplotlib, Sympy, Maxima, GAP, FLINT, R.
• Унифицированный интерфейс.
• SageMath можно использовать для изучения элементарной и продвинутой, чистой и прикладной математики.
• Пользовательский интерфейс представляет собой блокнот в веб-браузере или командную строку.

Подробнее👇

#фреймворки_библиотеки

@python_practics

Получение списка файлов в директории

Использует os.listdir() для получения списка файлов и папок в текущей директории.

👍 - если было полезно

#полезные_сниппеты

@python_practics

Bright Data запустила платформу для массового сбора данных с любых сайтов: теперь можно строить пайплайны для ИИ и BI без лишней рутины

Bright Data представила масштабируемую платформу для сбора публичных веб-данных с любых сайтов в реальном времени и в историческом разрезе, готовую к использованию в пайплайнах ИИ и BI. Платформа позволяет мгновенно развернуть инфраструктуру для сбора данных в любых масштабах — от точечных скриптов до доставки готовых датасетов без кода.

Подробнее👇

#статьи

@python_practics

Жиза?

#мемчики

@python_practics

MySQL Crash Course, 2nd Edition

Чему вы научитесь:

• Основам работы с MySQL и структурами баз данных;
• Созданию оптимизированных SQL-запросов;
• Администрированию и настройке производительности MySQL;
• Обеспечению безопасности и резервному копированию баз данных;
• Интеграции MySQL с различными приложениями.

"MySQL Crash Course" предоставит быстрое и эффективное введение в работу с MySQL, охватывая все необходимые аспекты для практического использования этой популярной СУБД.

Книга в формате pdf👇

#курсы_книги

@python_practics