В блоге AirBnB вышла полезная статья про идемпотентный фреймворк для построения распределенных систем.

В самой статье идёт речь про кейс реализации системы предотвращающей двойное списание денег у клиентов сервиса.

Читаем: https://medium.com/airbnb-engineering/avoiding-double-payments-in-a-distributed-payments-system-2981f6b070bb

Не так давно прошел DjangoCon Europe 2019. Вот часть видео:

- Django and Web Security Headers
- The 750,000-line long pull request: crafting a more resilient open source community
- Pushing the ORM to its limits
- Making your life (h)APIer with Django
- Logging Rethought 2: The Actions of Frank Taylor Jr.

Продолжение DjangoCon 2019 Europe:

- Simple visual regression testing

- Advanced, free, open-source application performance monitoring for your Python apps

- Sketching out a Django redesign

- Building plugin ecosystems with Django

- Maintaning a Django codebase after 10k commits

- Maps with GeoDjango, PostGIS and Leaflet

- Building a custom model field from the ground up

- Pentesting your Django apps

- Does this run in linear time? A case for algorithmics

- Serverless Django with Zappa

В блоге Twilio вышла статья про заголовки HTTP - HTTP headers for the responsible developer. Статья написана по мотивам доклада. В статье собран необходимым минимум для любого веб-разработчика.

Нашел интересный гайд под названием Open Microservices Guide. Суть его в том, чтобы выработать некий стандарт описания микросервисов в вашем проекте (не без помощи Docker).

К этому гайду также прилагается тулза omg-cli, которая умеет валидировать, билдить и запускать микросервисы (по описаниям файла microservice.yml). В любом случае любопытно :)

Опа, у этих ребят даже есть шаблон микросервиса на python

Появилось видео моей презентации на Kolesa Conf в Алматы, которая проходила 12 апреля. Тема моей презентации: ETL на Python. Видео

В США сейчас проходит PyCon US 2019. На Ютубе уже появился канал с первыми видео (туториалы): https://www.youtube.com/channel/UCxs2IIVXaEHHA4BtTiWZ2mQ

Майкрософт объявили о релизе новой подсистемы Linux с полноценным ядром. Это значит, что теперь любые линуксовые аппы можно запускать внутри WSL, включая Docker.

Более подробно тут https://devblogs.microsoft.com/commandline/announcing-wsl-2/

Организаторы MoscowPython 2019 начали понемногу выкладывать видео с прошедшей конференции:

- Что делать, если ваш код на Python тормозит, доклад от Бобука из Яндекса

- Укрощая зверя: legacy-код, тесты и вы, Кирилл Борисов (Booking.com)

- Убивай мутантов, спаси свой код, Никита Соболев (wemake.services)

- Micropython для квестов в реальности и аркадных игр, Никита Левонович (КВЕСТОДЕЛЫ)

- А что, если без Python? Julia для машинного обучения и вообще, Глеб Ивашкевич

Также стала доступна часть докладов с Saint HighLoad++ 2019. Вот, на мой взгляд, самые интересные:

- Postgres 12 в этюдах. Здесь Олег Бартунов рассказывает что нас ждёт в 12й версии "слоника". Из крутого: API для storage engine (привет, Column oriented storages), json path, улучшенные индексы.

- njs - javascript для nginx

- unboxing Firecracker от Amazon. На базе Firecracker работают все верхнеуровневые сервисы Amazon вроде AWS Lambda.

На прошедшем Google IO не обошлось без упоминания PWA (Progressive Web Apps). На этот раз ребята рассказали в вводной презентации про новшества "прогрессивных приложений" и как они в скором времени улучшат UX при работе с веб-сайтами. В Chrome 76 появятся подсказки, что сайт можно установить в виде приложения. В презентации есть парочка классных кейсов таких приложений. Смотрим https://youtu.be/2KhRmFHLuhE

Далее. Если у вас уже есть PWA и вы не знаете как его продвинуть в аппсторах, то на помощь вам спешит TWA (Trusted Web Activities), это новомодная штука в браузере Chrome и ОС андроид, позволяющая шарить состояние между приложением и веб-сайтом. Некий WebView на стероидах. Более подробно можно узнать в презентации https://youtu.be/6lHBw3F4cWs

O'Reilly выпустили 2-е издание книги Hands‑On Machine Learning with Scikit‑Learn and TensorFlow бесплатно и без смс 😎 Качайте, и изучайте машинное обучение.

Продолжая тему докладов с прошедшего ивента Google IO. Хороший обзорный доклад про новые фичи в языке JavaScript.

- появился flatMap (по аналогии со Scala)
- крутое API для интернационализации
- нововведения в API для работы с датами и временем

и многое другое.

Более подробно можно ознакомиться в докладе What’s new in JavaScript

Наверное многие из вас уже слышали, что Github запустил бета-версию сервиса Github Packages. Сервис доступен по инвайтам, изъявить желание можно прямо в своём аккаунте.

Сервис представляет из себя реестр пакетов, где каждый разработчик может размещать как публичные пакеты так и приватные. Если вы работаете в приватной команде и у вас есть пакеты, отныне не нужно ставить системы вроде Nexus Repository.

Сейчас гитхаб поддерживает:

- npm
- rubygems
- docker
- nuget
- maven

PyPi среди поддерживаемых систем нет, но скорее всего появится в ближайшее время.

Более подробно с демо можно посмотреть в докладе Introducing GitHub Package Registry

Как то незаметно стали доступны доклады с прошедшей в ноябре 2018 конференции HighLoad++. Вот наиболее интересный, имхо, список докладов:

- Как мы качаем 60 миллионов страниц в день из Веба

- AWS Cost Reduction - Experiences and Strategies

- Кластер Kubernetes в твоём ноутбуке. Знакомство с minikube

- Hadoop at scale: мы построили большой кластер, как его теперь сохранить?

- Делаем бэкенд нового поколения на FoundationDB

Остальные доклады можно посмотреть в плейлисте

На DevGamm! в Москве был доклад от Jonathan Blow про деградацию в области программного обеспечения и что нам с этим делать. Рекомендую к просмотру Preventing the Collapse of Civilization

Для тех, кто частенько обновляет версии Python. Будьте бдительны, планируется зачистка стандартной библиотеки в 3.9 и 3.10: https://www.opennet.ru/opennews/art.shtml?num=50726

Подборка интересного материала с ресурса RealPython:

- Python Logging: A Stroll Through the Source Code
- Unicode & Character Encodings in Python: A Painless Guide
- Hands-on Python 3 Concurrency With the asyncio Module
- Idiomatic Pandas: Tricks & Features You May Not Know
- Interactive Data Visualization in Python With Bokeh

Ребят, в конце марта собрал все известные материалы по теме Data Engineering, получился небольшой репозиторий с интересными ресурсами. Он будет и дальше пополняться, поэтому просьба зайти на гитхаб, поставить звёздочку или даже форкнуть и отправить PR на дополнение.

Сам репозиторий - Data-Engineering-HowTo.

Давайте вместе соберём классный гайд.

Martin Fowler написал эссе на тему Is High Quality Software Worth the Cost? Рекомендую к прочтению всем, особенно менеджерам продуктов и тем, кто отвечает за поставку ПО. Основная мысль в статье крутится вокрут компромисса между качеством программы и её стоимостью. Мартин рассуждает, что такой подход в корне не верный, и качественный софт зачастую обходится дешевле бизнесу. Читаем