​​Всем доброго дня!

На днях запустил новый канал @dataeng, где буду делиться материалом на тему распределённых систем и data engineering.

В последнее время нового материала по этим темам в сети всё больше, поэтому подписывайтесь, если вам также как и мне нравится это направление. Постараюсь постить только самое интересное.

Канал @dataeng

Bruce Eckel (автор книги Философия Java) вместе со Светланой Исаковой начали писать книгу Atomic Kotlin.

Изучать можно прямо сейчас. Доступны уже несколько глав книги на платформе stepik.org (там же доступен и курс по Kotlin) - https://www.atomickotlin.com

А вы уже видели Code of Conduct от SQLite ? :) Если нет, то бегом читать — https://www.sqlite.org/codeofconduct.html. Разработчики SQLite известны своим категоричным отношением к изменениям и патчам со стороны Open Source сообщества, а если быть точным, то они не принимают их вообще.

​​Если вы ещё не начали писать тесты на Python, то рекомендую отличную вводную статью на эту тему: Getting Started With Testing in Python — https://bit.ly/2PPj42y

​​Нашел солидный вводный курс в экосистему Amazon Web Services на русском языке.

Сейчас без опыта работы хотя бы с одной из облачных систем (AWS, Google Cloud, MS Azure) сложно разрабатывать масштабируемые приложения.

Советую к просмотру, автор проделал титанический труд → https://bit.ly/2yWCJGD

​​Задумывались ли вы о том как работает шифрованию по публичному ключу? Если нет, но интересно узнать, то нашел в сети неплохой вводный гайд без занудства и сложной математики от Twilio.

Must read для разработчиков всех уровней → What is Public Key Cryptography

Друзья! Хочу вам рассказать про YouTube канал о карьере в IT в США. Его автор, тех. рекрутер из Кремниевой долины, снимает интервью с русскоязычными разработчиками из именитых ИТ-компаний и молодых стартапов
https://www.youtube.com/c/progblog

За новыми видео можно также следить в telegram канале
https://t.iss.one/progblogtv

Нашел на просторах сети интересную python-библиотеку firefly, которая превращает ваши функции в легковесные remote call procedure - https://github.com/rorodata/firefly

​​Часто ли вам приходится работать с числами в Python? Мне очень часто. В основном работа связана с хранением финансовых показателей, где число типа float далеко не лучший выбор =)

Возникает много вопросов: как хранить числа, как их правильно округлять, какие существуют методы округления и т.д.

Например, когда мы переходили с PostgreSQL на Redshift, то я на собственной шкуре прочувствовал перелесть округления путём отброса (truncating в статье). Redshift без указания опции roundec отбрасывал часть после precision при загрузке через COPY.

К чему это я? Нашел, пожалуй, лучшую статью про округление в Python (но полезна будет не только для питона) — https://bit.ly/2CKWfcK

Очень советую, сэкономит вам время и нервы, гарантирую.

Стали доступны доклады с конференции PyGotham 2018.

Из интересного:

- Clean Architecture in Python
- How to Do Core Reviews Like a Human
- Database Testing with pytest
- Memory Management in Python
- A Crash Course on Serverless Applications in Python

​​David Beazley, пожалуй, один из лучших преподавателей Python. На странице своего блога он собрал список всех воркшопов (~3 часа каждый), которые доступны онлайн — https://bit.ly/2DttSRF
Помимо видео есть доступ к огромному количеству слайдов — https://speakerdeck.com/dabeaz

Изучайте, знаний много не бывает!

Опубликованы доклады с North Bay Python.

Наиболее интересные:

- What PHP learned from Python
- Recursion for Beginners: A Beginner's Guide to Recursion
- Refactoring Code with the Standard Library
- Hi! My name is...

Полный список докладов можно посмотреть в плейлисте

#pyvideo #python

​​Пропустили открытый вебинар Артура Кадурина по генеративным состязательным сетям? Смотрите запись: https://otus.pw/k8JI/

И обязательно подключайтесь онлайн 14 ноября к Дню открытых дверей курса по Machine Learning: https://otus.pw/8VIR/. Автор программы и преподаватель курса Артур Кадурин расскажет, чем и как вы будете заниматься на курсе, что будете делать в выпускном проекте и какие компании готовы собеседовать лучших выпускников. И конечно, ответит на ваши вопросы.

А также традиционно разыграет отличные скидки на обучение среди прошедших вступительный тест (только не забудьте подтвердить телефон и e-mail)

Доступны доклады с DjangoCon US 2018:

- Building Workflows With Celery
- Elasticsearch: Accelerating the Django Admin
- Wagtail CMS - Making Django More User (and Developer)
- Code Review Skills for Pythonistas
- Fundamentals of Kubernetes for Django developers
- Intoduction to Django & GraphQL

Весь плейлист доступен на канале

​​Нейронные сети и методы их обучения. Умение спроектировать свою сеть и сделать её на Python/pyTorch. Выпускной проект, который нестыдно положить в портфолио и показывать потенциальным работодателям. И это еще не все, чему вас будут учить на онлайн-курсе «Machine Learning». Остались вопросы? Задайте их сами 14 ноября, в 20:00 (мск) автору программы и преподавателю Артуру Кадурину – эксперту по машинному и глубокому обучению, который не нуждается в излишних представлениях: https://otus.pw/8VIR/

Он расскажет, чем и как вы будете заниматься на курсе, что будете делать в выпускном проекте и какие компании готовы собеседовать лучших выпускников. И, конечно, ответит на ваши вопросы.

А также традиционно разыграет отличные скидки на обучение среди прошедших вступительный тест (только не забудьте подтвердить телефон и e-mail): https://otus.pw/QaIk/

Что-то давненько я не обновлял свой блог — исправляюсь. Вчера написал небольшую заметку про новый менеджер зависимостей в Python — poetry.

Привычный нам pip сильно отстаёт от реалий современной разработки, на фоне yarn и npm это откровенное гуано (простите за мой французский). Poetry перспективный проект с большими амбициями. Сейчас он превосходит pip по удобству и функциональным возможностям. Советую ознакомиться особенно тем, кто до сих пор пользуется pip и ручками обновляет requirements.txt :)

Wow! Гайд наглядно объясняющий что такое распределённые системы, какие проблемы бывают, а главное, ВНИМАНИЕ, как достичь консенсуса в распределённых системах (paxos, raft): must read

​​Написал небольшую шпаргалку по работе с PostgreSQL в Python, используя библиотеку psycopg2.

Читаем Работа с PostgreSQL в Python

#python

Бинго-бонго и джимбо-джамбо!

HighLoad++ начали выкладывать доклады с прошедшей одноименной конференции у себя на канале. Доклады выглядят многообещающими, вот самые вкусные тайтлы:

- Apache Kafka как основа для велосипедостроения
- Базы данных и Kubernetes
- Топ ошибок со стороны разработки при работе с PostgreSQL
- Анализ производительности запросов в ClickHouse

Посмотреть весь плейлист

Как Apache Kafka помогает обрабатывать 400 миллиардов сообщений в PayPal: https://bit.ly/2PNG322

Пожалуй, одна из лучший статей про то как Python работает с памятью - Memory Management in Python