#рецензии
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 1.

1. Deterministic Aperture: A distributed, load balancing algorithm

Балансеры в компании Twitter красиво переплетают идеи consistent hashing, непрерывной геометрии и power of 2 choices, что помогает сократить количество соединений в 10 раз и снизить дисперсию распределения запросов на 78%.

2. BOLT: A Practical Binary Optimizer for Data Centers and Beyond

Компания Facebook оптимизирует и так уже PGO соптимизированные C++ бинари в реальном времени, собирая профили и ставя горячие блоки кода близко друг к другу. Из-за этого сайты Facebook и Instagram ускорились на 5-7%, а пропозал по добавлению такой функциональности был принят в LLVM.

3. ScaNN: Efficient Vector Similarity Search

Google выложил свой алгоритм поиска похожих векторов, который обыгрывает по скорости все предыдущие примерно в 2 раза, отличие от других алгоритмов только в том, что ScaNN правильно подобрал константы для квантования и хорошо применил SIMD. Но удачи собрать и запустить это на C++.

4. Elle: Inferring Isolation Anomalies from Experimental Observations

Господин Jepsen наконец-то завершает свои походы со стабильным фреймворком для проверки консистентности в базах данных. В статье сказано: "we believe Elle will make the database industry safer", может быть, он всё таки имел в виду "suffer"?

5. The Case for a Learned Sorting Algorithm

Самобучающийся алгоритм сортировки пытается с помощью real-time модели предсказать примерные позиции в отсортированном массиве, а потом уже легко пройтись и найти точные. Да, оно работает быстрее, чем std::sort вместе с обучением. Да, оно потенциально выкопает могилу теоретикам. Результат как минимум примечательный, но сравнений алгоритмов для однозначной победы и правда маловато.

To be continued...

Для тех, кто работает с Golang, - смотрел как-то я эту книгу: "Hands-On Software Architecture with Golang. Design and architect highly scalable and robust applications using Go." by Jyotiswarup Raiturkar
Copyright © 2018 Packt Publishing

Она прекрасна. Удивительное сочетание полноты информации и её краткости. Это скорее конспект, а не книга. Курс молодого бойца. Никакой воды - только все самое нужное. Вряд-ли есть другой способ получить такой колоссальный объем знаний из одной книги. Она, поистине, шедевральна в этом смысле.

Дано практически все, что нужно знать разработчику, на примере Golang. Виды согласованностей, в т.ч. Causal Consistency, Векторные Часы, CAP-теорема, способы достижения консенсуса, в т.ч. RAFT, Paxos, 2PC, основы ООП, композиция vs наследование (кстати, на примере зверушек - известный пример), Design Patterns, основы работы с БД, индексы, формы нормализации, виды транзакций (ACID, BACE), матрица уровней изоляции транзакций, брокеры сообщений, принципы масштабирования и многое другое.

Понятно, что все это впихнуть в одну книгу невозможно, поэтому она выполнена в виде конспекта, т.е. она дает обзор и приводит примеры.

Раз уж речь зашла про Packt Publishing, то еще было бы уместно упомянуть "Learning Functional Programming in Go. Change the way you approach your applications using functional programming in Go." by Lex Sheehan
Copyright © 2017 Packt Publishing

И "Hands-On High Performance with Go. Boost and optimize the performance of your Golang applications at scale with resilience" by Bob Strecansky
Copyright © 2020 Packt Publishing

#Golang #SoftwareDesing #SoftwareArchitecture #FunctionalProgramming

🍾Команда Podlodka Crew запускает новую онлайн-конференцию! Если вы занимаетесь бэкенд-разработкой, специально для вас 29 марта стартует Podlodka Backend Crew!

Мы решили не завязываться на конкретные языки программирования и фреймворки, и выбрали такие темы недель, которые будут интересны всем. И эти темы – “Распределенные системы” и “Протоколы передачи данных”.

🤔На неделе “Распределенные системы” рассмотрим тонкости разработки и поддержки распределенных систем. Ответим на вопросы про то, как деплоить такие системы, как их правильно тестировать, как правильно организовать балансировку и сбор логов, как работать с данными и не только.

💾А на неделе “Протоколы передачи данных” прокачаем очень прикладной навык: как максимально осмысленно выбрать протокол в зависимости от решаемых задач, и как эффективно работать с выбранным протоколом. Не json’ом единым!

Мы бы не были Podlodka Crew, если бы у нас были только доклады, поэтому как всегда в программе множество нескучных форматов: рулетки кейсов, батлы, лайв-кодинги и не только. Добавим к этому общение со спикерами на зум-сессиях и нетворкинг в слаке, и получим прекрасный способ с пользой провести время!

Старт 29 марта, расписание первой недели уже на сайте, а до 22 марта действует early-bird скидка на билеты! Ждем на борту!⚓️

For future reading

1:
https://arxiv.org/pdf/1809.09044.pdf

2:
https://ethresear.ch/t/stark-proving-low-degree-ness-of-a-data-availability-root-some-analysis/6214

3:
https://ethresear.ch/t/fri-as-erasure-code-fraud-proof/6610

4:
https://ethresear.ch/t/an-alternative-low-degreeness-proof-using-polynomial-commitment-schemes/6649

5:
https://ethresear.ch/t/a-0-001-bit-proof-of-custody/7409

6:
https://wiki.polkadot.network/docs/en/learn-availability

Оставляю для себя потом прочитать, довольно важная тема оптимизации программ на Rust в одном единственном посте. Старый пост Achieving warp speed with Rust, 2017-го аж года, но при этом вроде бы актуальный. Единственное но, разные штуки, вроде test::black_hole пока доступны только в nightly и для них нужно включать #![feature(test)].

Podlodka #209 – Операционные системы

Долго представлять эту тему не нужно, ведь выпуск входит в «золотой фонд фундаментальных выпусков» Podlodka и занимает место рядышком с "базами данных". Все, как вы любите – погружение в историю, разбор базовых компонентов и детские вопросы «а как загружается ОС?» с подробнейшими ответами на них. Под конец немного философских размышлений об упадке архитектуры ОС и стагнирующем настоящем, а также вероятности наступления светлого будущего. Осторожно, выпуск щедро приправлен байками!

Managed Kubernetes от Selectel для современных проектов: https://slc.tl/Gz62X, промокод Podlodka дает 1000 рублей на услугу. Вводить сюда: https://my.selectel.ru/vpc/

Сайт: https://podlodka.io/209
Soundcloud: https://bit.ly/podlodka-209
iTunes: https://apple.co/2vCBRcs 
Я.Музыка: https://bit.ly/32lGgNC

Поддержи лучший подкаст про IT: https://www.patreon.com/podlodka

Я сейчас изучаю проектирование распределённых асинхронных систем. В рамках этого проекта посмотрел доклад «Алгоритмы консенсуса. При чем тут Node.is?» В нём Андрей Печкуров рассказывает про проблематику распределённых систем, CAP-теорему, алгоритмы консенсуса и подробно разбирает один из них.

Посмотрите доклад — распределенные системы сейчас повсюду, полезно понимать, какие сложности возникают при их создании и эксплуатации.

#проектирование

Software Engineering at Google

In March, 2020, we published a book titled “Software Engineering at Google” curated by Titus Winters, Tom Manshreck and Hyrum Wright.

The Software Engineering at Google book (“SWE Book”) is not about programming, per se, but about the engineering practices utilized at Google to make their codebase sustainable and healthy. (These practices are paramount for common infrastructural code such as Abseil.)

We are happy to announce that we are providing a PDF digital copy of this book free of charge. Of course, we encourage you to get yourself a hard copy from O’Reilly if you wish.

https://abseil.io/resources/swe-book

Книга https://abseil.io/resources/swe_at_google.2.pdf

Досмотрел наконец-то Crust of Rust: Dispatch and Fat Pointers.

Jon, как обычно достаточно подробно, рассказывает о жирных указателях, unsized типах, диспатчинге и смежных темах.

Если вы не понимаете что-то из описанных тем и у вас есть достаточно времени на просмотр — рекомендую.

Птичка на хвосте принесла 😉 отличный репозиторий с книжками по Software Design https://github.com/mhadidg/software-architecture-books #books

Вполне себе известный Dan Luu запостил (обновил?) список важных и нужных блогов. Налетайте.

https://danluu.com/programming-blogs/

Дочитал Практическую криптографию Шнайера.

Вкусно и грустно. Насколько я правильно помню, ни одна проблема из упомянутых в книге 2004-го года так и не решена

Команда Telegram отдала ресурсы проекта TON сообществу сторонних разработчиков

Telegram передал домен ton.org и репозиторий проекта на GitHub сообществу разработчиков, которые теперь работают над TON.

«Мы рады видеть высокий уровень постоянного интереса сообщества к поддержке и развитию технологии TON. Поскольку сам Telegram больше не участвует в проекте и мы больше не используем связанные ресурсы, мы готовы рассмотреть возможность их передачи представителю сообщества для дальнейшего использования», — написала команда TON.

Теперь на сайте ton.org лежит уже новая информация от команды The Open Network (она же Newton). Этот ресурс больше не имеет ничего общего с Telegram.

Наконец написал статью о том как я пишу программы в самом широком смысле: как организовываю себя, как планирую структуру в самом начале, как планирую добавление сложной фичи.

Рассмотрел это на конкретном примере недавно реализованной программы для изучения слов.

После этой статьи вы будете использовать туду-пункты через соответствующее расширение вашего текстового редактора (я надеюсь хаха).

А даже если вы и умете самоорганизовываться, то надеюсь статья даст вам много полезных идей.

https://optozorax.github.io/how-i-write-programs

Занимательная статья об оптимизации CRDT (Conflict-free replicated data type, один из многих вариантов реализации конкурентного редактирования).

5000x faster CRDTs: An Adventure in Optimization

Там есть немного раста, много js-а и всякие занимательные штуки, рекомендую к прочтению :p

https://matklad.github.io/2021/09/04/fast-rust-builds.html

matklad как обычно дело говорит, на этот раз про скорость компиляции