В дополнение анимированный интерактивный туториал по Raft консенсусу. Известная ссылка, но вдруг кто не видел.
https://thesecretlivesofdata.com/raft/

https://reberhardt.com/blog/2020/10/05/designing-a-new-class-at-stanford-safety-in-systems-programming.html
https://reberhardt.com/cs110l/spring-2020/

Еще лекций по расту подвезли, кажется тут еще не мелькало. Тут правда похоже нужен хороший бэкграунд по C/C++

Чем заняться вечером нерабочего дня? Можно вложиться в самообразование и начать смотреть стенфордский курс лекций по распределенным системам от Мартина Клеппманна. Имя хорошо известно в кругах CRDT (бесконфликтные реплицируемые типы данных).

Плейлист: https://www.youtube.com/playlist?list=PLeKd45zvjcDFUEv_ohr_HdUFe97RItdiB

#prog #article

Продолжение темы от того же автора: Names are not type safety.
https://lexi-lambda.github.io/blog/2020/11/01/names-are-not-type-safety/
В рассуждениях автора легко провести параллели с тем, как использовать и ограничивать unsafe-код в Rust.

А здесь более расширенный бугурт по поводу ipv6. И он вполне логичен.

Когда я впервые посмотрел, сколько же нас ждёт адресов, возник осмысленный вопрос: зачем моей стиральной машинке несколько лярдов адресов? (и если бы только моей).

NAT хоть и имеет свои особенности, но все же решает(?) проблему. Забавно что теперь это NPT (network prefix translation, а не address).

Ах, и конечно же безопасность. Самое время думать о миграции из network engineer в network security engineer, 3х ставку требовать с порога)

Думаю сейчас кто-то из сетевиков придет в коменты или в лс и расскажет мне как мир устроен, но все же - много.

Лонгрид на самом деле, но советую https://teknikaldomain.me/post/ipv6-is-a-total-nightmare/

​Егор Бугаенко замутил конфу по code quality: iccq.ru

Должно быть круто, жаль не успею подготовить доклад до 4 декабря.

Справедливости ради, это не первая конфа по качеству кода. Существует Static Analysis Symposium, который через несколько дней будет проводиться уже в 27 (!!!) раз. Да, это не совсем про code quality, но все-таки...

#prog #rust #article

Статья про то, как писать код с инициализацией данных, сохранив сильную exception safety.

"A Tale of Two Asyncs: Open Source Language Design in Rust and Node.js" by Ashley Williams

Очень занимательный доклад, рекомендую. (спасибо @ps2232)

How to Implement Your Distributed Filesystem With GlusterFS And Kubernetes

Learn the advantages of using GlusterFS and how can it help in achieving a highly-scalable, distributed filesystem

#k8s #kubernetes #glusterfs #devops

#education

Cornell University выпустил на первый взгляд невероятно крутой курс, который сделан специально для самостоятельно онлайн прохождения. Курс CS 6120: Advanced Compilers как можно догадаться про дебри компиляторов и всё, что вокруг. Базируется на LLVM и самодельном IR слое. Есть и лекции, и книги и статьи. Всего 13 уроков.

Вот очень приличный курс лекций из Кембриджа: https://www.youtube.com/playlist?list=PLeKd45zvjcDFUEv_ohr_HdUFe97RItdiB

Если ты вдруг невнимательно следишь за чатиками, тут вот стендфордский курс по расту пробегал:
https://reberhardt.com/cs110l/spring-2020/

Вот хороший годный TL;DR по трейсам сисколов с минимальным импактом на производительность, но это вам в счет нового года, договорились?

​Занимательная статья на Хабре (https://slurm.club/2KtNgD7) о том, почему Apache Kafka такая шустрая и популярная. Для тех, кто работает с технологией советуем ознакомиться с тем, что у кафки “под капотом”. Это многое объясняет. Например, можно почитать про батчинг записей, пакетное сжатие, буферизованные операции, zero-copy и другие фишечки.

#рецензии
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 1.

1. Deterministic Aperture: A distributed, load balancing algorithm

Балансеры в компании Twitter красиво переплетают идеи consistent hashing, непрерывной геометрии и power of 2 choices, что помогает сократить количество соединений в 10 раз и снизить дисперсию распределения запросов на 78%.

2. BOLT: A Practical Binary Optimizer for Data Centers and Beyond

Компания Facebook оптимизирует и так уже PGO соптимизированные C++ бинари в реальном времени, собирая профили и ставя горячие блоки кода близко друг к другу. Из-за этого сайты Facebook и Instagram ускорились на 5-7%, а пропозал по добавлению такой функциональности был принят в LLVM.

3. ScaNN: Efficient Vector Similarity Search

Google выложил свой алгоритм поиска похожих векторов, который обыгрывает по скорости все предыдущие примерно в 2 раза, отличие от других алгоритмов только в том, что ScaNN правильно подобрал константы для квантования и хорошо применил SIMD. Но удачи собрать и запустить это на C++.

4. Elle: Inferring Isolation Anomalies from Experimental Observations

Господин Jepsen наконец-то завершает свои походы со стабильным фреймворком для проверки консистентности в базах данных. В статье сказано: "we believe Elle will make the database industry safer", может быть, он всё таки имел в виду "suffer"?

5. The Case for a Learned Sorting Algorithm

Самобучающийся алгоритм сортировки пытается с помощью real-time модели предсказать примерные позиции в отсортированном массиве, а потом уже легко пройтись и найти точные. Да, оно работает быстрее, чем std::sort вместе с обучением. Да, оно потенциально выкопает могилу теоретикам. Результат как минимум примечательный, но сравнений алгоритмов для однозначной победы и правда маловато.

To be continued...

Короткая статья про дебаг кода на Rust в Vim

#prog #rust #debug #vim #howto

Список технических блогов, стоит добавить в закладки и раз в месяц почитывать

Cloudflare https://blog.cloudflare.com/
Netflix https://netflixtechblog.com/
Uber https://eng.uber.com/
Lyft https://eng.lyft.com/
Twilio https://www.twilio.com/blog
Facebook https://research.fb.com/
Twitter https://blog.twitter.com/engineering/en_us.html
Databricks https://databricks.com/blog/category/engineering
Google AI https://ai.googleblog.com/
Google Dev https://developers.googleblog.com/
Slack (already mentioned) https://slack.engineering/
Twitch https://blog.twitch.tv/en/?tag=engineering
Quora https://www.quora.com/q/quoraengineering
Discord https://blog.discord.com/engineering-posts/home

Статья о Unsafe Rust

#prog #rust #article #unsafe