"A Tale of Two Asyncs: Open Source Language Design in Rust and Node.js" by Ashley Williams

Очень занимательный доклад, рекомендую. (спасибо @ps2232)

How to Implement Your Distributed Filesystem With GlusterFS And Kubernetes

Learn the advantages of using GlusterFS and how can it help in achieving a highly-scalable, distributed filesystem

#k8s #kubernetes #glusterfs #devops

#education

Cornell University выпустил на первый взгляд невероятно крутой курс, который сделан специально для самостоятельно онлайн прохождения. Курс CS 6120: Advanced Compilers как можно догадаться про дебри компиляторов и всё, что вокруг. Базируется на LLVM и самодельном IR слое. Есть и лекции, и книги и статьи. Всего 13 уроков.

Вот очень приличный курс лекций из Кембриджа: https://www.youtube.com/playlist?list=PLeKd45zvjcDFUEv_ohr_HdUFe97RItdiB

Если ты вдруг невнимательно следишь за чатиками, тут вот стендфордский курс по расту пробегал:
https://reberhardt.com/cs110l/spring-2020/

Вот хороший годный TL;DR по трейсам сисколов с минимальным импактом на производительность, но это вам в счет нового года, договорились?

​Занимательная статья на Хабре (https://slurm.club/2KtNgD7) о том, почему Apache Kafka такая шустрая и популярная. Для тех, кто работает с технологией советуем ознакомиться с тем, что у кафки “под капотом”. Это многое объясняет. Например, можно почитать про батчинг записей, пакетное сжатие, буферизованные операции, zero-copy и другие фишечки.

#рецензии
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 1.

1. Deterministic Aperture: A distributed, load balancing algorithm

Балансеры в компании Twitter красиво переплетают идеи consistent hashing, непрерывной геометрии и power of 2 choices, что помогает сократить количество соединений в 10 раз и снизить дисперсию распределения запросов на 78%.

2. BOLT: A Practical Binary Optimizer for Data Centers and Beyond

Компания Facebook оптимизирует и так уже PGO соптимизированные C++ бинари в реальном времени, собирая профили и ставя горячие блоки кода близко друг к другу. Из-за этого сайты Facebook и Instagram ускорились на 5-7%, а пропозал по добавлению такой функциональности был принят в LLVM.

3. ScaNN: Efficient Vector Similarity Search

Google выложил свой алгоритм поиска похожих векторов, который обыгрывает по скорости все предыдущие примерно в 2 раза, отличие от других алгоритмов только в том, что ScaNN правильно подобрал константы для квантования и хорошо применил SIMD. Но удачи собрать и запустить это на C++.

4. Elle: Inferring Isolation Anomalies from Experimental Observations

Господин Jepsen наконец-то завершает свои походы со стабильным фреймворком для проверки консистентности в базах данных. В статье сказано: "we believe Elle will make the database industry safer", может быть, он всё таки имел в виду "suffer"?

5. The Case for a Learned Sorting Algorithm

Самобучающийся алгоритм сортировки пытается с помощью real-time модели предсказать примерные позиции в отсортированном массиве, а потом уже легко пройтись и найти точные. Да, оно работает быстрее, чем std::sort вместе с обучением. Да, оно потенциально выкопает могилу теоретикам. Результат как минимум примечательный, но сравнений алгоритмов для однозначной победы и правда маловато.

To be continued...

Короткая статья про дебаг кода на Rust в Vim

#prog #rust #debug #vim #howto

Список технических блогов, стоит добавить в закладки и раз в месяц почитывать

Cloudflare https://blog.cloudflare.com/
Netflix https://netflixtechblog.com/
Uber https://eng.uber.com/
Lyft https://eng.lyft.com/
Twilio https://www.twilio.com/blog
Facebook https://research.fb.com/
Twitter https://blog.twitter.com/engineering/en_us.html
Databricks https://databricks.com/blog/category/engineering
Google AI https://ai.googleblog.com/
Google Dev https://developers.googleblog.com/
Slack (already mentioned) https://slack.engineering/
Twitch https://blog.twitch.tv/en/?tag=engineering
Quora https://www.quora.com/q/quoraengineering
Discord https://blog.discord.com/engineering-posts/home

Статья о Unsafe Rust

#prog #rust #article #unsafe

Энтузиаст начал переводить эту красоту на русский. Вообще, 3b1b иногда просто приятно смотреть из-за классных анимаций, даже не пытаясь вдумываться в содержание.

https://youtu.be/aCvnUuYaRH8

Начало цикла статей по процедурным макросам в Rust

#prog #rust #proc_macro #article

#prog #rust #article

Обстоятельная статья о трейтах Send и Sync и о том, что они означают с точки зрения написания кода.

​найден простейший способ заменить sudo-пароль на Touch ID

Причём его суть заключается в добавлении одной-единственной команды в файл утилиты sudo:

https://tprg.ru/beWD

#рецензии
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 1.

1. Deterministic Aperture: A distributed, load balancing algorithm

Балансеры в компании Twitter красиво переплетают идеи consistent hashing, непрерывной геометрии и power of 2 choices, что помогает сократить количество соединений в 10 раз и снизить дисперсию распределения запросов на 78%.

2. BOLT: A Practical Binary Optimizer for Data Centers and Beyond

Компания Facebook оптимизирует и так уже PGO соптимизированные C++ бинари в реальном времени, собирая профили и ставя горячие блоки кода близко друг к другу. Из-за этого сайты Facebook и Instagram ускорились на 5-7%, а пропозал по добавлению такой функциональности был принят в LLVM.

3. ScaNN: Efficient Vector Similarity Search

Google выложил свой алгоритм поиска похожих векторов, который обыгрывает по скорости все предыдущие примерно в 2 раза, отличие от других алгоритмов только в том, что ScaNN правильно подобрал константы для квантования и хорошо применил SIMD. Но удачи собрать и запустить это на C++.

4. Elle: Inferring Isolation Anomalies from Experimental Observations

Господин Jepsen наконец-то завершает свои походы со стабильным фреймворком для проверки консистентности в базах данных. В статье сказано: "we believe Elle will make the database industry safer", может быть, он всё таки имел в виду "suffer"?

5. The Case for a Learned Sorting Algorithm

Самобучающийся алгоритм сортировки пытается с помощью real-time модели предсказать примерные позиции в отсортированном массиве, а потом уже легко пройтись и найти точные. Да, оно работает быстрее, чем std::sort вместе с обучением. Да, оно потенциально выкопает могилу теоретикам. Результат как минимум примечательный, но сравнений алгоритмов для однозначной победы и правда маловато.

To be continued...