наши вопросы на собеседовании растовиков
# Раст
* c++ и rust: отличия в строении vtable
* зачем нужны ZST?
* как safe раст гарантирует отсутствие data race?
* что такое object safety
# Структуры данных
* btree
* hashmap (+ linkedhashmap)
* bloom filter (+ cuckoo filter)
# Растовое окружение
* как дела с сериализацией/десериализацией, какие форматы
* ошибки: операциональные/программерские, когда использовать assert, когда Error. failure
* асинхронщина: tokio, futures
* как устроен eventloop, как он связан с поллингом
# Общие вопросы
* чем low latency отличается от high throughput?
* sync/async? block/nonblock?
* linux планироващик
* cpu/numa affinity
* гипертрединг
* TCP vs UDP
* способы организации IPC в linux
* потоки vs корутины, когда что использовать

Таненбаум "Архитектура компьютера"
Скиена "Алгоритмы"
Клеппман "Высоконагруженные приложения"
Эспозито "Архитектура корп. приложений"

Современный бэкенд для фронтенда на Node.js

Вчера посмотрел доклад про BFF на летнем HolyJS и очень кайфанул — классный обзор бекендов для фронтендов, решаемых задачи и возникающих проблем. Очень хотел им поделиться, но (почему-то) был уверен, что в паблик его еще не выложили. А оказалось, что выложили.

#фронтенд #проектирование

Ого, в Postgres планируют (ну пока не кор-тим) завезти новое хранилище - zheap.

Хоть пост и не загружен технически, смысл прост - вынесем из туплов (tuple, ед данных во внутренностях Постгри, поправьте меня) данные связанные с транзакциями и...да и все по большей части. Суммарно сократим колво потраченных байт унеся их подальше.

Не знаю, появится ли оно в 14 (в чем я сомневаюсь), но жить станет приятнее я думаю. Был еще вроде план на pluggable storage, но не уверен, что это сделали и в жтом есть смысл для конечного пользователя.

https://www.cybertec-postgresql.com/en/zheap-reinvented-postgresql-storage/

#Vacancy #Tech #Lead #Python
Есть ремоут в американский стартап на #FinTech проект.

Распределенная команда, постоянный ремоут, возможно в будущем откроют офис в Украине (Киев).

Ранняя стадия. У всех есть возможность решать проблемы с нуля и брать на себя ответственность за проекты.
По ЗП: готовы обсуждать все ожидания.

Responsibilities:
- Build and ship new products
- Act as a technical leader for the development team
- Help accelerate time-to-value for the initial customers

Requirements:
- Software development experience with Python/Django 7+ years
- Lead experience in managing developers
- Experience working directly with VP or CTOs of startups
- Recent product company experience
- Passionate for hands-on work

Мои контакты:
[email protected]
Skype: socioengineer

Достаточно детальная статья с разбором, а почему Rust медленно собирается.

https://medium.com/@jondot/8-steps-for-troubleshooting-your-rust-build-times-2ffc965fd13e

Отдельно упомяну упомянутые https://github.com/google/bloaty и https://github.com/jondot/goweight и https://github.com/RazrFalcon/cargo-bloat (cpp gо, rust соотв)

Осенний аниме-сезон не очень. Но что тогда смотреть за завтраком/обедом и вечером? Делюсь с вами подборочкой.

- Линейная алгебра и геометрия ФКН ВШЭ. Онгоинг. Прикольный, бодрый сериал про алгебру, мне нравится.
- Машобуч СПбГУ - Сергей Николенко. Онгоинг. Сериал про классический ML. (Вообще смотрите все видосы на канале)
- Маш обуч ФКН ВШЭ - Евгений Соколов. Онгоинг. Классический ML. Хороший сериал.
- Алгоритмы и структуры данных. Онгоинг. Смотрел пару серий, мне понравилось.

Вышедшие сериалы, которые можно посмотреть.
- Алгоритмы и структуры данных. ШАД. М.А.Бабенко. Вышло в 2014. Огонь сериал, смотрел на одном дыхании.
- Программирование на С++ от CSC. Первый сезон. Второй сезон. - лучший сериал про с++, что я смотрел.
- Программирование на Rust от CSC. - Советую смотреть после сериала про С++. Отлично дополнит.

#prog #rust

Пара советов по строкам в Rust:

1) Если вам нужно разбить строку по одному из нескольких возможных символов — не спешите расчехлять регулярки, для это задачи вполне хватит стандартной библиотеки. Множество строковых методов навроде {, r}split{, _terminator}, trim{, _start, _end}_matches, find и прочие принимают в качестве аргумента для поиска значение, тип которого реализует пока нестабильный трейт Pattern. В настоящий момент его реализуют &str, &&str, &String, impl FnMut(char) -> bool и (почему-то малоизвестный) &[char]. Таким образом, разбить строку по нескольким символам легко:

let result = "Hello, world!".split(&['o', 'l'][..]).collect::<Vec<_>>();
assert_eq!(result, vec!["He", "", "", ", w", "r", "d!"]);

2) Если функция принимает на вход &mut std::str::Chars, что она может с ним сделать?

Вызвать `next`?

Нет.

Также вызвать `next_back`?

Нет.

Это всё неполные ответы. Если мы получаем мутабельную ссылку на Chars, мы можем редактировать произвольным образом, в том числе и поменять его целиком. Chars внутри себя содержит строки, символы которой он перебирает, и при помощи метода Chars::as_str эту строку можно достать. Таким образом, имея мутабельную ссылку на Chars, можно вытащить из него строку, вырезать из строки нужный кусок и переписать переданный итератор .chars() от этого кусочка.

Покажу на примере.

Вот первый способ вытащить строку из Chars (медленный, требующий аллокаций и не совсем корректный):

fn extract_line2(chars: &mut Chars) -> String {
    chars.take_while(|&ch| !matches!(ch, '\r' | '\n')).collect()
}

Второй способ (побыстрее и не требующий аллокаций):

fn extract_line<'s>(chars: &mut Chars<'s>) -> Option<&'s str> {
    let s = chars.as_str();
    let line = s.lines().next()?;
    *chars = s[line.len()..].chars();
    Some(line)
}

Развернутое сравнение rust & Zig. Не побоюсь сказать, что лучшее из увиденного по теме.

https://scattered-thoughts.net/writing/assorted-thoughts-on-zig-and-rust/

Вот вам подборочка хаков из кишочек Pebble:

1) https://github.com/cockroachdb/pebble/blob/master/internal/rawalloc/rawalloc.go
Аллоцируем неинициализированый (незануленый) слайс байт. Иногда надо если Вы знаете что всеравно сейчас перезапишите все эти байты своими, так что на инициализацию платить не хочется. Еще бывают случаи что вы предаллоцируете такой слайс, но может на полную его использовать не будете, поэтому вручную делаете инициализацию ленивой. Остальные варианты использования можете придумать сами и написать в коментарии.

2) https://github.com/cockroachdb/pebble/blob/master/internal/fastrand/fastrand.go
Прилинкованый lock free uint32 рандом из рантайма Go.

3) https://github.com/cockroachdb/pebble/blob/master/internal/bytealloc/bytealloc.go
Если Вы знаете что сейчас будете аллоцировать много маленьких байтслайсов можно предалоцировать их в одном слайсе побольше.

4) https://github.com/cockroachdb/pebble/blob/master/internal/intern/intern.go
Смотрите кто использует sync.Pool для построения кеша интернированых строк. А я то думал что первым додумался так ипользовать Pool 😐 в https://github.com/storozhukBM/pcache

5) https://github.com/cockroachdb/pebble/tree/master/internal/invariants
Как понять что тебя запустили под рейс детектором.

#distributed #lectures #edu

Странный состав лекций, возможно есть предварительный осенний курс. Но это MIT.

https://www.youtube.com/playlist?list=PLrw6a1wE39_tb2fErI4-WkMbsvGQk9_UB

#prog #python #article

Статья (в двух частях: первая, вторая), которая наглядно показывает слабость тайпчекера Mypy и проблемы с производительностью строк в Python. А, и ещё это статья о конструировании парсер-комбинаторов на Python, но это уже вторично.

В закладки.

A curated selection of artisanal consensus algorithms and hand-crafted distributed lock services.

https://github.com/graydon/awesome-consensus

В дополнение анимированный интерактивный туториал по Raft консенсусу. Известная ссылка, но вдруг кто не видел.
https://thesecretlivesofdata.com/raft/

https://reberhardt.com/blog/2020/10/05/designing-a-new-class-at-stanford-safety-in-systems-programming.html
https://reberhardt.com/cs110l/spring-2020/

Еще лекций по расту подвезли, кажется тут еще не мелькало. Тут правда похоже нужен хороший бэкграунд по C/C++

Чем заняться вечером нерабочего дня? Можно вложиться в самообразование и начать смотреть стенфордский курс лекций по распределенным системам от Мартина Клеппманна. Имя хорошо известно в кругах CRDT (бесконфликтные реплицируемые типы данных).

Плейлист: https://www.youtube.com/playlist?list=PLeKd45zvjcDFUEv_ohr_HdUFe97RItdiB