Первый прогон материала завершён, по моим ощущениям, успешно. Решения программного комитета пока еще жду. А пока собрал мнения, идеи по улучшению материала, понял где надо улучшать, над чем работать:

- Перейти с C++11 на C++17 (на всякий случай я заложил стандарт постарее).
- Вместо std::deque использовать std::queue адаптер.
- Разобраться с 2-3 задачами, как их представить получше. Сейчас не понятно, зачем их решать.
- Добавить wait с предикатом, но не сразу.
- Попробовать продемонстрировать spurious wakeup.
- Работать над дикцией и голосом. Повышать уверенность.
- Исправить: текущее форматирование не совпадает с .clang-format'ом.
- Запускать многопоточные юнит-тесты много раз, т.к. планирование потоков недетерминированное.
- Добавить CTest.
- Добавить 1-2 дополнительных задачи.

Репозиторий: https://github.com/Yukigaru/cpprussia-workshop-condition-variable

Недавно мне задали вопрос:
> Какие ресурсы мог бы посоветовать, чтобы научится нужным скилам к собесу в High Frequency Trading компанию?

Подумал и составил небольшой список:

- Книга "Building low latency applications with C++", Sourav Ghosh, платно.

- Книга "Performance Analysis and Tuning on Modern CPUs", Denis Bakhvalov, бесплатно.

- Книга "C++ High Performance, 2nd edition", Bjorn Andrist, Viktor Sehr.

- Книга "Optimizing C++", Agner Fog, бесплатно.

- Блог Henrique Bucher, платно, но есть нюанс.

- Видео-лекции от Константина Владимирова.

- Интересуйся темами: networking (tcp, udp, multicast, tls, dns, http, websocket), concurrency, data oriented programming, IPC, shared memory, все про работу CPU, кэши, виртуальная память, аллокаторы, SIMD, time-series databases, perf profiling, хэширование, хэш-таблицы, heap, b-tree, ring buffer, intrusive containers, sorting алгоритмы.

- Изучай и практикуй тулзы: strace, ltrace, lsof, ss, objdump, netstat, tcpdump, nc, curl, websocat, ssh, perf, gdb/lldb, sanitizers. Не спрашивают, но необходимо в работе.

- Если нанимаешься в крупную/известную компанию, то просмотри все их технические лекции и доклады. Почитай их annual report за последние 2 года.

- Почитай в Glassdoor, какие вопросы они задают на собесах.

Однако, всё это и не требуется. Тебя возьмут, если хорошо ответишь на типовые сложные C++ вопросы и решишь все algo задачи. Этот пост про дополнительные материалы, которые настраивают тебя в нужном направлении, и заметно увеличивают шансы (попасть хоть куда кстати).

В продолжение предыдущего поста: был ещё вопрос "какие пет-проджекты можно поделать, чтобы на собесе это зачлось". Я подумал, и написал одну задачу (даже целый проект по объему), субъективно наиболее подходящую для инженера в core команду. Это не гарантирует успеха, и одновременно не является необходимым, но может помочь получить подходящие знания, доверие от интервьювера или вашу уверенность в общении.

Задача: разработать готовый к использованию механизм для shared memory IPC с минимальными задержками на передачу данных. Продумайте:
- как связывать между собой два процесса, по какому пути/ключу/id
- как сериализовать сложные структуры
- способ нотификации другого процесса о записанных данных, и синхронизации чтения и записи
- масштабирование: как будет работать механизм при увеличении количества читателей
- обработка падений и читателя и писателя
- версионирование
- обработку ошибок
- тесты
- обработку переполнений буферов
- запись метрик (время [де]сериализации, время реакции) в прометеус
- сравнить с другими 1-2 способами IPC в Linux
- сравнить с другими реализации на github

В HFT торговая система способна выставлять заявки с бешеной скоростью, и одна ошибка в коде (вплоть до одного неверного символа) может привести к быстрому сливу активов, принудительной ликвидации или штрафу от брокера/биржи/регулятора.

В 2012 году Knight Capital были самой крупной трейдинговой фирмой на американском рынке. Компанию строили 17 лет, в ней было состредоточено большое кол-во технологий, и все это было слито за час, 1-го августа 2012-го года, из-за серии ошибок в тех. процессах. Их система вошла в нежелательные позиции по ~150 stock'ам на общую сумму в $7 млрд. Впоследствии от позиции избавились с общими потерями в $440 млн, а компанию поглотил конкурент.

Читаем в оригинале.

🎉 Ура, приняли в программу "C++ Russia"! Сам поверить не могу. Ну штош, буду готовиться и улучшать материал.

Несколько лет назад, когда я работал в gamedev'е, я впервые пошел на "C++ Russia". Там узнал, что жизнь за пределами игровой индустрии существует, после чего сменил работу, и это дало мне большой толчок в развитии. Fun fact: на конфе был стенд с вакансиями, я его отфоткал, и забыл. Спустя 4 года случайно нашел фотографию, и понял, что оказался именно в той компании, которую заприметил. Жаль, что не пошёл туда раньше 😅.

Есть один очень мощный разработчик и исследователь Daniel Lemire (Блог, Github, X). Помимо прочего, он подарил нам simdjson, состоящий полностью из магии шаблонов, магии битовой арифметики, и магии SIMD.

В этом докладе Daniel рассказывает уроки, полученные при разработке библиотеки: https://www.youtube.com/watch?v=wlvKAT7SZIQ:
Что можно делать и не делать для ускорения парсинга, как избегать branch mispredictions, как ускорить валидацию utf-8, классификацию символов, обработку escape characters, про дорогой парсинг чисел, и про runtime dispatcing по архитектуре. Видео из 2019 года, с тех пор Даниэль и мейнтейнеры провели еще немало оптимизаций.

Если ты хорошо знаешь свои данные, то ты можешь достичь ещё большей скорости. Например, за счёт:
- шаблонных парсеров, настраиваемых на конкретное нюансы конкретного json'а
- знания структуры документа
- знания, что не будет unicode символов
- знания, что не будет whitespaces между значимыми символами
- знания, что не будет escape characters (\)
- пропуска ненужных тебе полей или всего сообщения (при определенных условиях)
- использования доп. потоков (пример)

Конечно, это не подходит для библиотек, для клиентских приложений, это очень хрупко, и не всегда парсинг json является самым узким местом.

Что почитать по C++ и разработке в целом?

1) Список замен для традиционных unix-way утилит от Julia Evans. Из предложенного я пробовал exa (норм), mosh (хорошо), fzf (отлично), lnav (отлично). Lnav - mush-have для анализа и просмотра логов. Жаль, он недостаточно хорошо оптимизирован для 5Gb+ файлов.

2) Ускорение binary search с помощью SIMD от Сергея Слотина. А казалось, бинарный поиск максимально простой, где там еще оптимизировать?

3) Новинки, попавшие в черновик стандарта C++26 от Антона Полухина, а так-же предыдущая статья на эту тему. Мне особенно понравились _ и RCU.

4) Jane Street рассказывают про свою open-source утилиту Magic-Trace (на ocaml), которая умеет собирать и обрабатывать Intel PT события. Как возникнет необходимость, попробую.

5) Low-latency optimizations: Huge Pages part I от Hudson River.

Застали падение на крипто рынке? Альты сходили на минус 20-30%. В такие моменты сервера работают с повышенной нагрузкой, траффик с бирж сильно растёт, задержки приходящих пакетов увеличиваются (т.к. биржи не вывозят шквал заявок), а технология проходит настоящую проверку. Частота сердечных сокращений повышается, и HFT сотрудники приходят за свои дески.

Что почитать по C++ и разработке в целом?

1) [middle] connect() - why are you so slow от Cloudflare.

2) [middle] How to stop Linux threads cleanly.

3) [middle] Semaphores are surprisingly versatile. Жаль, Preshing больше не пишет. Хорошие у него были гайды по concurrency и lock-free.

4) [middle] What a software developer must know about Unicode in 2023. Первый раз встречаю блог, но оформлен он очень круто. Стоит заглянуть.

5) [beginner] Видео от Jason Turner о безопасном использовании std::string_view.

Реализовывал подпись транзакций для одной из DEX бирж. Согласно питонячему примеру, мне нужно было сначала сериализовать сообщение msgpack'ом (популярный бинарный формат для сериализации), потом посчитать от него хэш, потом положить его в структуру, опять посчитать хэш по стандарту EIP-712, и наконец подписать. Сама биржа не документирует как делать подпись (ну правильно, зачем), а просто отсылает к реализации подписи на Python. В примере на python делается примерно следующее (это только часть):

msg = {"pair_id": pair_id, "is_buy": is_buy, "price": str(price), "size": str(size)}
packed = msgpack.packb(msg)
hash = keccak256(packed)

Msgpack умеет сериализовывать и питонячьи и C++ контейнеры, но ассоциативные массивы сериализует в порядке их обхода, а порядок обхода со времён Python 3.7 стал insertion-order (т.е. в том порядке, в каком были вставлены в dict, независимо от самого значения ключа). При портировании этого кода на C++ я сначала сериализовал std::map<std::string, msgpack::object>, что давало другой порядок (не insertion, а sorted), и соответственно другой хэш (а значит транзакция будет отклонена). Unordered_map тоже не подходит, он же "unordered". Немного поворчав, взял низко-уровневый C API, позволяющий сконструировать map вручную в нужном порядке:

msgpack_pack_map(p, 4);
msppack_pack_str(p, "pair_id");
msppack_pack_int(p, pair_id);
msppack_pack_str(p, "is_buy");
msppack_pack_bool(p, is_buy);
...

Возвращаясь к питону и insertion-order: изменение добавили в СPython в качестве оптимизации (а я как-то подзабыл эту новость 7 летней давности, хотя слышал). Внутри двойная структура: первая - хэш-таблица, содержит в качестве значений не сами элементы, а индексы во второй структуре, являющейся массивом (куда значения как раз попадают в insertion порядке). Это обеспечивает ускорение итерации, и стабильный порядок обхода (что довольно приятно в некоторых ситуациях), и уменьшенный memory footprint (за счёт уменьшения хэш-таблицы).

Здесь мейнтейнер питоняки Raymond Hettinger рассказывает подробнее, как эволюционировала реализация:
www.youtube.com/watch?v=p33CVV29OG8
Довольно интересно.

В выходные готовился к воркшопу на C++ Russia 2024: продумывал как лучше объяснять, куда вставить различные нюансы, фишки, объяснения багов, дописывал нюансы в коде, добавлял readme, добавлял опциональные задачи, добавлял комментарии, улучшал тесты, копал тему еще глубже. Репозиторий пока скрыт, но по плану я открою его за сутки до начала.
В рамках воркшопа участники напишут Queue, Latch, RWLock. В качестве "домашнего задания" останется: написать свой Condition Variable на Futex'ах (непростая задача), и Thread Pool на основе написанного Queue. Ближайшие несколько постов будут про воркшоп.

Я вернулся из отпуска и командировки, отдохнул и готов писать дальше. Что произошло за три недели?

Во-первых, я провёл воркшоп на конференции C++ Russia. В целом, всё прошло хорошо: люди были довольны, судя по благодарностям и форме обратной связи. Были технические неполадки (в середине мероприятия пришлось переключить микрофон), и не успели решить две задачи из семи, учту на будущее.

Во-вторых, похоже, что один из преподов OTUS'а решил спиздить вдохновиться воркшопом. Об этом расскажу в следующем посте.

В-третьих, мы в своей небольшой команде выходим на новую крипто-полу-defi-биржу. Это интересное время, которое очень драйвит. Однако результата легко и быстро не получить. Первая реализация обычно не даёт денег, и требует дальнейшей долгой настройки, бэктестов, оптимизаций и исследований.

Теперь об OTUS'е и воркшопе. Как-то случайно я зашел в какой-то плюсовый канал и увидел рекламу открытого вебинара на знакомую тему "Условные переменные". "Интересно посмотреть о чем они расскажут" подумал я, перешёл на сайт и сильно удивился. Текст с описанием вебинара был очень и очень похож на тот, который я писал ранее. Сравните сами на скриншотах.

Я всё еще не могу утверждать, что содержимое будет один в один, ведь сам вебинар я ещё не видел, но ситуация напрягает. Если хочется взять задачи с воркшопа, то можно связаться со мной, спросить разрешения, пообсуждать варианты. Можно и своё сделать, это не что-то секретное.

Репозиторий с задачами, если интересно: https://github.com/Yukigaru/cpprussia-workshop-condition-variable

Со мной связались представители OTUS и сказали, что преподаватель увидел рекламу воркшопа, а потом затеял свой, и описание похоже, потому что "базовые составляющие этой темы плюс минус одни". Говорят, контент будет уникальным. Считаю, вопрос закрыт.

А тем временем я затеял несколько воркшопов на новые темы (считай, понравилось, надо повторить). Из идей:

1) concurrency: mutexes (там тоже много интересного можно поделать, хотя казалось бы, мьютексы)

2) std sorting и ordering (sort, partial_sort, stable sort, nth_element, partition, lower/upper_bound, merge, компараторы, parallel sort, priority queue, heap).

3) gdb debugging (различные инструменты, отладка креш дампов, отладка без символов, форматтеры)
... (далее вырезано, чтобы не вдохновлять никого на вебинары с такой же темой)

Считаю, что самым сложным будет самостоятельено привлечь достаточное количество участников. Человек от 10, полагаю, будет достаточно, человек от 20 можно считать успехом. На cpprussia было ~45-50 участников, но у организаторов есть мощнейший ресурс для привлечения, и они даже ограничили количество сверху.

Технически будет так:
- собираемся в онлайн платформе (её подобрать еще нужно)
- даётся немного объяснений
- решаем задачи
- для шустрых есть доп. задачи
- после выдается большая задача на домашную работу

В нашем офисе желающим поставили подъемные столы с электромотором. Использую первый день, но предварительно могу сказать, что ощущается очень перспективно. Помогает сохранять бодрость. Не так сильно, как крэши на релизе, но тоже неплохо.

Пошуршал по интернету в поисках исследований, и нашел несколько: 1, 2, 3, 4. Все говорят о том, что standing desks чрезвычайно полезны для юзера:
- снижают субъективные ощущения дискомфорта и боли в спине, шее и плечах
- повышают продуктивность
- способствуют сжиганию жира
- улучшают объективные показатели кардиометаболического здоровья

Что почитать по C++ и разработке в целом?

[easy] Comparison of the three implementations of std::string (MSVC, GCC, Clang), с погружением в то, как data(), size(), empty() обрабатывают два состояния (small/large string).

[easy] Какие ошибки есть в коде LLVM от PVS-Studio.

[easy] Практический туториал по x86_64 assembly, если хочется самому написать "hello, world" на asm'е.

[medium] Свежий (2024г) бенчмарк годных хэш-таблиц. Цитата для привлечения внимания: "std::unordered_map: This table is far slower than most of the open-addressing tables in most of the benchmarks".

[hard] How fast are Linux pipes, а так же как они устроены, с погружением в нюансы ядра.

[hard] Книга Сергея Слотина Algorithms for Modern Hardware (не законченная). Оцените по оглавлению, сколько там интересного.

[impostor] Усталось и как с ней справиться - большой, но краткий обзор исследований на тему повышения работоспособности.

htop tips and tricks

> htop -d3 - можно уменьшить интервал обновления, например, до 300мс.

t - включить tree view (при этом сортировка по CPU отключается), с возможностью collapse/expand ветвей курсором.

z - приостановить обновление, полезно, если хочется рассмотреть список процессов подробнее, а он "дергается".

F - follow a process, т.е. выбрать конкретный, чтобы не потерять его при перестроениях списка.

a - установить thread affinity выбранному процессу.

s - посмотреть strace выбранного процесса.

l - отобразить открытые файлы процесса (lsof).

space - выделение процессов, U - отменить выделение, F9 - отправить процессу сигнал.

Интересный телеграм канал про разработку и HFT: On the way to 10x engineering. Стартовал примерно в одно время с моим каналом. Кто пишет и из какой компании - неизвестно, но пишет хорошо. Например:
- Speculative trading
- Знакомство с FPGA
- Hard skills in HFT

Анонсирую воркшоп "C++ concurrency: condition_variable". Я проводил его на C++ Russia 2024, и тогда было собрано 50 человек, и отзывы были положительные. Теперь собираю участников самостоятельно. Воркшоп пройдёт онлайн в пятницу 12 июля в 19:00 (utc+3), приходите!

Что будет на воркшопе:
- 6 практических задач
- напишете несколько примитивов синхронизации (Latch, Queue, RWLock, call_once, future/promise) на основе CV
- даётся код и нужно дописать реализацию класса или починить баг, всё максимально удобно для работы
- есть дополнительные усложнения для шустрых
- поговорим о том, что такое и когда нужен CV
- обсудим типовые ошибки и как их починить
- будет всё, что могут спросить на собесе на эту тему

Что будет после воркшопа:
- 2-3 задачи на самостоятельную проработку в свободное время

Когда: пятница 12 июля в 19:00 (utc+3)
Стоимость: свободная цена, т.е. выбираете сами от 0 руб до вы оплачиваете мне квартиру.

Зарегистрироваться (опционально)
Добавить в календарь

Про технические моменты по воркшопу:

1) Сервис видео конференций. Нужна поддержка конфы до 3ч, из-за чего не подходят бесплатные версии сервисов. Нужна задержка менее 300мс, из-за чего не подходят Youtube Live (в ultra low latency режиме обещают <5 сек, но это всё еще многовато), и Twitch (10-15 sec). Нужна оплата для пользователей РФ, из-за чего отваливается Google Meet. Cisco Webex в целом недоступна для нас. Microsoft Teams чересчур кроваво-корпоративный и мудрёный. Остаётся Zoom за $15 в месяц, его и взял.

2) Микрофон. Взял конденсаторный Fifine A6V с подключением по USB Type-C. Проверим в деле в пятницу.

3) Для ноутбука взял USB hub, чтобы позволить одновременно зарядку по USB Type-C и микрофон.

4) Видео камера: встроенная в ноутбук. Освещение: как получится в переговорке. Есть желание сделать качественную картинку, но это когда-нибудь в будущем. Сейчас сосредоточусь на содержимом.

5) Сервис для оплаты: крипта, либо по колхозному перевод на банк. карту. Думал, подключить Tribute, но в следующий раз. Оплата опциональна (свободная цена).

6) Код: в GitHub репозитории, будет открыт за несколько часов до начала, чтобы вы могли склонировать и собрать заранее. Сборка: любым удобным вам компилятором, поддерживающим C++17, плюс cmake. IDE: любое удобное вам.

7) Обратная связь. Стандартно соберу через Google Forms после мероприятия.

upd: Fifine микрофон по звуку норм (за свои деньги), но у него плохой usb-c порт, отваливается.