Quant Valerian
1.77K subscribers
115 photos
6 videos
5 files
263 links
Авторский канал Валерия Овчинникова
Размышления про менеджмент команд, людей, проектов, себя и своих денег

Рандомный винегрет из мыслей и репостов тут https://t.iss.one/quant_valerian_cooking
Download Telegram
Я тут подумал, что не зря же я канал заводил!
И вообще тут уютно и только те, кому я интересен.
Поэтому минутка саморекламы.
Когда выделили отдельные цитаты, стало уже как-то неуютно.
Но что сказал, то сказал. Можно пооспаривать в комментариях :)
Forwarded from ЦМФ
Валерий Овчинников — руководитель группы разработки в Яндексе (ex-Raiffeisen Bank, Revolut, Deutsche Bank):
https://vk.com/cmf_russia?w=wall-42556983_2578

Источник ВК
Forwarded from ЦМФ
Сюда давно ничего нового не писал, каюсь.
Зато вот написал лонгрид про свои приключения со здоровьем, доказательной медициной и удачей.
Не по теме, но там людям зашло, может и вам интересно будет.
https://vas3k.club/post/12289/
1
О! ЦМФ стартовал свой YouTube канал, и первый же видос с одним из подписчиков канала и моим другом Сашей Ланцовым.
Теперь можно своими глазами посмортеть, чего там проходят на первом уровне.
Forwarded from ЦМФ
​Мы запускаем канал ЦМФ на Youtube: в ближайшие недели смотрите презентации проектов первого уровня программы «Количественная аналитика»

В первом выпуске — презентация проекта по теории вероятностей, математической статистике и случайным процессам:

Александр Ланцов, студент программы «Количественная аналитика»

0:35 Первая неделя: генераторы случайных чисел
2:35 Данные по коронавирусу
4:55 Вторая неделя: обработка данных по коронавирусу — учёт выходных и понедельников, оценка распределения, анализ динамики
7:32 Третья неделя: генераторы случайных процессов (винеровский, AR, марковский, GARCH и др.), оценка квантилей (VaR)

Ссылка на ноутбук: https://github.com/lantalex/cmf_statistics/blob/master/summary.ipynb

Подкасты с преподавателями и выпускниками ЦМФ: https://vk.com/@cmf_russia-cmfpodcast

Дополнительный набор на программы: «Анализ данных», «Риск-менеджмент» и «Финансовая аналитика»: https://vk.com/cmf_russia?w=wall-42556983_2683

https://www.youtube.com/watch?v=blMLK620yCg

🔗 cmf_statistics/summary.ipynb at master · lantalex/cmf_statistics
Contribute to lantalex/cmf_statistics development by creating an account on GitHub.


🎥 ЦМФ. Проект по теории вероятностей, математической статистике и случайным процессам
👁 11 раз 572 сек.
Александр Ланцов, студент программы «Количественная аналитика»:

0:35 Первая неделя: генераторы случайных чисел
2:35 Данные по коронавирусу
4:55 Вторая неделя: обработка данных по коронавирусу — учёт выходных и понедельников, оценка распределения, анализ динамики
7:32 Третья неделя: генераторы случайных процессов (винеровский, AR, марковский, GARCH и др.), оценка квантилей (VaR)

Ссылка на ноутбук: https://github.com/lantalex/cmf_statistics/blob/master/summary.ipynb

Страница ЦМФ: https://vk.com/cmf_russia

Подкасты с преподавателями и выпускниками ЦМФ: https://vk.com/@cmf_russia-cmfpodcast


Источник ВК
Посмотрел курс лекций Бунина про Хайлоад (не про конференцию, она мне не нравится). Рекомендую! Пожалуй, единственное пока место в интернете, где можно системно обучиться систем дизайну, простите за каламбур.
Рассказано про процесс разработки архитектуры, разобраны основные паттерны для построения высоконагруженных систем, всё с примерами. Дальше уже опыт и ковыряния в конкретных технологиях.

Я компенсирую отсутствие практики с high load системами изучением всего, что под руку попадается, да. Как обычно, всё золото приношу сюда.
https://youtube.com/playlist?list=PL4_hYwCyhAvYyx4TIRk6tLG0c8CLGzhE5
Ещё мне понравился доклад про работу с техническим долгом https://youtu.be/fl4aZ2KXBsQ
Многие разработчики абсолютно нетерпимы к техдолгу, хотят всё переписать, сделать красиво, перфекционисты в общем. В докладе доходчиво и аргументированно рассказывается, почему это может быть бесполезно и даже вредно. Как распознать такие ситуации и как идентифицировать куски, которые действительно нужно исправлять.
Моей новой команде это точно придется объяснять, морально готовлюсь.
Дайте контакты любого программиста (ну или аналитика там, кто рядом сидит) из Утконоса. Хочу узнать, как у них сделано, что корзину можно менять в течение нескольких дней, что товар за несколько часов до доставки не инаходится на складе, а в итоге и деньги правильно списаны, и чеки выбиты как надо.
Неплохо о том, как можно думать. Я неосознанно размышляю примерно так, как описал автор. Но он, в отличие от меня, отрефлексировал.
Иногда я играю в довольно веселую игру — пытаюсь понять, как работает мышление у людей, которых считаю дураками или сволочью.

Самое простое — понять чужие аргументы, построенные в общей для вас системе ценностей. Тут достаточно сделать две вещи: проанализировать лучшую, а не худшую версию логики «противника» и предположить, что некоторые посылки, которые кажутся вам ложными, на самом деле правдивы.

Я до сих пор хорошо помню, как впервые осмыслил роулзовский аргумент о справедливом обществе, тогда еще с презрением относясь к левым идеологиям. Основа аргумента — заявление, что (1) наши способности по большей части определены случайностью. Я долгое время считал эту предпосылку ложной, но когда допустил ее истинность, увидел, что дальнейшая логическая цепочка кажется почти безупречной. (2) Учитывая случайность, справедливо ли определять, как должно быть устроено идеальное общество, за «вуалью неведения», не зная, кем ты родишься — ни пола, ни социального класса, ни уровня интеллекта? Абсолютно. (3) Предпочли бы ли мы тогда общество, где неравенство существует только тогда, когда помогает наиболее угнетенным? Похоже, что да. «Черт возьми, я понял, как мыслят леваки», — подумал тогда я, ну а позже и сам стал таким.

Этот подход работает и с более сомнительными идеологиями. Например, часть аргументации инцелов строится на логике, удивительно напоминающей построения феминисток или сторонников Critical Race Theory. Умеренная версия «инцеловского» аргумента про «монополию на секс» выглядит так: (1) Женщины определяют, с кем заниматься сексом (2) Мужчины, которых природа не одарила красотой, лишаются секса, что несправедливо и делает их несчастными (3) Предпочтения женщин можно скорректировать общественными стандартами, чтобы доступ к сексу распределялся более равномерно, а часть мужчин перестали угнетать. Тезисы (1) и (3) выглядят сомнительно, но если допустить, что есть люди, верящие в их истинность, то логическая цепочка не выглядит фундаментально ошибочной.

Следующий этап — принять ценности, отличные от тех, что вы разделяете. Мой любимый пример — «Доктрина фашизма» Муссолини и Джентиле — здесь счастье индивидов и их права вообще не являются ценностью, важно лишь благо независимой сущности — государства. Чтобы понять, как люди верят в другие ценности, нужна уже не логика, а правильный настрой. Мне, например, помогает чтение текстов художников — скажем, «Манифест футуризма» Маринетти приводит меня в настроение, в котором я верю в абсолютную ценность красоты — понятия совершенно абстрактного и неутилитарного. Если после этого взяться за Муссолини, становится легче поверить, что можно пожертвовать чувствами людей ради блага абстрактного государства.

Наконец, самое сложное — принять модели мышления, которые вообще не основаны на логике. Вот отрывок из дискуссии, где верующий утверждает: нет такого факта, который убедил бы его отказаться от веры в бога. Кажется, это форменный идиотизм — разве не очевидно, что ваши представления о мире должны обновляться на основе фактов?

Обычно для того, чтобы примерить на себя такие модели мышления, люди пьют аяуаску с шаманами или открывают для себя «двери восприятия» с помощью мескалина. До этого этапа я пока не дошел, но думаю, что есть один факт, который каждый из нас принимает на веру — существование нашего сознания (или, как говорят философы, «квалиа»). Какие факты убедят вас в том, что вы – философский зомби, который ведет себя как человек, но ничего не ощущает? Когда вы поверите, что вы – машина, у которой нет мыслей? Думаю, таких фактов не существует, хотя и доказать обратное невозможно (доказательства существования сознания есть только в вашем сознании – а это крайне сомнительный способ построить аргумент). Если попытаться отрефлексировать, что вы чувствуете, когда говорите «я знаю, что я существую», то можно понять, что чувствуют верующие люди, когда говорят «я знаю, что существует Бог» – это просто ощущение, «встроенное» в сознание, отказаться от которого невозможно. Мне эта аналогия помогла стать немного толерантнее к верующим.
Раз уж мы тут в основном про моё образование, то... Не многие знают, что я дипломированный переводчик в сфере профессиональной коммуникации. Соберусь с силами и расскажу, как так вышло, чему учили (что вспомню), и какая от этого польза. А это пост-тизер.
Заметил, что программисты на С++ в принципе не очень любят concurrency (и я могу их понять!), а уж трешак без блокировок и подавно. Тем не менее есть энтузиасты performance-инженеры в трейдинге и во всяких там гуглах. НО! Сколько я за ними наблюдаю, сколько вижу офигенных идей типа core local cache, бомбических статей про lock-free алгоритмы и даже попыток формализовать memory model плюсов, ни разу еще не встретил, чтобы ребята упоминли lock-free hash-table от Cliff'а Click'а!
А это, между тем, табличка с lock-free resize'ом и re-hash'ем! Более того, в реализации много интересных деталей. Таблица по принципу открытой адресации, где значения, лежат в памяти по соседству с ключами, чтобы минимизировать кеш-миссы. Никаких связных списков (только false sharing, да, не удержался, извините, но если памяти у вас много, то и это лечится).

Помню, году в 2014, когда я работал в Дойче Банке, учился в ШАДе и читал The Art of Multiprocessor Programming (и статьи еще всякие), я задался целью сделать такую хеш-таблицу. Я пробовал иерархии, использовать две хеш-таблицы (как при куку-хешировании), думал над стейт-машиной, но... Клифф Клик думал быстрее и лучше меня. У него получилось придумать стейт-машину, благодаря которой табличка и ресайзится и рехешится и lock-free.
Короче, почитайте. Исходник здесь, на удивление (для такой задачи) понятный код. Есть презентация, а еще есть видосики на ютьюбе, но там сами найдете.

Пишите в комменты, если вы плюсист и знали про эту хеш-таблицу, но не кодили ее, потому что не любите lock-free аллокаторы (если кодили, то тоже комментируйте).