Со мной поделились ссылочкой на кучу бесплатных книг (научпоп). Хотя я к научпопу отношусь скептически, сам, конечно, потребляю. Наименее вредными считаю потребление научпопа именно через книги.

Кнопочка "скачать всё" может работать плохо.
https://vsenauka.ru/knigi/besplatnyie-knigi.html

Вы спрашивали про гелиофизику, а я нагло ничего не ответил. Исправляюсь.
Прежде всего, оказалось, что мой товарищ с январе больше не работает на NASA, а теперь уважаемый человек — профессор в теплой части восточного побережья. Однако, насколько я его понял, данные, оборудование, вычислительные мощности, доступные ему, как гелио-физику, примерно те же. Да и задачи похожие.

Прежде всего — данных много. Он пользуется данными Wilcox Solar Observatory. Местный телескоп генерирует примерно 50мегаБАЙТ в секунду. Это снимки в разных спектрах 4к х 4к точек.
Но, спойлер — никаких крутых IT решений здесь нет. Можете запросить данные вот здесь https://wso.stanford.edu/ и вам дадут ссылку на zip файл, с нужными данными.
Есть и классические тяжелые вычисления. Это наши любимые урматы, гоняемые на CPU кластерах, считают уравнения сноса, магнитогидростатики, диффузии и т.д. Это всё нужно для моделирования пятен, вспышек и электромагнитной активности.
Кроме такого классического подхода, мой друг продвигает ML. Для этого нужно гораздо меньше вычислительных мощностей (он все делает в питончике на своем ноуте), нужно только вытаскивать фичи из картинок. Можно, наверное и нейросеть на них натравить, но тут уж лучше взять GPU-кластер (напоминаю, картинки 4к х 4к каждую секунду), такое он не пробовал. Тут важно, какую задачу он решает. Для астронавтов критически важно , — буквально вопрос жизни и смерти — чтобы они не попали под выброс радиации, когда, например, собираются выйти в открытый космос. То есть нужно решать задачу прогнозирования, причем false positives вполне терпимы, а вот false negatives...сами понимаете.

Поболтали бодро и интересно, а потом он пошел разрабатывать курс гелиофизики для студентов, которые пока не знают, что такое вектор. Пожелаем ему удачи.

Сегодня у меня для вас просто интересная ссылка.
Оказывается, на заре страны советов существовала теория "стакана воды", согласно которой заниматься сексом должно быть так же просто и естественно, как выпить стакан воды. Нет, вы скорее всего не поняли. Предполагалось, что при коммунизме всё общее: еда, нефть, автомобили, жены и дети. Дети должны воспитываться в коммуне, а не в семье, здравствуй, детский сад. Жить надо в коммуналках, причём в идеале без кухни, чтобы кушать в _общественной_ столовой. Даже есть проекты таких домов, недавно в Москве реставрировать начали. Ну а раз дети общие, жильё и вещи тоже общие, готовить дома не надо, то семья не нужна, а жены и мужья могут быть общими.
Но дедушка Ленин не одобрил, причём, провел довольно точную аналогию, чтобы пояснить свою мысль (такое не часто встретишь): вряд ли вы захотите пить из стакана, к которому уже прильнуло с десяток губ.
https://ru.m.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D1%81%D1%82%D0%B0%D0%BA%D0%B0%D0%BD%D0%B0_%D0%B2%D0%BE%D0%B4%D1%8B

Про gamestop и прочие melvin'ы

Вчера услышал, что реддиторы HODL, потому что покупать уже не на что. И увидел, что мало кому понятен смысл такой стратегии. Нарисовал пальцем уродскую картинку и попробовал объяснить.

Напоминаю ситуацию. У крупных хедж-фондов открыты короткие позиции по акциям компании Gamestop. Короткие позиции это когда одолжил и продал, но обещал потом выкупить и вернуть.
Какие-то умные чуваки на Reddit прознали, что коротких позиций слишком много и начали коллективно скупать акции компании Gamestop. Идея была в том, чтобы задрать цену акций так, чтобы брокер выдвинул хедж-фондам маржин колл (требование о пополнении обеспечения), у фондов тогда не хватит свободных денег и они вынуждены будут купить акции по высокой цене, чтобы закрыть свои короткие позиции, тем самым вызвав ещё больший рост стоимости акций. Это называется short squeeze (short это короткая полиция).
Но у реддиторов денег мало, а у хедж-фондов много. Поэтому господа спекулянты решили "взять плечо", купив (длинная позиция, long) опционов call на акции. Продавцам таких опционов нужно покупать акции, чтобы закрывать свои риски, за счёт этого цену давили вверх.
Теперь у реддиторов лонг колл опционная позиция.
Это значит, что есть кто-то, кто шорт эти же самые колл опционы.
Если реддит держит опционы до экспирации,то продавцы опционов начинают покупать акции, цены растут, хедж-фонды несут деньги на маржин аккаунт или закрывают короткие позиции. Теперь о том, почему простое ожидание приводит к тому, что продавцы опционов будут покупать акции.

Вот график pnl покупателя колл опциона (для продавца оранжевая клюшка отражается относительно оси абсцисс).
Ордината -- pnl, абсцисса -- текущий курс акций S, K -- это страйк -- цена, по которой держатель опциона может выкупить акции у продавца в день экспирации.
Оранжевый график это график pnl покупателя опциона _в момент экспирации_.
Жёлтый график это какой-то момент до экспирации.
С течением времени жёлтый график постепенно ложится на/прижимается к оранжевому.

Теперь главное.
Смотришь, где сейчас находится курс, скажем, где зелёная вертикальная черта, не важно, главное, что правее K. На пересечении зелёной и жёлтой смотришь производную (тангенс угла наклона касательной к жёлтому графику в этой точке). Это называется дельта -- чувствительность стоимости опциона к движению курса.
Чтобы не обосраться, надо эту дельту хеджировать (положительную продавать, отрицательную покупать).
То есть, если ты продавец опциона, то у тебя на зелёной линии отрицательная дельта, значит, надо купить акций. В количестве, пропорциональном абсолютному значению дельты.

Теперь, напоминаю, жёлтый график прижимается к оранжевому, а значит, угол касательной становится больше, дельта растёт (в абсолютном выражении) со временем. И продавец опциона должен докупать акции с течением времени. В этом смысл HODL.

Вопрос в том, что, как видно из графиков, чем дальше K от текущего курса, тем меньшее значение для величины дельты имеет как течение времени, так и движение курса.
Так что если все опционы были проданы по далёким страйкам, то чуда не случится.

Возвращаясь к идеям коммунизма

В 1850 году в Китае началось тайпинское восстание. Хун Сюцуань не смог сдать экзамены на чиновника, перенервничал. Это наложилось на прочтённые им христианские трактаты, которые в то время активно впихивали всем грамотным китайцам мессионеры. В результате было Хун Сюцуаню откровение: приходили к нему два бородатых мужика, -- один беловолосый, второй черноволосый, -- говорили на непонятном языке. Хун Сюцуань тогда понял, что это были Бог-Отец и Иисус, а сам он -- младший брат Иисуса, третья деталь святой Троицы.
Красиво объединив христианские мотивы с традиционными древними китайскими легендами, а также с лютой ненавистью к конфуцианству и манчжурам, вызванными действиями тогдашней власти (династия Цин -- этнические манчжуры), Хун Сюцуань смог привлечь в свою религию довольно много людей. Из оказалось достаточно даже для восстания и успешного сопротивления регулярной государственной армии. На пике движения некоторые источники говорят о 100 миллионах участников и сочувствующих тайпинам (население Китая в то время составляло около 400 миллионов человек).

Интересны идеалогические аспекты движения. Землю делили не поровну, а честно, всё, что хозяйство произвело сверх необходимого для выживания сдавалось в "общак", из которого кормили голодных. Создавались детские дома, дома престарелых, поощрялось усыновление и, особенно, удочерение богатыми семьями детей из бедных семей. Женщинам давали права, равные правам мужчин. Дети должны выживать, потому что это ресурс -- люди, которые будут платить налоги. Где-то я встречал и теорию об общих детях, не принадлежащих семье, но кросс-ссылками это не подтверждается.
На время военных действий, впрочем, браки и вступление в сексуальную связь были запрещены. Женщины и мужчины жили отдельно и образовывали мужские и женские отряды. С кем жили дети, я не понял 😁.

Мао позже утверждал, что коммунизм, как идея, зародился именно в Китае, указывая на то, что Маркс был знаком с идеями тайпинов.

Восстание же было с трудом подавлено. В результате него погибло 20-30 миллионов человек. Это крупнейшая гражданская война в истории и крупнейшая война 19 века.

Я думаю, что Хун Сюцуань не смог победить, потому что он Хун, а не Хуан. (Кто не понял, тот поймёт)

А если вам интересно почитать про успешный вариант второго пришествия Иисуса в лице азиата, то вот вам прекрасная статья на Вики о Мун Сон Мён.
https://ru.m.wikipedia.org/wiki/%D0%9C%D1%83%D0%BD_%D0%A1%D0%BE%D0%BD_%D0%9C%D1%91%D0%BD

Помнится, я обещал выложить ссылочку на материалы по философии, истории и методологии науки. Наконец-то я собрался, оформил список, загрузил недостающие источники и даже написал своему аспирантскому семинаристу, потому что кое-что уже и подзабыл.

Кому будет интересно?
Тем, кто не изучал этот предмет, но интересуется ноучной ноукой или даже мнит себя крутым рационалистом, безропотным преспешником церкви имени Карла Поппера.

Что внутри?
А внутри мануал по вкатыванию в философию, историю и методологию науки! Мануал состоит из оригинальных статей и книг хайповых философов науки (статьи прилагаются!), расположенных в таком порядке, чтобы можно было заметить, как они перекликаются, дискутируют и критикуют друг друга сквозь века.
Поппер, Фейерабенд, Пуанкаре, Латур и другие представят вам свои точки зрения напрямую, без интерпретаций всяких популяризаторов. Вы сможете обдумать вопросы познания и науки с огромного количества углов зрения и составить свое собственное мнение.

https://drive.google.com/drive/folders/1e8WgRblve1hUbKl_8P4TU5E3InAPpgC8?usp=sharing

P.S.: Я не учёный, мой вклад науку ограничен магистерской со скорее отрицательным результатом. Но и мне было офигенно интересно изучать эти материалы и по-новому смотреть на то, чему меня учили в институте, и чем, а главное как, мы занимались во ФТИАН.

Дошли руки посмотреть любопытный гайд от твиттерских братюнь по undefined behaviour в C++.
Слушайте, я не понимаю, как вообще можно программировать _НА ЭТОМ_ и сохранять психическое здоровье.

Буквально час назад я _сгенерировал_ fluent interface builder на Java и тут же счастливо им воспользовался. А теперь я открыл очередную страницу гайда по ub и... У меня просто отвисла челюсть.
https://github.com/Nekrolm/ubbook/blob/master/lifetime/use_after_free_in_general.md

Ребята, C++ программисты, терпения вам и моё искреннее сочувствие. Вы -- сталь.

Об современную толерантность

Это заняло у меня больше месяца, но я дочитал прекрасную статью 2014 года. Она показалась мне ещё более релевантной сегодня. Кроме того, что я чуть лучше узнал политическую культуру США и Европы, я получил несколько глубоких идей для размышления. Вынесу пару интересных тезисов:
1. Люди гораздо менее толерантны к ближним, чем к дальним. Можно, конечно, быть расистом, сидя в Москве, но при этом _на самом деле_ гораздо сильнее ненавидеть, например, депутатов или собачников.
2. Люди из _действительно_ ненавидящих друг друга групп практически живут в параллельных вселенных. Если вы либерал, то практически невероятно, чтобы вы были лично (даже в интернете) знакомы хотя бы с одним прокремлевцем. В США даже крупнейшие онлайн площадки поделены по политическим взглядам. Мы это видели буквально недавно.
3. Очень модно показывать свою толерантность, осуждая группу, к которой ты вроде как принадлежишь. Например, мы, белые цисгендергые мужчины, не можем понять проблем сексуальных меньшинств. В действительности, человек, который такое заявляет, никогда не относит себя сам к группе непонимающих, он подразумевает соответствующую подгруппу своих противников, ближних противников, настоящих.
4. Толерантность демонстрируется очень выборочно. Пусть вот те черные парни разграбили магазины Apple, но это не повод думать плохо о моем черном соседе Джиме, он же это не делал. НО все трамписты должны быть уволены, наказаны и забанены, посмотрите на захват Капитолия!
https://slatestarcodex.com/2014/09/30/i-can-tolerate-anything-except-the-outgroup/

От себя хочу добавить, что это всё касается не только США. У прогрессивной отечественной молодежи принято слепо копировать запад. Так что у нас всё абсолютно то же самое.
Так вышло, что среди айтишников модно быть левым, Blue Tribe. А современный информационный пузырь создаётся именно айти компаниями: Twitter, Facebook, Google. Компании эти формируют именно свою нужную, правильную повестку. Сидишь такой в твиттере, а все вокруг примерно одного и того же мнения, не будешь же ты идти против толпы? Это противоречит человеческим инстинктам. Если все побежали, то надо бежать: в худшем случае побегаешь зря, но зато точно не сожрут.

Так, по всей видимости, и получилось, что Blue Tribe распространила свои ценности нам весь мир через онлайн медиа и соцсети. Ценности, местами очень лицемерные.
Снова прихожу к выводу, что нужно всё время думать своей головой. А это так больно, трудно и лениво! c'est la vie

А я всегда говорил, что спать в обед -- тема великолепная

Помню, после первого курса работал программистом, прогал систему для мониторинга ТЭЦ. Мой ментор в соседнем кабинете спал в обед каждый день! Я тогда удивлялся, как это он в присутствии начальника нагло храпит. А годы спустя и сам грешил регулярно!
Иногда берёшь что-нибудь в руку или ставишь таймер на телефоне и откидываешься в кресле, в наушниках. Как уснёшь, предмет из руки выронишь и проснешься. Но таймер гуманнее и надёжнее.

https://theconversation.com/napping-in-the-afternoon-can-improve-memory-and-alertness-heres-why-154423

Тезисно:
- спать в обед 10-30 минут помогает отдохнуть и сфокусироваться
- особенно круто выпить кофе и сразу лечь спать
- сон 30-90 минут улучшает когнитивные способности уже долгосрочно, особенно способность к обучению и память, но можно проснуться чуть менее сфокусированным
- дневной сон _связан_ с избыточным весом и высоким кровяным давлением, но где причина, а где следствие -- не установлено

Спать круто

У Вастрика вышла офигительная статья про квантовые компьютеры

https://vas3k.ru/blog/quantum_computing/

Написано хорошо, в достаточной степени упрощено, чтобы не давать искаженного представления о предмете. НЕ СЛОЖНО!
Я обычно объясняю через матрицы и минуте на 20-й моих рассказов большинство людей засыпают или отключаются. Здесь лучше.

Есть даже мануал КАК ПОГРОМИРОВОТЬ на qiskit.

Вася получает мой апрув и лойс, а вы шикарное чтиво на вечерочек.

Наверняка многие уже видели этот красивый сайт, но у меня лично руки дошли только вчера ночью.

https://seeing-theory.brown.edu/

Здесь собраны анимированные интерактивные картинки, иллюстрирующие разные понятия и даже методы из теории вероятностей и статистики. Очень красиво, качественно. Но изучить что-то по этим картинкам вряд ли получится :)
А вот поиграться — очень интересно.

Полезняшка юному солюшен архитектору

Если вам, как и мне, проще всего разбираться с новыми понятиями, отталкиваясь от примеров, то вам однозначно стоит ознакомиться с вот этой замечательной статьей о Domain Driven Design:
https://www.mirkosertic.de/blog/2013/04/domain-driven-design-example/

А пока наша история с ЦМФ всё никак не закончится (мы всё сдали, но оценок нет и не предвидится в ближайшем будущем), я решил попробовать ставший уже довольно известным курс Data Mining In Action от @kantor_ai и компании.
Вроде как должно быть коротенечко, удалённо и не слишком напряжно. А то сам я никогда это ваше мышиное облучение не сяду ботать.
На самом деле я и на этот курс пару раз заходил, ещё когда учился в универе, но тогда как-то не пошло. Посмотрим, что получится в этот раз.

Расскажу немного про первые впечатления от DMIA

Для того, чтобы попасть на курс, нужно было пройти довольно-таки несложный тест. В тесте задачки на (не самый) простой матанализ (градиенты, условные оптимизации), немножко линейной алгебры, немножко _очень_ базовой прикладной статистики, щепотка теории вероятностей и совсем крохи пайтона. Ограничения по времени нет — я нещадно гуглил и вообще решал два дня и вместе с другом-однокурсником. Прошел, как всегда, по краю — набрал минимальный проходной балл 🙃.
Любопытно, что была и вторая часть, в которой проверялось знание основ машинного обучения, чтобы те, кому будет скучно, не занимали места. Во второй части я тоже прошел по краю — на балл меньше допустимого максимума (подрандомило).

Судя по табличкам с результатами, желающих попасть на курс было около 500 человек, а взяли примерно 45-50. Так что задание по сложности было составлено близко к идеалу. Состав задания Виктор объяснил тем, что одних олимпиадников-математиков видеть на курсе не очень хочется, это все-таки не тот профиль, но работать приятнее с людьми, обладающими математической культурой.
Курсы бесплатные, преподаватели работают в собственный кайф — хозяин-барин!
В этом смысле здесь подход аналогичен ЦМФ. Но о нем расскажу в другой раз.

На первом занятии рассмотрели какие вообще задачи решаются машинным обучением, ввели терминологию и пробежались по стандартным методам типа knn, k-means, лин рег, решающие деревья, увидели как разные задачи формализовывать через оптимизацию impurity и даже немного потрещали про наивного байеса.
На втором уже подробнее разобрали деревья и посмотрели на ансамбли, в основном на бустинг, конечно.
Получается довольно плотно, но подача мне нравится. Особенно классно у Виктора получается не отвлекаться от темы! Вот он рассказывает какие-то прикладыне вещи, которые сейчас используются на практике, упоминает, что есть/были раньше еще другие подходы, методы, точки зрения, говорит, где можно об этом послушать и почитать для общего развития, и идет дальше. Минутка, чтобы дать ссылку, чтобы оставить в голове засечку, что бывает еще как-то иначе, а дальше чистая прикладуха. На мой вкус идеально.

Посмотрим, справлюсь ли я с домашкой. Объемы впечатляют, а времени на нее у меня не так много.
Всем 再见！

Спешу поделиться с вами ссылочкой на хороший курс по случайным процессам от ВШЭ на курсере.
Если давно хотели научиться решать стох диффуры или узнать разницу между фильтром и фильтрацией, то вам сюда. Курс на английском, поначалу может показаться сложным, но просто игнорируйте это ощущение и смотрите дальше, на самом деле изложено очень доступно.
Задания я, естественно, не решал, поэтому все мои комментарии относятся только к лекциям.
https://www.coursera.org/learn/stochasticprocesses/home/welcome

В самой-самой последней лекции есть прикольная модель, которую я почему-то раньше не встречал, но которая, казалось бы, довольно очевидная.
Для ряда цен выбирается винеровский процесс, но со стохастическим временем! Можно взять время пуассоновским процессом и получится, что ряд цен моделируется в трейд-тайм, а это гораздо правильнее моделирования в физическом времени.

Вообще для квантов там есть решение Блэка-Шоулса, Васичека и даже Орнштейн-Уленбека, а в конце камео какой-то мин-ревертящейся стохастик волатильности, вроде Cox-Ingress-Ross.
Прикольно, короче, посмотрите.

За торговые стратегии

Ха! Я знаю, что вы ждали такого. Но ничего сильно умного, боюсь, не выскажу.

А подумалось мне вот что. Сделали вы модель, которая делает прогнозы. Как теперь сделать торговую стратегию на её основе?
Кажется, что один из вариантов это запустить бинарный классификатор на прогнозах вашей модели: 1 - торговать, 0 - ничего не делать.
Но как же выбирать аллокацию? У нас есть старый добрый критерий Келли, например. Ему нужны вероятности и размеры выйгрыша и проигрыша в результате действия. С размерами вроде понятно, а вероятности можно взять из AUC ROC. Тогда подгоняя порог классификации в AUC ROC можно получить нужные вероятности, а значит и агрессивность/шарп.

А теперь расскажите мне, где я не прав/не точен?

Навеяно чтением вот этой статьи:
https://dyakonov.org/2017/07/28/auc-roc-площадь-под-кривой-ошибок/

Продолжаю держать вас в курсе DMIA. Как это постоянно бывает с курсами на добровольных началах, сроки едут, занятия продалбываются. В позапрошлую субботу лекция растянулась на два часа (из-за кучи вопросов, конечно), поэтому для семинара времени не осталось. В прошлую субботу занятия не получилось совсем.
Послушали про линейные модели в необычной подаче: сначала классификаторы, а уже в самом конце регрессии. Не могу оценить, насколько это лучше обратного порядка, потому что линейными регрессиями я уже был напихан до отказа еще до курса.
С домашкой я, кстати, таки справился, даже заранее. Задачки в формате ноутбуков, в которых нужно что-то дописать, реализовать функции и методы, мне очень зашли. Я бы назвал это лабораторками, сам похожие штуки делал для студентов своих операционных систем и джавы.
Контест вообще захватил мою душу. Я невероятно сильно хотел попасть в десятку, а у меня несколько дней это не получалось. Потому что в задании было явно сказано: используйте ансамбли, а я все пытался затащить линейной регрессией. В какой-то момент я таки влетел в тройку лидеров и успокоился. Люди, сдававшие в последний момент, в итоге выбили меня из десятки, но это было уже не важно. А важно здесь то, что в попытках затащить контест я начитался про стекинг, беггинг, разные скоры, кросс-валидацию, попробовал xgboost, catboost, разные sklearn'овские модели для регрессий, научился использоват фолды и оптимизаторы гиперпараметров. Контест для обучения — круто.
Самым сложным для меня традиционно стало теоретическое задание. Я снчала вообще не мог понять условия задач. Спасибо Саше, с которым мы тащим эту ношу вместе, он мне объяснил, что всё просто, на примерах с картинками. Я тоже дурачкам картинками все объясняю. Зарешал четыре из пяти. Мог бы и пятую (погуглить, почитать, мозгами не смог), но дедлайн подкрался незаметно. Теорию не люблю, но зато она помогает увидеть связи между, казалось бы, совершенно разными аспектами предмета.
Третьей домашки пока еще нет. Семинара-то тоже еще не было. Так что пока немножко чилл.