А пока наша история с ЦМФ всё никак не закончится (мы всё сдали, но оценок нет и не предвидится в ближайшем будущем), я решил попробовать ставший уже довольно известным курс Data Mining In Action от @kantor_ai и компании.
Вроде как должно быть коротенечко, удалённо и не слишком напряжно. А то сам я никогда это ваше мышиное облучение не сяду ботать.
На самом деле я и на этот курс пару раз заходил, ещё когда учился в универе, но тогда как-то не пошло. Посмотрим, что получится в этот раз.

Расскажу немного про первые впечатления от DMIA

Для того, чтобы попасть на курс, нужно было пройти довольно-таки несложный тест. В тесте задачки на (не самый) простой матанализ (градиенты, условные оптимизации), немножко линейной алгебры, немножко _очень_ базовой прикладной статистики, щепотка теории вероятностей и совсем крохи пайтона. Ограничения по времени нет — я нещадно гуглил и вообще решал два дня и вместе с другом-однокурсником. Прошел, как всегда, по краю — набрал минимальный проходной балл 🙃.
Любопытно, что была и вторая часть, в которой проверялось знание основ машинного обучения, чтобы те, кому будет скучно, не занимали места. Во второй части я тоже прошел по краю — на балл меньше допустимого максимума (подрандомило).

Судя по табличкам с результатами, желающих попасть на курс было около 500 человек, а взяли примерно 45-50. Так что задание по сложности было составлено близко к идеалу. Состав задания Виктор объяснил тем, что одних олимпиадников-математиков видеть на курсе не очень хочется, это все-таки не тот профиль, но работать приятнее с людьми, обладающими математической культурой.
Курсы бесплатные, преподаватели работают в собственный кайф — хозяин-барин!
В этом смысле здесь подход аналогичен ЦМФ. Но о нем расскажу в другой раз.

На первом занятии рассмотрели какие вообще задачи решаются машинным обучением, ввели терминологию и пробежались по стандартным методам типа knn, k-means, лин рег, решающие деревья, увидели как разные задачи формализовывать через оптимизацию impurity и даже немного потрещали про наивного байеса.
На втором уже подробнее разобрали деревья и посмотрели на ансамбли, в основном на бустинг, конечно.
Получается довольно плотно, но подача мне нравится. Особенно классно у Виктора получается не отвлекаться от темы! Вот он рассказывает какие-то прикладыне вещи, которые сейчас используются на практике, упоминает, что есть/были раньше еще другие подходы, методы, точки зрения, говорит, где можно об этом послушать и почитать для общего развития, и идет дальше. Минутка, чтобы дать ссылку, чтобы оставить в голове засечку, что бывает еще как-то иначе, а дальше чистая прикладуха. На мой вкус идеально.

Посмотрим, справлюсь ли я с домашкой. Объемы впечатляют, а времени на нее у меня не так много.
Всем 再见！

Спешу поделиться с вами ссылочкой на хороший курс по случайным процессам от ВШЭ на курсере.
Если давно хотели научиться решать стох диффуры или узнать разницу между фильтром и фильтрацией, то вам сюда. Курс на английском, поначалу может показаться сложным, но просто игнорируйте это ощущение и смотрите дальше, на самом деле изложено очень доступно.
Задания я, естественно, не решал, поэтому все мои комментарии относятся только к лекциям.
https://www.coursera.org/learn/stochasticprocesses/home/welcome

В самой-самой последней лекции есть прикольная модель, которую я почему-то раньше не встречал, но которая, казалось бы, довольно очевидная.
Для ряда цен выбирается винеровский процесс, но со стохастическим временем! Можно взять время пуассоновским процессом и получится, что ряд цен моделируется в трейд-тайм, а это гораздо правильнее моделирования в физическом времени.

Вообще для квантов там есть решение Блэка-Шоулса, Васичека и даже Орнштейн-Уленбека, а в конце камео какой-то мин-ревертящейся стохастик волатильности, вроде Cox-Ingress-Ross.
Прикольно, короче, посмотрите.

За торговые стратегии

Ха! Я знаю, что вы ждали такого. Но ничего сильно умного, боюсь, не выскажу.

А подумалось мне вот что. Сделали вы модель, которая делает прогнозы. Как теперь сделать торговую стратегию на её основе?
Кажется, что один из вариантов это запустить бинарный классификатор на прогнозах вашей модели: 1 - торговать, 0 - ничего не делать.
Но как же выбирать аллокацию? У нас есть старый добрый критерий Келли, например. Ему нужны вероятности и размеры выйгрыша и проигрыша в результате действия. С размерами вроде понятно, а вероятности можно взять из AUC ROC. Тогда подгоняя порог классификации в AUC ROC можно получить нужные вероятности, а значит и агрессивность/шарп.

А теперь расскажите мне, где я не прав/не точен?

Навеяно чтением вот этой статьи:
https://dyakonov.org/2017/07/28/auc-roc-площадь-под-кривой-ошибок/

Продолжаю держать вас в курсе DMIA. Как это постоянно бывает с курсами на добровольных началах, сроки едут, занятия продалбываются. В позапрошлую субботу лекция растянулась на два часа (из-за кучи вопросов, конечно), поэтому для семинара времени не осталось. В прошлую субботу занятия не получилось совсем.
Послушали про линейные модели в необычной подаче: сначала классификаторы, а уже в самом конце регрессии. Не могу оценить, насколько это лучше обратного порядка, потому что линейными регрессиями я уже был напихан до отказа еще до курса.
С домашкой я, кстати, таки справился, даже заранее. Задачки в формате ноутбуков, в которых нужно что-то дописать, реализовать функции и методы, мне очень зашли. Я бы назвал это лабораторками, сам похожие штуки делал для студентов своих операционных систем и джавы.
Контест вообще захватил мою душу. Я невероятно сильно хотел попасть в десятку, а у меня несколько дней это не получалось. Потому что в задании было явно сказано: используйте ансамбли, а я все пытался затащить линейной регрессией. В какой-то момент я таки влетел в тройку лидеров и успокоился. Люди, сдававшие в последний момент, в итоге выбили меня из десятки, но это было уже не важно. А важно здесь то, что в попытках затащить контест я начитался про стекинг, беггинг, разные скоры, кросс-валидацию, попробовал xgboost, catboost, разные sklearn'овские модели для регрессий, научился использоват фолды и оптимизаторы гиперпараметров. Контест для обучения — круто.
Самым сложным для меня традиционно стало теоретическое задание. Я снчала вообще не мог понять условия задач. Спасибо Саше, с которым мы тащим эту ношу вместе, он мне объяснил, что всё просто, на примерах с картинками. Я тоже дурачкам картинками все объясняю. Зарешал четыре из пяти. Мог бы и пятую (погуглить, почитать, мозгами не смог), но дедлайн подкрался незаметно. Теорию не люблю, но зато она помогает увидеть связи между, казалось бы, совершенно разными аспектами предмета.
Третьей домашки пока еще нет. Семинара-то тоже еще не было. Так что пока немножко чилл.

Начну потихоньку рассказывать про ЦМФ

Прежде всего надо объяснить, что это такое. Сейчас, когда я уже довольно много общался с организаторами в том числе за рамками обучения, у меня есть понимание, как они себе видят ЦМФ сами.
Центр Математических Финансов это такой образовательный кружок. На добровольных началах группа людей из индустрии и академии проводит популяризацию количественных финансов. Есть и коммерческие истории, например, курсы подготовки к CFA и FRM, но о них я ничего толком не знаю.
Программа достаточно утилитарная и нацелена на подготовку к работе в области количественных финансов.
Бояться ничего не нужно. Это действительно _кружок_. Все работают и учатся в кайф. Нет никакой потогонки, рейтингов, публичного осуждения. Задача заинтересовать и показать какие-то основы области и разных связанных профессий.

Поступление
Поступить довольно просто. В мой год нужно было проанализировать бизнес компании Tesla и дать прогнозы по ней. То есть это буквально эссе. Такой вступительный нужен, чтобы сразу отсеять случайных людей, оставить только тех, кому действительно интересны около-трейдинговые вещи.
Второй вариант поступить — предоставить диплом одного из топовых технических ВУЗов страны (МФТИ, ВШЭ, МГУ и т.д.) со средним баллом не ниже 4.5 или около того. А говорили, что мне мой красный диплом не понадобится! Право, не про Tesla же писать.
Заявок была тьма, штук 500. Зачислили тоже огромную толпу, человек 150. Но видно, что эссе-фильтр получился довольно неплохой.

Программа курса состояла из четырех модулей:
1. Алгоритмическая торговля
2. Структурные продукты
3. FX Options Trading
4. Оценка, аллокация и управление портфелем акций

Угадайте, после каких модулей отваливалось больше всего людей и на какие больше всего людей приходило?

Недавно посетил два довольно длинных вебинара школы Московской биржи по торговле фьючерсами и опционами.
В общем для новичков на Московской бирже это полезный вебинар: рассказали что за инструменты, как считать фикс и вар маржу, где есть ликвидность, как это посмотреть, немножко даже про интеграцию квика с экселем.
Но это всё перемежается рассказами лекторши о её успешных успехах в теханализе и средненьких 50% годовых. Это можно понять, ей же надо свои платные вебинары продавать тоже. Однако рассказ об опционах абсолютно некомпетентен и вводит в заблуждение. Из него выходит, что опционы это практически чисто спекулятивный инструмент, который к тому же всегда хуже фьючерсов. И единственная толковая причина купить опцион -- это отложенная покупка акций.

С другой стороны, пусть лучше новички и правда не лезут в сложные продукты, сберегут кошельки.

Самой попсовой темой (куда больше всего пришло и после которой больше всего ушло) оказался, конечно, алгоритмический трейдинг. Никаких тайн не рассказали, а задание оказалось довольно объемным и трудоёмким.
Акции тоже были весьма популярны, но до них дожило так мало людей, что там никто не отвалился.
Для многих оказался тяжёлым формат опционов, на котором я кайфанул больше всего. Вёл коллега по цеху, с которым мы торговали, тоже парень с Физтеха. Но тут не было домашек толком, люди просто сдались и забили ходить.

Так что в комментариях в общем довольно правильно всё оценили.

TIL кальян спасает от икоты

В комментариях принесли ссылку на летнюю школу ВШЭ на тему финтеха
https://cs.hse.ru/fintechschool/

Я пропал, но это было временно!

В связи с внезапно появившимся свободным временем сейчас буду графоманить.

Ближайшие два поста будут про последние два занятия на DMIA.

Третье занятие на базовом курсе DMIA провела Эмили Драль. В этот раз была очень длинная и очень плотная лекция. Рассказала она нам про разные метрики качества. Причем там было всё: и классификация, и регрессия, и ранжирование. Так же был блок про практику. Как метрики выбирать, строить, кастомизировать, объяснять заказчику, интерпретировать самому. В общем, три часа отборного материала в высоком темпе. Я уснул за 15 минут до конца первой части и за час до конца второй 😂
Пришлось потом пересматривать запись. Очень интересно, подробно и полезно. Я даже всё понял, кажется.

Финальная лекция (и небольшой семинар) были по обучению без учителя. Всякие там кластеризации, понижения размерностей. Прикольные штуки типа t-SNE (https://distill.pub/2016/misread-tsne/) и word2vec. Но получилось на мой взгляд как-то очень по верхам. Я мало чего запомнил из такого обзора. Заодно выдали последнюю домашку: сентимент анализ текстов (есть размеченый корпус). Я успел посидеть за ней пару вечеров и сколь-нибудь хорошего скора у меня не получилось. Как будет возможность, попробую ещё — расскажу потом, что получлось.
Stay tuned.

Кстати, на следующий модуль — Индустрия — решили брать всех, кто дожил до конца базы. Там будут практические задачки. Я, конечно, больше хотел на deep learning, но он, похоже, отменяется.

Fun fact: модуль кейсы и индустрия ведет некогда студент моей жены. Уроборос однако.

Продолжаю свои пост-реанимационные посты, теперь уже из дома, но всё ещё с больничного (не ковид).

Пока у нас были заминки и перерывы в DMIA, я по-тихонечку ботал ODS-ный курс:
https://mlcourse.ai/

Он начинается с exploratory data analysis, что моей физической душонке крайне близко, рекомендую. В общем, этот курс неплохо дополняет то, что ребята рассказывают на DMIA.

Кроме того, вспомнил старые деньки, когда я учился в ШАД. Залогинился в вики школы и посмотрел пару-тройку лекций и семинаров курса Воронцова. В них гораздо больше математики, того, как все устроено внутри. Кроме того, кругозор от лекций Воронцова расширяется гораздо сильнее (Кантор об этом говорил на своих лекциях), потому что рассматриваются совершенно разные, в том числе устаревшие или непопулярные нынче методы. Я люблю идти "дедуктивно": от магической коробки, к её устройству внутри (от радиоэлектроники к квантовой физике, если проводить аналогии), поэтому Воронцова решил отложить на попозже, когда закончу DMIA и ODS (благо, осталось чуть-чуть).

Знаю людей, которым нужно наоборот — сначала понять основы, а потом из них строить абстракции.
А вам какой тип обучения больше заходит?