Еще весной я объявлял о подготовке запуска курса по System Design, который направлен как на подготовку к собеседованию, так и на изучение того, как действительно надо проектировать системы.

Вместо вертикального подхода aka - задизайним гугл/фейсбук/инстаграмм, мы решили пойти горизонтальным. Подробно разбираем каждый блок: БД, расчет нагрузки, масштабирование системы, повышение отзывчивости и тп, с кучей примеров и затем, уже в конце, комбинируем в готовый дизайн.

Два потока уже прошло, основные шероховатости обработали и теперь можно объявить здесь о третьем Потоке, стартующем в сентябре

В качестве дополнений можно вспомнить пробные интервью по систем дизайну, которые записывали прошлой зимой

●‎ ‎ Выпуск 1

Алексей, ученик 11 класса и победитель AIIJC — международного конкурса по искусственному интеллекту среди детей. Ему пришлось задизайнить сервис, делающий короткие ссылки.

●‎ Выпуск 2

Али — аналитик-разработчик из Яндекса получил задачу задизайнить Instagram

●‎ Выпуск 3

Тимлид команды ML в AliExpress Russia Евгений разрабатывал дизайн сервиса такси. Собственно с ним вместе мы и сделали System Design

●‎ Выпуск 4
Бонус, где аналитик Егор дизайнит web crawler.

Первое видео с анонсом hard ML мы записывали как будто на старой засаленой кухне, где пацаны собрались за столом попить пива и поговорить за жизнь. Новое видео таким харизматичным не вышло, зато оно короче в пять раз

Моя почта предлагает удивительно разнообразные автоответы на сообщения некоторых рекрутеров/продажников

1 сентября на вебинаре буду рассказывать про Перформанс ревью, калибровку, инженерные левелы, композицию тотал компа и как это все взаимосвязано

[Регистрация]

Во время написания главы про бейзлайны, вспомнил замечательную историю про хакатон Сибура.

Его затащила Светлана, прекрасный человек и специалист, с которой мне посчастливилось работать вместе.

Примечательно что она затащила его при помощи константы. Вернее ступеньки! Как любит поправлять меня Света.

Ищу людей на две вакансии у нас в blockchain.com


C++, Low Latency
Желателен опыт с трейдингом и криптой
Уровень - мид, синьор

Два Front End, инженера один будет работать на DeFi проектами, второй над биржей (описание здесь)

Платим как в ФБ, чуть больше даже, но сток еще не ликвидный
Писать можно мне - @VENHEADs

Сегодняшний вебинар про перфоманс ревью провалился

Вначале какая-то тетка каждые 10 секунд механическим голосом говорила Trial, очевидно хотела денег
Как только тетку удалось утихомирить, качество звука стало хуже некуда. Однако мы не остановились
Но после того как трансляция стала временами отваливаться, пропал всякий смысл это терпеть

Поэтому вебинар перенесен

По дороге в свой зал по джиу джитсу (London Fight Factory), наткнулся на здание, напоминающее дом Зингера в Петербурге.

На удивление, вывеска на заведении подтвердила эту гипотезу: Singer Tavern

К сожалению купюры ни в пятьдесят фунтов, ни в пять тысяч рублей не разбрасывали.

Видимо за этим надо ехать в Дубай

Вышел эпизод подкаста про карьеру в тех индустрии с моим участием

Добавил альтернативную ссылку на Sound Cloud

Интересно, будут ли пытаться кэнселить Apple, из-за чьей политики тысячи людей потеряли работу и сотни бизнесов разорились?

Статья в тему
Без пейвола

Искал секцию по борьбе (вольной или самбо) около дома

Единственное что нашел - Oil Wrestling Parties UK Headquarters

Задумался

Потребовалось отмерить небольшое количество воды с большой точностью. Инсулиновый шприц для этого подходит идеально.
С Амазона ждать день, но в трехстах метрах от меня аптека. Пошел туда

Спросил про шприцы - сказали не продают. Удивился
Затем спросили есть ли рецепт. Удивился еще сильнее

Оказалось нужно обратиться к GP, он даст рецепт, по рецепту бесплатно дают шприцы.
При таких раскладах видимо продавать нет смысла

Дикая страна

Прохожу курс по Дата Инженерии. Подтема - Slowly changing dimension.

Рассматриваем SCD 0 - The Type 0 dimension attributes never change and are assigned to attributes that have durable values or are described as 'Original'.

Лектор привел в пример пол студентов. Я тут же подумал что это не может быть SCD 0.

Культурные особенности разных стран

P.S. Вспомнил историю когда работал в банке Открытие
Некоторые клиенты регулярно меняли пол (сто и более раз за 3-5 лет)
Бывало даже воскресали

С интересом смотрю Linked In разных людей

Приятно знать что теперь учат сортировать за линию

P.S. В принципе отсортировать за линию (при ряде допущений) вполне можно, но вряд-ли это дефолтная функция

Прочитал статью CoLES: Contrastive Learning for Event Sequences with Self-Supervision, в который ребята рассказывают, как используя contrastive learning получать эмбединги для дискретной последовательности событий. Говорят, что применяют это в большой финансовой компании в Европе. По интересному совпадению, ряд авторов этой статьи читают канал

Пишут что генерить эмбединги вещь не новая, но если брать текст или картинки, то там контекст крайне помогает (соседние слова или пиксели), но так хорошо бывает не всегда.

For example, log entries, IoT telemetry, industrial maintenance, user behavior, travel patterns, transactional data, and other industrial and financial event sequences typically consist of interleaved relatively independent sub-streams.

Добавляют что популярные SOTA могут не выдать ничего путного с такими данными.
Используют новую хитрую аугментацию, генерируя подстроки из основной строки и используют их как высокоразмерные репрезентации изначальной строки. Применили метод на 4 датасетах и он везде зарешал

Какая цель? Сгенерировать такие эмбединги, чтобы они были близки, если произведены одним процессом и далеко, если разными (подстроки одного пользователя генерированы одним процессом)

Собственно на этом все; нарезали подстрок, отправили подстроки одного пользователя как позитивы, разных пользователей как негативы
Как меру близости использую Euclidian Distance (дополнительно обсудили как решать проблему negative samples)

Из интересного, решили использовать GRU для Sequence encoder

В целом - хорошая, прикладная инженерная статья. Не уверен что это будет state of the art, но рассмотреть как вариант для своих задач вполне можно
Из недочетов - 4 датасета кажется недостаточным для надежной оценки

P.S. Возможно в algorithm 1 (в статье) имеет смысл дополнительно слегка перемешивать соседние события?
#ArticleReview

Больше я не работаю в Blockchain.com как Head of Data Science

Как и прогнозировали сочувствующие на ячане, head of DS мне получилось быть лишь до поры до времени. С недавних пор моя должность изменилась. Теперь я VP, Data Science

P.S. предыдущее сообщение не должно было быть отправленным

20 сентября в 20:00. Тема и программа всё та же — «Перфоманс ревью и калибровка в технологических компаниях».

Есть интересный сервис https://promethease.com - туда можно загрузить результаты ДНК теста, например с 23andme и получить миниэнциклопедию себя, над которой можно зависать часами, хвалиться или ужасаться каким то результатам.

В течении получаса после загрузки выдается html файл, в котором можно вводить ключевые слова и получать результаты

Выглядит это примерно как на картинке. Саммари в целом в виде pie chart, краткий абстракт по каждому отдельному исследованию, его характеристики и ссылка

Сервис кстати бесплатен, поэтому если делали ДНК тест - советую

UPD: пишут что стоит 12 долларов