Написал я это ваше авито. Жду приглос на собес, не иначе.

Пятнадцатый день симулятора(15/90)

До сих пор болею, тяжко работать. Но все равно я прохожу симулятор в свободное время. Пушо тяяяяянет. Наркотики они такие
Сегодня встал, жестко нарешал ААА(кстати максимально лайтово, я даже не напрягался). Минутка на каждое и все, чилл. Жду приглос на собес, кста

По задачам:
Честно говоря, вообще не хотелось приступать к RECALL @ K. Но пришлось. Как же я не люблю Recall, Precision в 'физическом' понимании. Всегда путаюсь.

ROTATION BUG. Ну простенько. Аугментацию сделать, баг найти, тесты написать, исправить.

А теперь интересное - DECISION TREES. Начал проходить. Сходил в ClickHouse, сам сформировал себе датасет 😎
Теория оч красиво, интересно и познавательно написана. Мне зашла. Вот сейчас пошел пак задач, который мне очень заходит.

Из забавного - ходил в больницу, дали больничный, но перед этим отправили в экстренную. КАКОВО БЫЛО МОЕ УДИВЛЕНИЕ, КОГДА МНЕ ДАЖЕ ТАБЛЕТКИ ВЫДАЛИ ДЛЯ ЛЕЧЕНИЯ!!! БЕСПЛАТНО!!! У меня на Родине такое только во влажных снах снится....

Эх, Москва.

Шестнадцатый день.

чуть позже напишу отзыв, ибо я чет устав

ЗАВЕРШАЮЩИЕ МОДУЛИ. Это все было в один день.

Они были самые интересные для меня. Поэтому я не мог оторваться, пока недорешаю их все. Будто на наркотики подсел, но это неважно. Надо было создателям курса писать дисклеймер, мол, вызывает привыкание.

DECISION TREE. Лютейшая база. Когда-то реализовывал на курсе тинька, но это не то. Здесь аккуратно, пошагово, с пояснениями, с красотой. И все в голове встало на свои полочки. Понятно как, понятно почему, понятно зачем. Этого в основном не передать словами. Просто настигнут дзен. Полное понимание происходящего.

QUANTILE T-TEST. Сделал очень быстро. По типу A/B теста. Никогда с ними не работал, в это не лез. Зато познакомился, всопмнил первые степы Анатолия из степика по курсу мат.стата и все. Моя математическая чуйка с прекрасно написанной теории в симуляторе помогла мне разобраться и решить задачу.

YAML CONFIG. Вот здесь пришлось посидеть. С рекурсией у меня беды, пришлось позаморачиваться с базовыми случаями, с логикой работы. А так, когда занимался Transfer Learning в детекции LPD/LPR(Licence Plate Detection and Licence Plate Recognition), где использовал NVIDIA TAO ToolKit, пришлось делать почти то же самое. Но прикольно. Поломала мозги, но мне понравилось.

GRADIENT BOOSTING. Господи, как я рад, что я решил и реализовал полностью с нуля это. Это мегакруто. Когда ты постепенно, в нужном порядке, по степам, реализуешь все. Все так красиво, прозрачно и понятно. Дззззееееенннн. Толк от бекграунда в виде теории был, но он в голове как-то не уложился. А тут все. Дзенннн.

TREE TO SQL. Завершающая. Прекрасная. Сначала дерево в JSON, а затем его в виде запроса в SQL представляем. Как же удобно. Как же приятно.

В задачах DECISION TREE, GRADIENT BOOSTING. Не было датасета, как типа смотрите готовый. Пришлось идти в ClickHouse, самим его вытаскивать, а затем потизоньку обучать. Всегда боялся этого. А сейчас спокойно и непринужденно могу вытаскивать данные, не надо мегасложные запросы с подзапросами, джойнами. Чисто на уровне понимания базовых вещей - достаточно. Пока что.

Ну вот и INTERN модуль позади. Он был для меня очень полезный. КПД чересчур высокий. Очень. Я такого не получал ни с каких курсов.

Все-таки есть простая истина: у кого есть ресурс, тот движется быстрее. Если бы я решился раньше, потратив всего 20к, я бы двигался намного быстрее. Я не жалею потраченных денег. Даже если бы я закончил только этот модуль за 20к, я бы даже, наверное, не обиделся. А так - продолжаем.

Но давайте SUMMARY модуля я сделаю отдельно. Думаю, так будет правильнее и круче.
Это было интересно.

38 как-то некрасиво… давайте 40 подписчиков сделаем?

Я передумал. Простите. Давайте 100.

Вопросы?
Ахаха, на самом деле я очень рад, что чем-то могу помочь)
Частичка чего-то прекрасного

SUMMARY
INTERN за 2 недели.

Я стал:
- задумываться о производительности. Мой код стал намного оптимальнее
- обращаться к базам данных. Я писал запросы в БД(ClickHouse, PostgreSQL), причем прикладные к ML: посчитать метрики, собрать свой датасет, сделать визуализацию данных(Redash), строил пробные дэшборды
- писать тесты к коду. Я использую Pytest, это легко и просто, но жесть как полезно
- думать о деньгах, о бизнесе(Assymetric metrics, Quantile loss etc.). У меня ушло ML ради ML. ML должен приносить либо социальную, либо денежную пользу(значимость?). И главное этого достигать.
- писать документацию к функциям(pyment), соблюдать PEP-8 и дружить с pylint. Понял, что дефолтные значение в виде, допустим, словарей - это F. None наше все.
- написал свой первый декоратор(мемоизацию). Я вообще узнал, как оно работает. Крутая вещь. Нужна вещь.

- Я закрыл дыры по деревьям(Desicion Tree, Gradient boosting). Теории явно недостаточно. Нужно самому, ручками, аккуратно это реализовать. Просто было буквально пару моментов, которые разложили все идеально по полочкам.
- Я узнал совершенно новое про json и деревья. Что можно быстро написать удобную вещь. Что можно деревья вообще представить в виде SQL. Я нигде такого не видел/не читал. Нетривиальная вещь.
- Я провел свои первые статистические(Quantile t-test)тесты(A/B практически), основы Bootstrap. Я никогда этого не делал. А знание таких важных вещей - просто круто.
- Я прокачал свою рекурсию. Когда реализуешь деревья, его преобразовая в json, а добьешь все рекурсивной обработкой yaml -> env и env -> yaml, ты познаешь дззззззеееннн.
- У меня был затуп с Recall/Precision. После того, как реализовал Recall@K, Precision@K - ушел затуп. По крайней мере я так почувствовал.

Результат за 2 недели очень неплох. А пока у меня большая нагрузка на работе и учебе(я 2ой курс бакалавриата, сессия)

Я прохожу вот это: https://karpov.courses/simulator-ml.

Пока я не могу проходить симулятор, я смотрю интервью задним фоном.

По-моему очень сильный импакт дает. Интервью построены так, что есть правильные ответы на вопросы и мнение профессионала.

Я раньше читал статьи, мол самые популярные вопросы и бла-бла-бла. Уже тошно, одно и то же. А здесь живое общение, мышление людей. Можно, в общем, перенимать прекрасные качества :D

Ссылочка на плейлист: https://www.youtube.com/playlist?list=PLBRXq5LaddfzDBjg6soIwJJA2klXXs6ni

P.S. Мне реально не платят, это все от души и сугубо мой личный опыт. К тому же, плейлист действительно фришный.

Давайте 50 реакций и сделаю подборку бесплатных хороших(по моему мнению) по мл...

Доброе утро!

Ну что, со следующей недели начинаем следующий модуль?

Здесь есть кружка Тинькофф Образования…

В общем, прошел я отбор в их школу по машинному обучению в сентябре, отучился полгода, топ-2 в рейтинговой таблице, прошел собес.

Сказали, ура, ты молодец, будет мерч!!!
Прошло три месяца. Мне назначают встречу, потом курьер ее срывает. Так длиться на протяжении недели.

А потом курьер наконец приезжает ииии… ДОСТАВЛЯЕТ КРЕДИТКУ МНЕ ПОД ВИДОМ МЕРЧА.

Курьер сказал, что «Тинькофф - он такой один» и уехал от меня.

Вот такая вот история. Зачем она вам - не знаю. Но отношения весьма сомнительное к студентам. Они кстати открывают свои наборы, будьте аккуратны.

P.S. Если нужен отзыв по обучению - обязательно напишу в августе, когда они будут собирать заявки

Первый день нового модуля. Junior.

PAYMENTS DASHBOARD. Сходил в PostgeSQL, сделал уже посложнее запрос, нежели в части Intern. Зато оптимальный и красивый запрос)

COMPETITOR PRICE. Достаточно интересная задача, где основная идея - написать свою кастомную функцию агрегации в pandas. Основная сложность - сделать это оптимально. А я не люблю сдавать задачи на 95-99%. Я люблю только 100%. Пришлось повозиться.
Кто знал, что такое .iat()???

WAU. Никогда не писал подзапросы. Но тут я быстренько пришел и понял. Нужно было сходить в ClickHouse и сделать движущееся окно, чтобы нормально посчитать WAU(Количество активных пользователей в течение недели)

Достаточно сильно прокачиваются прикладные навыки SQL.

А ещё посмотрел и почитал рекомендованную литературу по градиентному бустингу.
В чем различие популярных реализаций, как обрабатывает категориальные фичи CatBoost, как проверять, что наш бустинг неуверенно себя ведет на новых данных, даже когда ответа нет.

А ещё работа, работа и ещё раз работа.

Второй день нового модуля. Junior.

ELASTICITY FEATURE. Эластичность. Я вообще почти никогда не задумывался об этом, даже когда в 14 лет продавал людям по всему миру муравьев и муравьиные фермы.

Да, я делал свои муравьиные фермы, ловил муравьев(оч умным образом) и продавал. Мои разработки были востребованы в Великобритании, Канаде, Казахстане, Беларуси, Израиле и, конечно, России

Я почитал статьи на эту тему, как она вычисляется и решил задачку. В общем, один балл в Junior != один балл в Intern.
Здесь я пошел в Redash, сделал запрос в PostgreSQL, построил простенький Dashboard. Затем использовал pandas, numpy, scikit-learn для рассчитывания эластичности. Я узнал намного глубже, что такое R^2 и почему это хорошо.

Эластичность - это растяжение, если меняется цена, то поменяется спрос. Например, NFT. Они ограничены, каждая покупка меняет FP(floor price).
Неэластичность - это устойчивость. Товары первой необходимости, например.

--------------------

ARPU & AOV. Метрики. Redash, PostgreSQL, Dashboard, простая аналитика. Сезонность продаж, эффективность акций, работа сотрудников. Это все оно.

ARPU - Average Revenue Per Paying User.
AOV - Average Order Value.

Классно? - Определенно.
Эффективно? - Да. КПД очень внушительный.
Нравится ли мне? - Да.
Устаю я от этого? - Нет.
Приносит удовольствие? - Я теку от скора в симуляторе с 1.0, от созерцания 80/80 зеленых тестов в задаче с полным баллом и пропуска на следующий степ

А ещё работа, работа и ещё раз работа. В июле у меня прекратится пик. По Работе.

В июле у меня начинается SberGraduate, экзамен в ААА(Академия Аналитиков Авито), возьму скорее всего проектик по АнтиСпаму(уже активно дополняю датасет) в Симуляторе.

Второй день нового модуля. Junior.

Я не решал задачи. Я пробежался по теоретическим модулям, почитал где интересно теоретические статьи, понял, что из себя представляет этот модуль.

Все задачи интересные и глаза разбегаются. Не знаю, хорошо это или плохо

--------------------

BERT. Какие трансформеры классные. Я чет их в последнее время очень сильно боялся, потому что о разных LLM говорят во всех углах телеграма, а я не особо шарю за архитектуру и основную идею.
Я почуял интуицию Attention, я почуял мощь RNN.

Идея: Это очень умный Encoder и Decoder.
Encoder - сжимает информацию
Deocder - восстанавливает сжатую информацию

Подробнее: https://habr.com/ru/articles/486358/

Это очень интересно. Просто поверьте. Читал, размышлял и очень понравилось. Для смешариков(таких, как я) - самое оно.

--------------------

Быстро пробежался про Metric Learning, Metrics, Docker, kmeans. Когда времени и сил не так много, а пассивно информацию хочется получать - статьи, краткие выжимки, повторение материала - идет шикарно. Прикольно, что в каждой задачке есть теоретическая вкладка краткая, по которой ты, словно декодер, восстанавливаешь весь путь самурая.


Пробежался я для того, чтобы мое подсознание приготовилось решать эти задачи. Когда я их прочитаю второй раз - они будут идти гораааздо легче. А еще потому что у меня сегодня не нашлось времени для симулятора :(

Кстати, чатик открыт, можете присоединяться - t.iss.one/+HtdD-5jbqLJlMTky

Третий день модуля Junior.

SIMILAR ITEM PRICE. Классная задачка. Поступают эмбеддинги товаров и цены этих товаров. А мы должны на основе схожести сделать прайс товарам.

Embeddings - численное представление чего-либо в виде вектора, причем 'магическим' образом сохраняется семантику(смысл). Возьмем слова. Есть "мужчина" и "Король", а также "женщина" и "Королева". "Мужчина" лежит рядом с "Королем", а "женщина" рядом с "Королевой".
При этом, можно делать такие забавные штуки:
"Король" - "мужчина" + "женщина" = "Королева"

Подробнее - https://habr.com/ru/companies/ods/articles/329410/
(Если что все статейки - максимально дружелюбные, насколько только можно. Поэтому если интересно - читаем-с)
Здесь работа с косинусным расстоянием, работа с весами, нормализацией векторов и всей рутиной. Главное производительно, без лишних циклов и повторений кода.

--------------------

Я перегрелся чутка, а еще до конца не вылечился.

Пришло кстати письмо на почту, 1 июля с 10:00 до 14:30 будет экзамен заключительный в Академию Аналитиков Авито.
Теперь будут проверять решения. Матеша + прога))
Вот и отдохнем. Задания и свои решения скину сюда на оценочку!

МАШИННОЕ ОБУЧЕНИЕ И АНАЛИЗ ДАННЫХ С НУЛЯ. БЕСПЛАТНО.

Здесь должен быть longread о том, как это все важно. Как это все круто и продуманно сделано, что автор понимает о чем говорит и постарался правильно выстроить всю логическую цепочку. Что все выбранные курсы, лекторы, литература - лучшее на рынке.

Если вы тоооолько-тооооолько начинаете в этом разбираться, то:
1) 1.1 Математическая статистика Ч.1, Математическая статистика Ч.2 (Karpov.courses)
1.2 Статистика и котики

Данный блок нужен для того, чтобы задать некую базу и понимание того, как всё происходит. Да, пока без программирования, да, простым языком. Но это даст интуицию, которая очень сильно пригодится в будущем. Будь вы аналитиком или ML-специалистом. 1.1 и 1.2 советую проходить параллельно.

2) 2.1 Поколение Python Ч.1, Поколение Python Ч.2
2.2 Основы Python (Karpov.courses)

А это уже программирование, введение в основные возможности языка, знакомство с синтаксисом. База, если вы себя чувствуете неуверенно в этом языке. Или хотите быстро повторить, это нормально. Курсы максимально легкие, приятные, актуальность пояснять не буду). В блоке 2.2 находится курс от karpov.courses. Если прошло уже достаточное кол-во времени с момента выпуска этого поста - значит можно смело его проходить, потому что все модули вышли. Если нет - проходите после поколения Python

3) 3.1 Введение в анализ данных (ВШЭ)
3.2 Прикладной анализ данных (ВШЭ)
3.3 AB тесты (ВШЭ)

Начало-начал. Прикладное, введение в промышленность. Если вы хотите идти в анализ - стоит прям глубоко эти курсы посмотреть, хорошему ML-специалисту, кстати, тоже. Рекомендую проходить их последовательно. Но если вы хотите побыстрее-побыстрее в ML, то можете этот блок скипнуть. Но не советую.

4) 4.1 Введение в Машинное обучение (Karpov.courses)
4.2 Евгений Соколов (ВШЭ).
- записи лекций, семинаров
- конспекты занятий
- домашки
4.3 Учебник. Машинное обучение и Data Science: погружение в тему(Яндекс)

Лютейшная база. Я бы проходил всё параллельно тут. Названия выдает всё за себя. Здесь вы узнаете, что такое метрики, лосс функции и как работают градиентные эти ваши бустинги. 4.1, 4.2 - с практикой, причем достаточно хорошей. А в учебнике только теория, что неудивительно.

5) 5.1. Евгений Соколов (ВШЭ) (Deep Learning, Neural Networks)
5.2 System design (ВШЭ)
5.3 Воронцов (МФТИ).
- Лекции
- Семинары
5.4 Введение в NLP (ВШЭ)
5.5 Введение в AudioML (ВШЭ)

Введение в Нейронные сети, в то, как проектировать системы в целом. Это конец. Дальше уже сами вы в состоянии понять, куда вам идти и что делать.

--------------------
Не знаю, на какой этап отнести SQL. Но он Мастхев(Собрать датасет из БД, посчитать метрики и т.д.) и проходить его можно в любой промежуток времени. Я посоветую только это. Это лучшее. СИМУЛЯТОР SQL. И сложные запросы, и приятный интерфейс, и дэшборды. Мне для счастья малого надо
--------------------

На этом этапе у многих пути уже расходятся. Знаний уже много.
Каждый выбирает то, что ему больше нравится
Я вижу несколько путей:

1) Вы уже спокойно можете идти практиковаться, пытаться идти на INTERN/JUNIOR во многие компаниию. Проходите собесы, выявляете свои слабые стороны и фиксите их. И так по кругу. Плейлист для подготовки к собесам.

2) Когда проходите курсы и почувствовали, что ML течет по вашим жилам - время уйти на курс от компании. Вы просто учитесь, а вас потом к себе забирают. Каждый выбирает то, что ему больше нравится
Многие идут по пути наименьшего сопротивления: когда проходите курсы, открывается набор в школы от компаний.

3) Покупать Симулятор ML Я думаю все понятно. А если непонятно - читаем-с канал Dimension(@dimension_ai)

4) В канале Start Career in DS, есть ультраполезный ноушен для новичков и не только: от того, как правильно составлять резюме до интервью с Валерой Бабушкиным, Толей Карповым и т.д.

Полезные школы:
Академия Аналитиков Авито (Авито)
Школа Анализа Данных (Яндекс)
Deep Learning School (МФТИ)

*Параллельно проходить - это прошли тему на одном ресурсе, идете закреплять на другом.

Я выбьюсь из симулятора на неделю по причине повышенной нагрузки на работе.

Вернусь я живыи или нет - узнаем попозже. А то я сам не знаю ответа

Чем же я занимаюсь?

- Я сдал экзамен ААА(Академия Аналитиков Авито). Решил 5/5 математику, 4/4 прогу. По моей оценке должны позвать на собес.
- Я сдал контест в Яндекс Лицей(Мы открываем на своей базе Яндекс Лицей в сентябре, нужны преподы. Ну и тут отбор). Там был контестик на 5 простых задачек на банальный питон. На контест давалось 4 часа, сдал за 45 минут и на максимум.
- Нашел прикольного дядьку из ODS, читает про ML System Design. То ли мне он так сильно нравится(всмысле System Design), то ли он так легко и непринужденно идет, будто его можно смотреть с полного нуля. Красивый, лаконичный, на пальцах, без кода, но при этом очень полезный(ОЧЕНЬ)

На данный момент тимлижу(слишком громко, поэтому просто помогаю выполнять) несколько проектов:

- Dashboard. Я заложил базу, а три студента ее разгоняют. Идея основная в том, что там два параллельных парсера, данные обновляются каждые 30 минут, настроено версионирование данных.

- Командообразование. Есть распространенная проблема - объединение людей в команды. Будь то хакатон, будь то другие соревнования, где нужно участвовать команды. На этой платформе мы можем делать набор в свою команду, переходить на другую, выбирать кейсы, приходят уведы, приглашать себе в команду и всё мегаитерактивно.

А что вы хотите здесь вообще видеть?
Пишите комменты)
И лайкате понравившиеся)