Академия Аналитиков Авито.
Пост был тут

Слив ☝️

Написал я это ваше авито. Жду приглос на собес, не иначе.

Пятнадцатый день симулятора(15/90)

До сих пор болею, тяжко работать. Но все равно я прохожу симулятор в свободное время. Пушо тяяяяянет. Наркотики они такие
Сегодня встал, жестко нарешал ААА(кстати максимально лайтово, я даже не напрягался). Минутка на каждое и все, чилл. Жду приглос на собес, кста

По задачам:
Честно говоря, вообще не хотелось приступать к RECALL @ K. Но пришлось. Как же я не люблю Recall, Precision в 'физическом' понимании. Всегда путаюсь.

ROTATION BUG. Ну простенько. Аугментацию сделать, баг найти, тесты написать, исправить.

А теперь интересное - DECISION TREES. Начал проходить. Сходил в ClickHouse, сам сформировал себе датасет 😎
Теория оч красиво, интересно и познавательно написана. Мне зашла. Вот сейчас пошел пак задач, который мне очень заходит.

Из забавного - ходил в больницу, дали больничный, но перед этим отправили в экстренную. КАКОВО БЫЛО МОЕ УДИВЛЕНИЕ, КОГДА МНЕ ДАЖЕ ТАБЛЕТКИ ВЫДАЛИ ДЛЯ ЛЕЧЕНИЯ!!! БЕСПЛАТНО!!! У меня на Родине такое только во влажных снах снится....

Эх, Москва.

Шестнадцатый день.

чуть позже напишу отзыв, ибо я чет устав

ЗАВЕРШАЮЩИЕ МОДУЛИ. Это все было в один день.

Они были самые интересные для меня. Поэтому я не мог оторваться, пока недорешаю их все. Будто на наркотики подсел, но это неважно. Надо было создателям курса писать дисклеймер, мол, вызывает привыкание.

DECISION TREE. Лютейшая база. Когда-то реализовывал на курсе тинька, но это не то. Здесь аккуратно, пошагово, с пояснениями, с красотой. И все в голове встало на свои полочки. Понятно как, понятно почему, понятно зачем. Этого в основном не передать словами. Просто настигнут дзен. Полное понимание происходящего.

QUANTILE T-TEST. Сделал очень быстро. По типу A/B теста. Никогда с ними не работал, в это не лез. Зато познакомился, всопмнил первые степы Анатолия из степика по курсу мат.стата и все. Моя математическая чуйка с прекрасно написанной теории в симуляторе помогла мне разобраться и решить задачу.

YAML CONFIG. Вот здесь пришлось посидеть. С рекурсией у меня беды, пришлось позаморачиваться с базовыми случаями, с логикой работы. А так, когда занимался Transfer Learning в детекции LPD/LPR(Licence Plate Detection and Licence Plate Recognition), где использовал NVIDIA TAO ToolKit, пришлось делать почти то же самое. Но прикольно. Поломала мозги, но мне понравилось.

GRADIENT BOOSTING. Господи, как я рад, что я решил и реализовал полностью с нуля это. Это мегакруто. Когда ты постепенно, в нужном порядке, по степам, реализуешь все. Все так красиво, прозрачно и понятно. Дззззееееенннн. Толк от бекграунда в виде теории был, но он в голове как-то не уложился. А тут все. Дзенннн.

TREE TO SQL. Завершающая. Прекрасная. Сначала дерево в JSON, а затем его в виде запроса в SQL представляем. Как же удобно. Как же приятно.

В задачах DECISION TREE, GRADIENT BOOSTING. Не было датасета, как типа смотрите готовый. Пришлось идти в ClickHouse, самим его вытаскивать, а затем потизоньку обучать. Всегда боялся этого. А сейчас спокойно и непринужденно могу вытаскивать данные, не надо мегасложные запросы с подзапросами, джойнами. Чисто на уровне понимания базовых вещей - достаточно. Пока что.

Ну вот и INTERN модуль позади. Он был для меня очень полезный. КПД чересчур высокий. Очень. Я такого не получал ни с каких курсов.

Все-таки есть простая истина: у кого есть ресурс, тот движется быстрее. Если бы я решился раньше, потратив всего 20к, я бы двигался намного быстрее. Я не жалею потраченных денег. Даже если бы я закончил только этот модуль за 20к, я бы даже, наверное, не обиделся. А так - продолжаем.

Но давайте SUMMARY модуля я сделаю отдельно. Думаю, так будет правильнее и круче.
Это было интересно.

38 как-то некрасиво… давайте 40 подписчиков сделаем?

Я передумал. Простите. Давайте 100.

Вопросы?
Ахаха, на самом деле я очень рад, что чем-то могу помочь)
Частичка чего-то прекрасного

SUMMARY
INTERN за 2 недели.

Я стал:
- задумываться о производительности. Мой код стал намного оптимальнее
- обращаться к базам данных. Я писал запросы в БД(ClickHouse, PostgreSQL), причем прикладные к ML: посчитать метрики, собрать свой датасет, сделать визуализацию данных(Redash), строил пробные дэшборды
- писать тесты к коду. Я использую Pytest, это легко и просто, но жесть как полезно
- думать о деньгах, о бизнесе(Assymetric metrics, Quantile loss etc.). У меня ушло ML ради ML. ML должен приносить либо социальную, либо денежную пользу(значимость?). И главное этого достигать.
- писать документацию к функциям(pyment), соблюдать PEP-8 и дружить с pylint. Понял, что дефолтные значение в виде, допустим, словарей - это F. None наше все.
- написал свой первый декоратор(мемоизацию). Я вообще узнал, как оно работает. Крутая вещь. Нужна вещь.

- Я закрыл дыры по деревьям(Desicion Tree, Gradient boosting). Теории явно недостаточно. Нужно самому, ручками, аккуратно это реализовать. Просто было буквально пару моментов, которые разложили все идеально по полочкам.
- Я узнал совершенно новое про json и деревья. Что можно быстро написать удобную вещь. Что можно деревья вообще представить в виде SQL. Я нигде такого не видел/не читал. Нетривиальная вещь.
- Я провел свои первые статистические(Quantile t-test)тесты(A/B практически), основы Bootstrap. Я никогда этого не делал. А знание таких важных вещей - просто круто.
- Я прокачал свою рекурсию. Когда реализуешь деревья, его преобразовая в json, а добьешь все рекурсивной обработкой yaml -> env и env -> yaml, ты познаешь дззззззеееннн.
- У меня был затуп с Recall/Precision. После того, как реализовал Recall@K, Precision@K - ушел затуп. По крайней мере я так почувствовал.

Результат за 2 недели очень неплох. А пока у меня большая нагрузка на работе и учебе(я 2ой курс бакалавриата, сессия)

Я прохожу вот это: https://karpov.courses/simulator-ml.

Пока я не могу проходить симулятор, я смотрю интервью задним фоном.

По-моему очень сильный импакт дает. Интервью построены так, что есть правильные ответы на вопросы и мнение профессионала.

Я раньше читал статьи, мол самые популярные вопросы и бла-бла-бла. Уже тошно, одно и то же. А здесь живое общение, мышление людей. Можно, в общем, перенимать прекрасные качества :D

Ссылочка на плейлист: https://www.youtube.com/playlist?list=PLBRXq5LaddfzDBjg6soIwJJA2klXXs6ni

P.S. Мне реально не платят, это все от души и сугубо мой личный опыт. К тому же, плейлист действительно фришный.

Давайте 50 реакций и сделаю подборку бесплатных хороших(по моему мнению) по мл...

Доброе утро!

Ну что, со следующей недели начинаем следующий модуль?

Здесь есть кружка Тинькофф Образования…

В общем, прошел я отбор в их школу по машинному обучению в сентябре, отучился полгода, топ-2 в рейтинговой таблице, прошел собес.

Сказали, ура, ты молодец, будет мерч!!!
Прошло три месяца. Мне назначают встречу, потом курьер ее срывает. Так длиться на протяжении недели.

А потом курьер наконец приезжает ииии… ДОСТАВЛЯЕТ КРЕДИТКУ МНЕ ПОД ВИДОМ МЕРЧА.

Курьер сказал, что «Тинькофф - он такой один» и уехал от меня.

Вот такая вот история. Зачем она вам - не знаю. Но отношения весьма сомнительное к студентам. Они кстати открывают свои наборы, будьте аккуратны.

P.S. Если нужен отзыв по обучению - обязательно напишу в августе, когда они будут собирать заявки

Первый день нового модуля. Junior.

PAYMENTS DASHBOARD. Сходил в PostgeSQL, сделал уже посложнее запрос, нежели в части Intern. Зато оптимальный и красивый запрос)

COMPETITOR PRICE. Достаточно интересная задача, где основная идея - написать свою кастомную функцию агрегации в pandas. Основная сложность - сделать это оптимально. А я не люблю сдавать задачи на 95-99%. Я люблю только 100%. Пришлось повозиться.
Кто знал, что такое .iat()???

WAU. Никогда не писал подзапросы. Но тут я быстренько пришел и понял. Нужно было сходить в ClickHouse и сделать движущееся окно, чтобы нормально посчитать WAU(Количество активных пользователей в течение недели)

Достаточно сильно прокачиваются прикладные навыки SQL.

А ещё посмотрел и почитал рекомендованную литературу по градиентному бустингу.
В чем различие популярных реализаций, как обрабатывает категориальные фичи CatBoost, как проверять, что наш бустинг неуверенно себя ведет на новых данных, даже когда ответа нет.

А ещё работа, работа и ещё раз работа.

Второй день нового модуля. Junior.

ELASTICITY FEATURE. Эластичность. Я вообще почти никогда не задумывался об этом, даже когда в 14 лет продавал людям по всему миру муравьев и муравьиные фермы.

Да, я делал свои муравьиные фермы, ловил муравьев(оч умным образом) и продавал. Мои разработки были востребованы в Великобритании, Канаде, Казахстане, Беларуси, Израиле и, конечно, России

Я почитал статьи на эту тему, как она вычисляется и решил задачку. В общем, один балл в Junior != один балл в Intern.
Здесь я пошел в Redash, сделал запрос в PostgreSQL, построил простенький Dashboard. Затем использовал pandas, numpy, scikit-learn для рассчитывания эластичности. Я узнал намного глубже, что такое R^2 и почему это хорошо.

Эластичность - это растяжение, если меняется цена, то поменяется спрос. Например, NFT. Они ограничены, каждая покупка меняет FP(floor price).
Неэластичность - это устойчивость. Товары первой необходимости, например.

--------------------

ARPU & AOV. Метрики. Redash, PostgreSQL, Dashboard, простая аналитика. Сезонность продаж, эффективность акций, работа сотрудников. Это все оно.

ARPU - Average Revenue Per Paying User.
AOV - Average Order Value.

Классно? - Определенно.
Эффективно? - Да. КПД очень внушительный.
Нравится ли мне? - Да.
Устаю я от этого? - Нет.
Приносит удовольствие? - Я теку от скора в симуляторе с 1.0, от созерцания 80/80 зеленых тестов в задаче с полным баллом и пропуска на следующий степ

А ещё работа, работа и ещё раз работа. В июле у меня прекратится пик. По Работе.

В июле у меня начинается SberGraduate, экзамен в ААА(Академия Аналитиков Авито), возьму скорее всего проектик по АнтиСпаму(уже активно дополняю датасет) в Симуляторе.